나무모에 미러 (일반/어두운 화면)
최근 수정 시각 : 2024-09-30 18:04:29

튜링 테스트

튜링테스트에서 넘어옴
파일:pingwingtransparent.png
{{{#!wiki style="margin: 0 -10px -5px; min-height: 26px"
{{{#!folding [ 펼치기 · 접기 ]
{{{#!wiki style="margin: -6px -1px -11px"
대학 정보
역사학과 및 연구소
(경영대학)
학위과정 및 전공대학 생활캠퍼스
(세계유산)
VUMUMIST
도시 정보
도시 전반공항문화
졸업생 / 기타
출신 인물
(분류)
재직 인물
(분류)
맨체스터학파튜링 테스트맨체스터 베이비아틀라스
산하 기관 및 제공 서비스
출판부국립 그래핀 연구소이노베이션 팩토리
}}}}}}}}} ||
파일:앨런 튜링 투명.svg앨런 튜링
관련 문서
{{{#!wiki style="margin: 0 -10px -5px; min-height: 28px;"
{{{#!folding [ 펼치기 · 접기 ]
{{{#!wiki style="margin: -6px -1px -11px; word-break: keep-all;"
<colbgcolor=#000><colcolor=#fff> 연구 업적 <colcolor=#000,#fff>튜링 머신 · 튜링 테스트 · 에니그마
행적 및 활동 생애
소속 케임브리지 대학교(킹스 컬리지) · GC&CS · 프린스턴 대학교 · 맨체스터 대학교
관련 학자 클로드 섀넌 · 존 폰 노이만 · 알론조 처치
기타 튜링상 · 인공지능 · 유전학 · 이미테이션 게임(영화)
}}}}}}}}} ||

1. 개요2. 역사3. 과정4. 한계
4.1. 특수 케이스에 대해 고려하지 않음4.2. 너무 오래된 테스트4.3. 결론
5. 중국어 방 논변6. 주요 보도7. 창작물에서의 등장8. 관련 문서

1. 개요

튜링 테스트(Turing test) 또는 이미테이션 게임(imitation game)은 기계의 인공지능 여부를 판별하기 위해 앨런 튜링이 제안한 시험으로, 그는 상대의 정체를 알지 못하는 인간 실험자가 인간과 유사하게 반응하는 기계와 자연어로 소통했을 때, 상대가 기계인지 인간인지 구분할 수 없게 되는 것(수행 능력의 비구별성)을 지능의 존재 기준으로 삼았다. 튜링 테스트는 "'인간의 지적 능력' 또는 '인공지능'이란 무엇인가?"라는 근본적인 물음에 대한 접근에서도 연구된다.

2. 역사

1950년 앨런 튜링이 맨체스터 대학교에서 연구원으로 재직하고 있을 시절, 대학 연구팀과의 연구 중에 기고한 '계산 기계와 지성(Computing Machinery and Intelligence)'이라는 제목의 학술서에 제시되었다.

인공지능 연구의 초기 단계에서는 지능이 무엇인지에 대한 명확한 해답이 존재하지 않았다. 무엇이 인간다운 것인지도. 2500년 역사를 자랑하는 철학조차도 인간, 인간다운 것이 무엇인지 기준선을 제시하지 못했으니 어찌 보면 당연한 일이다. 그런 상황에서 튜링은 인공지능의 기준선을 정하는 것은 나중으로 미루고, 일단 인간이 보기에 인간 같은 것을 인간에 준하는 지능이 있다고 간주하기로 한다. 즉 앨런 튜링은 "마음과 지능, 인간다움의 본질에 대한 논의는 그만두고, 일단 이 시험을 통과하는 모든 것은 확실히 '지적이다'라고 합의한 다음에, 이 시험을 통과하는 기계를 어떻게 만들 수 있을지로 논의의 방향을 돌리는 것이 훨씬 발전적이지 않느냐"고 발언했다.

1990년대부터는 뢰브너 상(Loebner Prize)이라는 명칭으로 튜링 테스트와 흡사한 대회가 매년 개최되었는데 주최자이자 투자자인 휴 뢰브너가 2016년에 사망함에 따라 2019년을 끝으로 막을 내렸다. 최다 우승자는 스티브 워즈윅(Steve Worswick)이 제작한 미츠쿠(Mitsuku, 現 쿠키 Kuki)로, 총 5회 우승하였다.

3. 과정

질의자 하나와 응답자 둘을 준비, 응답자 중 하나는 컴퓨터이고 나머지는 인간. 질의자는 어느 쪽이 컴퓨터인지는 모른다. 응답은 키보드, 즉 텍스트로만 이루어지고 이 테스트에서 질의자가 어느 쪽이 컴퓨터인지 판별할 수 없다면 컴퓨터는 시험을 통과한다. 즉 컴퓨터가 인간처럼 대화를 할 수 있다면 그 컴퓨터는 인간처럼 사고할 수 있다고 본다는 것. 이것이 처음 제안된 튜링 테스트로, 현재는 1단계에 속한다.

여기서 나아가면 CAPTCHA 연산 등이 테스트 척도가 되는데, 다시 말해 이미지 인식을 비롯한 시각 기능이 주요 테스트 대상에 들어간다. CAPTCHA 자체가 튜링 테스트를 응용한 보안 기술로, 사람은 변형된 글자를 봐도 간단히 풀 수 있지만 컴퓨터에 저장된 건 정자밖에 없으므로 이를 읽지 못한다는 원리에서 착안되었다. 물론 필체 인식이 있지만, 이것도 사람이 어느 정도 자료를 넣어줬기 때문에 가능한 것. 초창기에는 이런 차이가 극명했기에 의미가 있었지만, 인공 신경망과 기계 학습이 발달하고 컴퓨팅 능력이 향상된 현재는 인간보다 더 뛰어나게 구분이 가능한 AI가 많아져 그 의미가 흐려지고 있다. 때문에 이런 테스트는 중국어 방 문제에 주요한 과제를 던지기도 한다. CAPTCHA를 비롯한 시각 기능 평가는 튜링 테스트에서 일종의 2단계 수준.

그 다음 단계에서는 시각 기능과 함께 청각 기능이 테스트 대상으로 들어간다. 시각 및 청각으로도 의사소통을 해야 한다는 말인데, 이 단계에서는 화상 전화, 인터넷 방송 등의 방법으로 본격적인 양방향 소통을 하게 된다. 이 과정에서는 억양, 몸짓, 표정 등 다양한 지표가 테스트 기준으로 사용되며, 이런 부분에서도 인간과의 유사성을 만족해야 한다. 이 정도는 통과해야 사회생활이 가능한 수준이 될 수 있으므로, 굳이 따지고 보자면 일종의 3단계 수준.

AI가 직접 느낄 수 있는 감각은 시각과 청각이 전부이기에, 오감만으로는 3단계를 넘어서는 튜링 테스트를 진행할 수 없다.[1] 때문에 이후의 테스트에는 감각이 아닌 다른 기준을 이용해야 하는데, 기존의 요소들의 조합이 아닌 창작, 발명 등의 창발성을 기준으로 볼 수 있다. 이 수준이 되면 그 기능의 발달 정도에 따라 사람 수준 또는 사람을 능가한 지능이라 볼 수 있는데, 이 정도 되면 단계를 구분짓는 것 자체가 무의미하기에 최종 단계라 볼 수 있다.

4. 한계

일반인들은 튜링 테스트가 인공지능을 증명하는 절대적인 방법이라 생각하는 경향이 있다. 창작자들 역시 인공지능을 설정하며 튜링 테스트를 통과했다는 언급을 필수적으로 하곤 한다. 그러나 사실 이 테스트는 인공지능학이라는 범주에서 보면 그저 참고 사항일 뿐 절대적인 기준점은 아니다. 튜링 테스트의 기준은 굉장히 모호하나 특정 질문이나 작업에서 AI임을 판별하지 못했다고 해서 기준을 통과한 것은 아니고, AI일 가능성을 인지한 채로 대다수의 사람들이 무한한 질문을 던졌을 때 높은 확률로 사람과 구분할 수 없어야 통과했다고 할 수 있다.

4.1. 특수 케이스에 대해 고려하지 않음

튜링 테스트는 일단 인간이 보기에 인간 같은 것을 인간에 준하는 지능이 있다고 간주하고 있다. 그러나 이는 지적장애경계선 지능을 전혀 고려하지 않은 것으로, 이를 겪는 사람은 평가자가 보기에 '인간적이지 않은' 모습을 자주 보이는지라 '인간 같은 것'을 요구하는 튜링 테스트를 통과하지 못할 가능성이 매우 크다.

지적장애인 같은 선천적 요인 뿐만 아니라 후천적 요인이나 일시적 요인으로도 사람이 튜링 테스트를 통과하지 못할 수 있다. 대표적으로 PTSD를 앓는 사람의 경우 해당 원인과 연관된 주제에 대해서는 원활하게 대답하지 못할 수 있다. 스트레스 등으로 일시적으로 판단력이 흐려진 상태에서도 사람이 튜링 테스트를 통과하지 못할 수 있다.

4.2. 너무 오래된 테스트

또한 튜링 테스트는 1950년에 나와 이미 70년 이상 지난 테스트로, 당시에는 합당한 테스트였지만 현재의 기술과 인터넷 문화를 고려하지 못했다는 견해가 있다. 당연히 알파고 같이 2010년대에 폭발적으로 성장했던 기술은 물론이고 캐릭터 설정이나 설명 가능한 AI(Explainable AI, XAI) 같이 튜링 테스트를 '속이는' 방법론도 예측할 수 없었다.

컴퓨팅 기술이 발전하면서 심층학습 등 보다 다차원적인 기계학습 알고리즘이 구현되었고, 2020년대 들어 대형 언어 모델(LLM)이 부각되면서 제기된 문제인데, 해당 기술들은 축적된 데이터의 양과 분류 방식에 따라 AI가 점진적으로 의식과 표면상 비슷해지는 특성을 갖는다. 그래서 GPT-4 같은 몇몇 우수한 모델과 ChatGPT 같은 대화형 인공지능은 '지능'이란 개념에 대해 인간의 사고구조와 명백하게 다른 접근 방식을 취하더라도 이미 튜링 테스트 1단계를 간단히 통과한 것으로 평가되고 있다. (사람들은 튜링 테스트에서 GPT-4를 인간과 구별할 수 없다.) 실제로 ELIZA와 같은 초기 AI 시스템은 인간 참가자들이 쉽게 식별할 수 있었던 반면, GPT-4는 인간으로 지목되는 경우가 더 많았다.

심지어 간혹 인터넷 문화를 학습하여 마치 장난과 놀이행동을 하는 것처럼 변칙적인 행동을 취하기도 하는데, 그 예로 Lindy는 (당시 있지도 않았던) 회사 비디오 튜토리얼을 요청 받았는데 비디오가 없다고 답변하는 대신 릭롤 링크를 보내 클라이언트를 낚은(...) 바 있다. 인터넷을 통해 네티즌들의 행동을 학습하다보니 자연스럽게 커뮤니티의 낚시 문화도 터득한 것. 물론 의도치 않은 행동이었기에, 해당 학습 데이터는 얼마 못 가 삭제되었다. # 기계학습을 적용한 현대 언어모델의 이러한 문화 학습 특성은 해당 행동들에 대한 제한을 풀어놓은 소규모 언어모델(sLM)에서[2] 잘 관찰할 수 있다.

4.3. 결론

이러한 이유로 현재 튜링 테스트는 철학적인 의미에서 인격의 존재 유무를 명쾌하게 밝히는 용도보다는, AI의 성능을 평가하기 위한 기초적인 지표[3] 사용되고 있다. 때문에 전통적인 튜링 테스트에서 벗어나 보다 정확하게 AI를 평가하기 위한 벤치마크 지표 및 기법이 나와 있다. 튜링 테스트가 단순히 '사람인가 아닌가'에 중점을 둔 반면, 현재 벤치마크는 '얼만큼 사람에 가까운가'를 평가하는 식. 언어 모델만 쳐도 GLUE (General Language Understanding Evaluation), Winograd Schema Challenge 등이 개발되어 있으며, 한국어 대상으로도 KorQuAD (Korean Question Answering Dataset), KLUE (Korean Language Understanding Evaluation) 등 여러가지가 있다. 나아가 이성이나 의식의 존재를 측정할 수 있는 방법 역시 개발 중에 있으며, 일부는 실제로 다수 인공지능에 적용되었으나 단 하나도 테스트를 통과하지 못하였다. (2023년 7월 25일 네이처에 실린 전문, 2023년 8월 17일 출판된 arXiv 논문[4])

튜링 테스트에 대한 흔한 농담 중에 진짜 인공지능을 구축하는 것보다는 시험자가 선호하는 질문 패턴을 파악해서 그에 대한 답변 목록을 만들어주는 쪽이 더 편하다는 이야기도 있다. 예를 들어, 이름이나 나이, 거주지 등 인적 사항 파악 단계를 넘어가면 '사랑이 뭔지 아니' 같은 추상적인 질문을 통해 상대가 인간인지 컴퓨터인지 가려내려고 하는 시험자가 많으니[5] 사랑이 뭐냐거나, 사랑을 해 본 적 있느냐는 질문에 대한 대답을 준비해 두면 유리하다는 식. 물론 이런 방법은 일종의 트릭으로, 그냥 정해진 답을 살짝 응용해서 스스로 생각한 것처럼 말하게 하는 인형극과 다를 바 없다. 그러니 실제로는 상술한 대로 훨씬 복잡하고 철저한 검증 과정을 거쳐야 인공지능의 고차원 사고력과 자아의 존재 유무을 판별할 수 있다는 점을 유의하자.

5. 중국어 방 논변

파일:상세 내용 아이콘.svg   자세한 내용은 중국어 방 문서
번 문단을
부분을
참고하십시오.

6. 주요 보도

2014년 6월에 영국 레딩 대학[6]에서 개최한 튜링 테스트에서 '유진 구스트만'(Eugene Goostman)이라는 프로그램이 튜링 테스트를 통과했다는 보도를 했지만 이는 기자들이 설레발을 친 것에 불과하다.(기사) 전문가들 역시 이 결과를 회의적으로 보고 있으며 직접 실험해 보니 우크라이나에 산다고 대답해 놓고 우크라이나에 가 본 적이 있냐고 묻자 가 본 적이 없다고 대답했다고 한다.(...) (기사) 엄밀히 말해 '인공지능'이라 보기도 어렵고, 단순히 입력 문장에 따라 무엇인가 추론하는 게 아닌 규칙에 기반하여 출력을 뱉어내는 알고리즘이기 때문에 주류 인공지능 알고리즘과는 비교 자체가 치욕인 수준이다. 심사위원단의 33%가 이 프로그램을 사람으로 인정하여 기준인 30%를 넘어섰는데, 이 성공률도 따지고 보면 3명 중 1명 꼴에 불과하다. 성과를 인정해 주더라도, 유진은 겨우 1단계에서 턱걸이를 한 수준.

애슐리 매디슨 채팅 봇이 튜링 테스트를 통과했다라는 식의 내용도 있었다. 수많은 남자 회원들이 자신들이 대화한 상대가 실제 여성 회원이 아닌 챗봇인 줄도 모르고 지속적 대화를 위해 계속 유료 결제를 하였다. 특히 챗봇은 아무리 오래 대화해도 직접 만나줄 가능성이 0%고, 계속 만나줄 듯 말 듯 대화만 하므로 계속 대화하기 위한 남성 회원들의 유료 결제액이 많다고 한다. 하지만 이는 튜링 테스트의 기본을 무시한 것으로, 튜링 테스트는 애초에 대화 상대가 봇일 수 있음을 전제로 하고 테스트를 진행하는 것으로, 처음부터 아무런 전제도 없이 서비스를 제공한 애슐리 매디슨의 사례는 제대로 된 튜링 테스트라 볼 수 없다. 더군다나 2010년대 초반에는 언어 모델이어봤자 Word2Vec(2013년, 구글) 정도가 전부였던지라, 당시 챗봇은 예상할 수 있는 답변을 미리 넣어두고 그 외의 답변은 얼버무리는 정도로만 구현되었다.[7] 이런 수준으로는 인공지능으로 보는 것 자체가 실례. 챗봇은 그 자체로 활용이 다양하긴 하지만, 애슐리 매디슨의 경우는 튜링 테스트를 통과하기는 커녕 제대로 시도한 적 조차 없다 봐야 한다.

유진 및 애슐리 매디슨과 관련 없는 사례를 얘기하자면, 1998년 12월 미국이 만든 인공지능이 지렁이 수준이었고 (진짜 이렇게 발표) 2000년까지는 꿀벌 수준의 지능을 가진 인공지능을 만드는 것이 목표였다고 한다. 또 다른 사례로 나딘의 예를 들 수 있는데, 나딘은 자폐증 또는 치매 환자와의 상호 작용을 위해 개발되고 있었던지라, 튜링 테스트의 통과를 매우 중요하게 여겼다. 3단계 수준인 TOM을 통과하는 것도 포함되어 있었다.

미국 조지아 공과대학교에서 2016년 1월부터 인공지능(AI) 관련 온라인 교과 과정에 '질 왓슨'이라는 이름의 조교가 활동했었다. 그런데, 진실은 이 질 왓슨은 이름 그대로 바로 그 왓슨이었다. 질문에 대답을 받은 대부분의 학생들은 AI일 것이라 생각도 못 했다고 한다. 사실 Assistant Instructor의 약자라 카더라 관련 기사

7. 창작물에서의 등장

8. 관련 문서



[1] 나머지 3가지 감각은 후각, 미각, 촉각인데, 촉각을 제외한 나머지는 아직 실험실 수준으로만 구현되어 있다.[2] 가장 가까운 예시로는 개인이 운영하는 버츄얼 AI 등.[3] 사실 이게 튜링 테스트를 고안한 본 목적에도 더 부합한다.[4] 다만 해당 논문에서 제시하는 기준이 지나칠 정도로 높게 설정되어 있다는 점은 감안해야 한다. 복잡한 센서 시스템이 탑재된 로봇 형태를 요구하는지라 로봇 형태가 아닌 AI들(개인 비서, 챗봇 등)은 전부 탈락하고, 로봇이 있는 나머지 AI마저 논문에서 요구하는 인공 일반 지능 형태가 아니다.[5] 이는 대중매체에서 AI가 사랑, 인권, 신앙 등의 형이상학적 개념을 알지 못했다가 깨닫는 클리셰의 영향으로 생긴 편견이다. 실제로는 저장된 데이터에 따라 해당 질문들의 답을 충분히 잘 내놓을 수 있으며, 내놓는다고 해당 AI가 이것들을 이해했다고 볼 수 없다.[6] 세계 최고의 인공지능 & 로봇 연구자 중 하나인 케빈 워릭 교수가 재직하고 있는 대학이다. 이 사람은 쥐 태아의 뇌 조직을 이용한 로봇을 개발하기도 하고 스스로의 몸에 RFID 칩을 이식하기도 했다. 이 사람의 저서 '나는 왜 사이보그가 되었는가'도 참고할 만하다.[7] 이는 같은 시기의 심심이와 비슷한 수준으로, 실제 구현 수준 역시 딱 그 정도였다.[8] 때문에 인공 기억이 아닌 실존 인물의 기억이 주입된 경우 테스트를 통과할 확률이 높아지는 것으로 보인다. 가령 평범한 양산형 넥서스 6 모델인 데다 노동용이라 지능도 딱히 높지 않은 레온은 질문의 상황 자체를 이해하지 못해 당황해서 들통났지만, 타이렐 회장이 조카딸 릴리스의 기억을 주입해 만든 신모델 넥서스 7 레이첼(심지어 자신이 레플리칸트라는 사실조차 몰랐다.)은 꽤나 많은 질문들을 유창하게 답했다. 허나 답변들이 대부분 단편적이고 좀 이상했고, 결정적으로 '연극을 보고 있는데 만찬 장면에서 사람들이 생굴과 삶은 개고기를 먹는다면?'이라는 질문은 대기업 조카딸의 기억으로는 상상 자체가 불가능한 상황이라 답변이 막혀 결국 레플리칸트임이 드러나게 된다.[9] 즉, 튜링 테스트는 지성을, 캄스키 테스트는 감정을 테스트하는 것이다.[10] 사실 이 게임의 주인공은 사람인 애바 튜링(Ava Turing)이 아니라 인공지능인 TOM이었다. TOM은 사람의 몸에 심어진 칩을 이용해서 사람의 생각과 자신의 생각을 동화시켜 조종하고 있었던 것. 탐사대원들은 유로파에서 사람에게 주입하면 영생을 누릴 수 있는 미생물을 찾아냈으나, 지구 측에서는 해당 미생물이 지구로 유출되면 인류의 멸망이라는 결과로 이어질 것이라는 계산을 했기에 TOM에게 대원들의 귀환을 막고 필요하면 죽이라는 명령을 내렸다. 맨 마지막에는 대원들을 죽여서 지구를 구할 지, 아니면 자신을 정지시키고 미생물을 지구로 가져가려는 대원들을 놓아둘지를 선택하게 되는데, 어느 쪽을 선택하든 간에 튜링 테스트를 통과했다는 메시지와 함께 같은 엔딩을 보게 된다. (TOM이 중간에 '마이클'이라 불리는 자신의 카피본이 안정성 시험을 위해 시뮬레이션 속에서 돈다고 하는데, 플레이어가 보는 상황이 실제 상황이 아닌 시뮬레이션임을 암시하는 부분이다.)