너무 정밀한 텍스트를 생성할 수 있어 화제를 모은 GPT-3 같은 최신 언어 모델은 언어 처리 능력을 향상시키는 과정에서 자연스럽게 타인 마음을 추찰하는 능력을 획득했다는 연구 논문이 발표됐다.
타인의 마음과 정신 상태에 대해 이해하는 선천적 능력에 대한 이론을 마음 이론(Theory of Mind)이라고 부르며 이는 인간 사회에서 상호 작용이나 커뮤니케이션, 공감, 자의식, 도덕 등 중심을 이룬다.
마음 이론은 인생 초기 단계에 발달해 중요한 것으로 간주된다. 이 때문에 마음 이론이 정상적으로 기능하지 않는 사람은 자폐증이나 쌍극성 장애, 정신분열증, 정신병 등 정신 질환을 앓는 것으로 판단되는 경우가 많다고 한다. 인간에 가장 가까운 고도의 지성을 지닌 것으로 여겨지는 유인원마저도 마음 이론 테스트를 실시하면 인간보다 점수가 크게 떨어진다.
과거에도 RoBERTa나 초기 GPT-3, 커스텀 학습시킨 질의응답 모델에 마음 이론 테스트를 한 연구가 있었지만 이런 연구에서 언어 모델은 간단한 마음 이론 테스트를 풀기조차 힘들었다. 이 때문에 AI에 마음 이론을 갖게 하는 건 현대에서 큰 과제 중 하나라는 논문까지 있었다.
하지만 스탠포드대학 경영대학원 미하우 코신스키(Michal Kosinski) 교수는 마음 이론과 같은 능력을 AI에 명시적으로 통합할 필요는 없다고 생각하고 오히려 언어 처리 능력을 향상시키는 과정에서 자연스럽게 마음 이론을 획득할 가능성조차 있다고 생각하고 있었다고 한다.
코신스키 교수는 마음 이론을 자연스럽게 발현시키고 있을 가능성이 있는 후보로 대규모 언어 모델을 꼽고 있다. 이유는 인간 언어에는 정신 상태 묘사나 다른 신념이나 사고, 욕구를 가진 인물이 다수 등장하기 때문이라고 설명한다.
코신스키 교수는 인간의 마음 이론 능력을 측정하는 테스트에서 널리 사용되는 고전적인 신념 과제 2개를 이용해 예제 제시나 사전 학습을 일절 하지 않고 여러 언어 모델로 테스트하는 실험을 실시했다. 실험 결과 2022년 이전에 발표된 언어 모델에선 마음 이론 테스트를 풀 수 있는 능력이 전무했던 것으로 판명됐다. 하지만 2022년 1월 버전 GPT-3은 테스트에서 7세아 같은 정도 점수를 내고 정답률은 70% 정도를 기록했다. 2022년 11월 버전 GPT-3은 정답률이 93%로 9세 아동과 비슷한 점수를 기록하는 등 엄청난 기세로 마음 이론 테스트 점수를 늘리고 있다고 한다.
코신스키 교수는 실험 결과에 대해 지금까지 인간 밖에 갖고 있지 않다고 생각되던 마음 이론을 언어 모델이 언어 처리 능력을 향상시키는 과정에서 부산물로 획득했을 가능성을 시사한다고 언급하고 있다. 그가 실험에서 이용한 코드와 태스크는 여기에서 누구나 사용할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.