언어에 있어 일반화를 인간처럼 실시할 수 있는 신경망 개발에 성공한 게 10월 25일 학술지 네이처에 게재된 논문에서 보고됐다. 챗GPT 같은 인간과 자연스럽게 대화할 수 있는 챗봇에서도 언어 일반화는 어렵기 때문에 이 신경망 등장에 의해 대화형 AI 추가 진화를 전망할 수 있다고 지적했다.
인간은 언어를 다룰 때 새로운 학습 단어를 기존 어휘에 통합하고 새로운 맥락에서 사용 일반화로 알려진 작업을 수행한다. 일반화는 사람이 새로운 환경에서 새로 얻은 단어를 어려움 없이 사용할 수 있는 능력에 의해 입증된다. 예를 들어 포토바밍(Photobombing)이라는 말에 대한 의미를 이해하면 포토바밍을 2회 실시한다거나 줌 통화 중 포토바밍을 당했다는 등 다양한 장면에서 포토바밍이라는 단어를 사용할 수 있게 된다.
하지만 이 언어 일반화 능력은 AI 연구를 지배해온 인간 인지를 에뮬레이트하는 방법인 신경망에 태어나 갖춰져 있지 않은 게 뉴욕대학 연구자 연구를 통해 밝혀졌다. 인간과는 달리 신경망은 단어를 사용하는 여러 샘플 텍스트를 배울 때까지 일반화에 어려움을 겪는다.
연구팀은 피험자 25명을 대상으로 새롭게 배운 단어를 다양한 상황에서 얼마나 잘 활용할 수 있는지를 테스트했다. 연구팀은 2가지 범주 무의미한 단어로 이뤄진 의사 언어를 사용해 피험자 일반화 능력을 검증했다.
테스트에선 ‘dax, wif, lug’ 같은 원시적 단어를 스킵이나 점프 같은 기본 동작을 나타내는 단어로 설정하고 더 추상 기능적 단어로 ‘blicket, kiki, fep’를 설정했다. 원시적 단어와 기능적 단어를 조합해 3회 점프한다거나 뒤로 건너뛰기 같은 표현을 하도록 하고 있다.
그런 다음 피험자는 원시 단어를 특정 색상 원과 연결하도록 훈련된다. 구체적으론 dax가 붉은 원, lug는 푸른 원을 나타내는 등 상태다. 이런 원시적 단어와 기능적 단어를 조합해 어떤 원이 생길 수 있는지 피험자에게 답변을 받았다. 예를 들어 dax fep에선 붉은 원 3개, lug fep에선 푸른 원 3개 상태로 2종류 분야 단어를 일반화하는 능력을 측정한 것이다.
테스트 결과 인간 피험자는 언어 일반화 작업에서 뛰어난 성과를 발휘하는 것으로 나타났다. 피험자는 평균 80% 비율로 정확한 수 색상 원을 나타내는 단어 조합을 답하는데 성공했다고 한다.
다음으로 연구자는 인간 피험자에게 실시한 테스트와 같은 작업을 수행하도록 신경망을 학습시켰다. 신경망을 학습시키는 표준 접근 방식인 정적 데이터세트를 사용하는 대신 AI가 작업마다 완료하면서 훈련할 수 있도록 했다. 신경망을 인간답게 하기 위해 연구팀은 인간 테스트 결과에서 관찰된 오류 패턴을 재현하기 위해 신경망을 훈련시켰다. 이후 같은 규칙으로 새롭게 테스트를 작성해 학습 후 뉴럴네트워크 테스트를 실시했는데 정답률은 인간과 거의 동일하며 경우에 따라선 인간 퍼포먼스를 웃돌았다고 한다.
반면 챗GPT 기반인 GPT-4는 비슷한 테스트에 어려움을 겪었다. 챗GPT는 인간처럼 대화를 할 수 있음에도 불구하고 오답률은 인간이나 앞서 밝힌 신경망보다 낮은 평균 42∼86%였다. 연구팀은 이건 마법이 아니라 연습에 의해 습득된 것이라며 아이가 모국어를 배울 때 연습하는 것처럼 AI 모델은 일련의 구성 학습 과제를 통해 구성 스킬을 높인다고 밝혔다. 또 다른 연구자는 신경망이 보여주는 인간 같은 퍼포먼스에 대해 네트워크를 체게적으로 훈련하는 능력에 획기적인 진보가 있다는 걸 시사한다고 지적한다.
전문가는 이 연구는 흥미로운 원리 증명이지만 학습 방법이 대규모 데이터세트 전체에서 일반화될 수 있는지는 아직 알 수 없다고 말한다. 한편 연구팀은 인간이 어릴 때부터 체계적으로 일반화하는 요령을 어떻게 익히는지 연구하고 이 발견을 통합해 견고한 신경망을 구축해 이 문제에 임하고 싶다고 말한다. 전문가는 이런 연구로 신경망 학습 효율이 높아질 가능성이 있다고 말한다. 또 챗GPT 같은 학습에 필요한 엄청난 양에 달하는 데이터가 줄고 AI가 존재하지 않는 패턴을 인식하고 부정확한 출력을 만들 때 발생하는 환각이 최소화될 수 있다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.