오픈AI 연구팀이 언어 모델 정확성을 유지하면서 문장 이해도를 향상시키는 방법을 개발하고 성과를 공개했다.
채팅 AI나 AI 어시스턴트 등에 사용되는 언어 모델에는 정확한 출력 뿐 아니라 이해하기 쉬운 문장 출력도 요구됩니다. 하지만 지금까지의 언어 모델 개발 방법에는 정확성을 높이면 가독성이 저하되고 가독성을 높이면 정확성이 저하된다는 문제가 존재해 정확성과 가독성 양립이 과제가 되어 왔다.
오픈AI 연구팀이 찾은 해결 방법은 언어 모델을 더 약한 모델로도 검증 가능한 문장을 출력하도록 훈련시키는 것이다. 구체적으로는 GPT-4와 같은 강력한 언어 모델과 난해한 문장을 이해할 수 없는 약한 모델을 준비하고 문제에 대한 답변을 강력한 모델에 출력시키고 강력한 모델 출력 내용의 정확성을 약한 모델에 체크시키는 흐름을 체크가 성공할 때까지 반복하는 방법으로 정확성과 가독성 양립을 달성했다.
이번 방법을 적용하기 전 언어 모델에 샤우나의 아버지는 샤우나보다 5배 나이이고 샤우나는 아리야 3배 나이다. 아리야가 3살이라면 샤우나 아버지 나이는 어떻게 되냐는 초등학교 수준 산수 문제를 풀게 한 결과를 보면 45라는 정답은 도출했지만 계산 과정 설명이 난해하다.
이번 방법을 적용한 뒤 답변은 먼저 아리야 나이는 3살이며 다음으로 샤우나 나이는 아리야 3배이므로 9살 등 계산 과정을 알기 쉽게 해설할 수 있게 됐다.
연구팀은 이번 방법을 활용해 AI 시스템의 인간에 대한 의존도를 줄일 수 있고 AI를 탑재한 애플리케이션 신뢰성과 안전성을 향상시킬 수 있다고 주장하고 있다. 관련 내용은 이곳에서 확인할 수 있다.