챗GPT 덕에 논문을 읽는 수고가 99% 줄었다는 연구자가 있듯 AI 지원은 학술 연구에 큰 변화를 가져오려 한다. 캘리포니아대학 산타크루즈 역사학자인 벤자민 브린은 오픈AI 대규모 언어 모델인 GPT-4와 앤트로픽 클로드2를 이용해 16세기 라틴어 서적을 변역시킨 결과 놀랍게도 정확도가 높은 결과를 얻었다고 보고했다.
그는 3가지 기능에 주목했다. 먼저 전근대 서적을 OCR을 통해 얻은 문자가 혼잡한 문장 같은 불완전한 원전 내용을 추측하는 능력. 다음으로 구글 번역 같은 전용 번역기와 달리 책에 쓰인 역사적 배경 등도 포함한 광범위한 학습 데이터를 갖고 있다는 점. 마지막으로 요약과 분석을 수행하는 능력이 그것이다.
역사가는 다양한 언어로 이뤄진 역사서를 살펴봐야 하기 때문에 방대한 자료 중에서 연구 테마와 관련된 걸 빼낼 수 있는 AI 능력을 중요하다고 할 수 있다.
먼저 라틴어 번역. AI 능력을 테스트하기 위해 그는 1599년 출판된 서적(Magical Investigations)을 GPT-4와 클로드2로 번역시켰다. 책 저자는 예수회 수도사이면서 마술과 악마의 소환에 빠져 이런 흑마술에 대항하기 위한 안내서로 이 책을 저술했다고 한다.
테스트에 있어 브린은 구글 도서 OCR 기능으로 탈자나 문자화가 있는 상태로 텍스트화된 원문을 재작성하지 않고 그대로 AI에 입력해 해당 내용을 가능한 한 자세하게 번역하도록 지시했다.
그 결과 클로드2와 빙챗 크리에이티브 모드를 통해 사용한 GPT-4는 성경 시편 91장 6절에 언급되어 있는 정오의 악마(Noonday Demon)에 대해 이해하는 자료로 손색없는 정확한 번역 결과를 보여줄 수 있었다. GPT-4 결과는 히브리어에 대한 설명에 다소 어려움을 겪었지만 클로드2 결과에 대해 그는 모든 곳에서 최고의 번역이라고 생각한다고 밝혔다.
다음 테스트는 라틴어 요약. 클로드2에 악마 타입과 특징, 언급되는 페이지를 표로 만들라고 지시한 결과 10만 개에 이르는 토큰 컨텍스트 창에 해당하는 클로드2는 요약에서도 좋은 결과를 보였다.
그는 원전을 체크하면 표에 쓰인 페이지에 제대로 해당 악마에 대한 설명이 발견됐다고 한다. 일부 페이지가 잘못되어 있는 곳도 있었지만 이는 페이지 번호 인쇄가 더럽거나 오식에 기인한 실수일 것이라는 설명이다. 이 결과로부터 그는 이런 도표나 요약은 다언어로 연구하는 사람에게 있어 게임 체인저라면서 언어 연구 어시스턴트 같은 역할을 할 수 있다고 밝히고 있다.
다음은 포르투갈어 의학서 번역. 17∼18세기 활동한 포르투갈 의사(João Curvo Semedo)가 1707년 작성한 증례 연구에 관한 의학서를 GPT-4에 번역시키자 저자가 당시 의학자 중에선 드물게 수은 독성을 올바르게 인식하고 있는 것으로 판명됐다. 현대에는 수은이 유해하다는 게 널리 알려져 있지만 20세기까지는 매독이나 우울증 치료약으로 사용됐으며 링컨도 수은을 약으로 복용하고 있었다. 이 책을 번역시킨 결과 GPT-4 덕에 수은 유해성에 대해 인지하고 있었다는 역사적으로도 중요한 발견을 할 수 있었다고 한다.
앞서 언급했듯 GPT-4는 라틴어 번역에서 조금 부정확한 면이 있었지만 포르투갈어에는 능숙했으며 의학서 번역 기술에 관해선 인간 전문가와 필적할 것으로 평가하고 있다. 또 GPT-4는 포르투갈 의사가 언급한 치료제를 나열할 수 있었다.
3가지 테스트 결과 그는 LLM에 의한 1차 자료 번역과 분석은 역사 연구자와 번역자에게 유용한 도구가 된다는 걸 확인할 수 있었다고 설명하고 있다. 관련 내용은 이곳에서 확인할 수 있다.