LLM에 정밀도‧지식 갱신 속도 더해주는 기술

챗GPT와 구글 바드, 마이크로소프트 빙AI 등 2023년은 채팅 AI가 빠르게 보급되는 한 해였다. 이런 채팅 AI 기반이 되는 대규모 언어 모델은 환각을 일으킨다거나 지식 갱신이 느리고 투명성이 부족하다는 등 문제를 안고 있지만 이를 해소하는 게 가능한 기술이 바로 RAG(Retrieval-Augmented Generation)다.

챗GPT 등 채팅 AI 기반이 되는 LLM은 강력하지만 실용적인 응용에 있어 사실과는 다른 내용을 출력하는 환각을 일으키는 게 종종 문제시되고 있다. AI가 일으키는 환각은 화제가 됐고 케임브리지대학이 출판하는 케임브리지사전 내 2023년을 상징하는 단어로 뽑히기도 했다.

챗GPT가 환각에 의해 존재하지 않는 판례를 만들어 이를 모르고 채택한 변호사가 벌금 지불을 명령받는 사태가 발생하기도 했다. 아마존 AI 채팅 서비스인 아마존Q가 환각으로 AWS 데이터센터 위치 등 기밀 데이터를 유출하고 있다는 지적도 나왔다.

따라서 LLM이 환각을 일으킬 위험을 객관적으로 검증할 수 있는 평가 모델이 개발되거나 환각 발생률을 대폭 줄일 수 있는 LLM 등 환각 대책을 진행하고 있다. 그 밖에 LLM은 지식 갱신이 느리고 응답 투명성이 부족하다는 문제도 있다. LLM은 보통 매개변수가 모델 복잡성을 나타내며 매개변수 수가 많을수록 복잡한 작업에 높은 성능을 발휘할 수 있지만 학습 시간과 계산 리소스가 증가한다. 과학습에 빠지거나 블랙박스화해버리기 때문이다.

LLM이 갖는 이런 문제를 해결하기 위해 개발된 게 RAG, 검색 확장 생성이다. RAG는 LLM에서 뭔가 프롬프트에 대답하기 전에 외부 짓기 기반에서 관련 정보를 검색하는 것으로 생성 기반 LLM에 검색 기반 기능을 추가해 단점을 보완한다는 아이디어를 기반으로 하고 있다.

RAG에 대해 반도체 기업인 엔비디아는 연구 논문 각주처럼 인용할 수 있는 소스를 모델에 준다고 설명하고 있다. RAG를 이용해 LLM 출력에 외부 데이터베이스 유래 소스를 덧붙이는 게 가능해져 응답 정밀도나 투명성을 높일 수 있다는 것. RAG에 대해 연구하는 연구팀은 LLM을 이용한 지식 집약적 태스크에 있어 응답 정밀도를 대폭 향상시킬 수 있고 동시에 환각 발생률을 줄이는 것으로 이어질 수 있다는 게 입증됐다고 밝히고 있다.

또 LLM이 출력하는 답변 소스를 인용할 수 있으므로 사용자는 응답 정당성을 검증할 수 있게 된다. 다시 말해 LLM 출력에 대한 신뢰성을 높이는 것으로 이어진다. 그 밖에 외부 데이터베이스를 이용할 수 있기 때문에 LLM 지식 기반 업데이트와 LLM에 도메인 고유 지식을 도입하기도 쉽다.

연구팀은 RAG는 LLM의 변수화된 지식을 매개변수화되지 않은 외부 지식 기반과 효과적으로 결합해 LLM 구현에서 가장 중요한 기술 중 하나가 될 것이라고 주장하고 있다. 관련 내용은 이곳에서 확인할 수 있다.