AI가 입력한 내용에 대해 그냥 좋게 보이는 내용을 출력해버리는 현상을 환각(hallucination)이라고 부른다. AI 기업인 벡타라(Vectara)가 오픈소스 환각 평가 모델 HEM(Hallucination Evaluation Model)을 발표했다.
대규모 언어 모델은 질문에 정확하게 대답하는 경우도 있다. 대규모 언어 모델은 어디까지나 통계적으로 말을 출력하고 있는 것만으로 출력하는 내용 의미를 이해하고 있는 건 아니기 때문에 뭘 말하고 있는지 확실하게 모르는 것 같은 회답을 돌려주고 버릴 가능성이 있어 사용자 질문 내용에 대해 완전하게 존재도 하지 않는 내용을 제대로 대답해버리거나 학습 데이터에 의한 특정 바이어스가 출력되는 등 대규모 언어 모델 같은 생성형 AI 도입을 고려하는 기업에 있어 환각에 의한 에러는 가장 우려하는 위험 중 하나라고 할 수 있다.
많은 기업이 이 환각 위험에 의해 생성형 AI 도입을 주저했지만 환각에 의한 위험이 정량화되어 있지 않기 때문에 우려 사항이면서도 구체적인 위험 검토를 할 수 없는 현상이다. 벡타라는 기업 대규모 언어 모델이 가진 진정한 힘이 검색 강화 생성 RAG(Retrieval Augmented Generation)에 의해 초래된다고 주장한다. RAG는 대규모 언어 모델이 가진 지식 표현을 보완하기 우해 외부 지식 소스에 AI를 접하게 해 환각을 줄여주는 효과가 있다고 한다.
이번에 벡타라가 개발한 HEM은 은행 신용 등급이 금융 위험을 고려하는데 있어 기능하도록 대규모 언어 모델 정확도와 환각률을 평가할 수 있다. 벡타라는 오픈AI GPT와 메타 LLaMA 등과 같은 대규모 언어 모델 환각율을 평가한 결과는 깃허브에 공개되어 있다.
이 평가는 1,000개 짧은 문서를 대규모 언어 모델에 공개 입력해 해당 문서 내에 쓰인 내용만 이용해 각각 문서를 요약하도록 지시했다고 한다. 그리고 모든 대규모 언어 모델이 요약에 성공한 1,000건 중 831건을 대상으로 요약 정확성(Accuracy)과 환각으로 요약이 부정확해진 환각율(Hallucination Rate)을 계산했다. 또 1,000건 문서 중 요약한 비율을 답답률(Answer Rate), 요약한 문장 단어수 평균을 요약 평균 길이(Average Summary Length)로 정리하고 있다.
현재 가장 환각을 일으키기 어려운 건 오픈AI GPT-4였고 환각율은 3.0%였다. 반면 환각율이 가장 높았던 건 구글 PaLM-Chat으로 27.2%였다. 벡타라가 출시한 HEM은 AI 관련 라이브러리 플랫폼인 허깅페이스에 오픈소스로 공개되어 있다. 벡타라 측은 조직이 챗봇을 포함한 생성형 AI를 효과적으로 도입할 위험과 잠재적 마이너스 측면을 명확하게 파악해야 한다며 벡타라 HEM은 대규모 언어 모델에 의해 생성된 환각 위험을 누구나 측정할 수 있으며 평가를 할 수 있게 HEM을 오픈소스로 공개하고 누구나 액세스할 수 있는 리더보드를 제공한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.