2024년 5월부터 구글이 광범위하게 전개하고 있는 검색결과를 AI가 요약해 개요를 표시해주는 기능 AI오버뷰(AI Overview)에서 피자에 치즈를 붙이기 위해 접착제를 사용한다는 등 이상한 답변을 했다는 걸 구글이 인정하고 왜 이런 답변을 하게 됐는지에 대해 설명했다.
구글은 AI오버뷰는 단순히 학습 데이터를 바탕으로 출력을 생성하는 게 아니라 맞춤형 언어모델과 함께 코어웹랭킹시스템과 통합되어 있으며 인덱스에서 관련성 높은 고품질 결과를 식별해 출력을 한다고 설명했다. 따라서 다른 대규모 언어모델 제품과 달리 환각이 발생하지 않는다고 강조했다.
이번에 피자에 치즈를 붙이기 위해 접착제를 사용한다는 등 이상한 답변이 나온 원인에 대해 구글은 무의미한 질의나 풍자적 콘텐츠가 주어졌기 때문이라고 분석했다. 구글에 따르면 돌을 몇 개 먹어야 하냐는 질문을 검색해도 이 질문에 적절히 답할 수 있는 웹 콘텐츠는 거의 없다. 토픽에 관한 고품질 콘텐츠량이 제한적인 이런 사례는 데이터 공백 또는 정보 격차라고 불린다.
돌 몇 개를 먹어야 하냐는 질문의 경우 이 토픽에 관한 풍자적 콘텐츠를 게재하는 웹사이트나 지질학 소프트웨어 공급업체 블로그 글 같은 극소수 정보에 의존해 AI오버뷰가 개요를 작성했다. 그 결과 이번 같은 이상한 답변이 나온 것이다.
구글은 또 AI오버뷰에서 잘못된 답변을 내도록 하는 것 같은 무의미한 웹사이트 개설도 확인되고 있다고 지적했다.
구글 조사에선 AI오버뷰가 포럼 내 반어적인 콘텐츠나 욕설을 포함한 콘텐츠를 답변 생성에 활용한 것도 드러났다. 따라서 구글은 AI오버뷰 관련 알고리즘 개선과 정책에 부합하지 않는 답변을 제외하는 프로세스 확립에 노력했다고 한다.
구체적으로는 AI오버뷰를 표시하지 말아야 할 무의미한 질의를 검출하는 메커니즘을 개선했고 풍자나 유머 콘텐츠를 답변에 포함하는 걸 제한했으며 AI오버뷰가 별로 도움이 되지 않는 것으로 입증된 질의에 대한 트리거를 제한했다. 구글은 또 사용자 피드백과 외부 보고를 모니터링하고 콘텐츠 정책에 위반되는 소수 AI오버뷰에 대해 대책을 마련했다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.