“대화형 AI, 정답 찾는 검색 엔진 아니다”

최근에는 오픈AI가 개발한 챗GPT나 구글 바드 등 고성능 대화형 AI가 등장해 주목받고 있다. 이런 언어 모델을 이용한 AI에 대해 질문하면 뭐든 대답해주는 검색엔진 같은 것으로 생각하고 있는 사람도 많을 수 있다. 하지만 언어 모델을 이용한 대화형 AI는 검색엔진이 아니라 단어 계산기로 생각하는 게 좋다는 지적이 나온다.

사람들은 챗GPT 같은 대화형 AI에게 다양한 질문을 하고 대답이 얼마나 정확한지 혹은 까다로운 것인지 보고 즐긴다. 대화형 AI는 상당히 정확하게 보이는 대답을 하고 자연스럽다. 하지만 대화형 AI는 확실히 사용자 질문에 대해 엄청난 설명을 하지만 내용이 반드시 정확하다고는 할 수 없다. 이 현상에 대해 SF 작가인 테드 장은 챗GPTW는 웹의 흐릿한 JPEG 이미지라고 비유하기도 했다.

그는 JPEG가 고해상도 이미지 정보를 많이 보유한 것처럼 언어 모델은 웹에 많은 정보를 보유하고 있지만 정확한 비트 배열을 찾고 있다면 이는 찾을 수 없다며 근사치만 얻을 수 있다고 말한다. 하지만 이 근사치는 보통 챗GPT가 잘하는 문법적으로 올바른 문장으로 표현되기 때문에 허용된다고 말한다.

챗GPT 모델은 거대하지만 학습 세트에서 만난 모든 정확한 사실을 유지할 정도로 거대하지 않다며 사용자는 챗GPT가 내린 대답에 회의적인 태도로 사실을 확인할 필요가 있다고 지적한다. 챗GPT와 같은 대화형 AI가 사실이 아닌 대답을 생성하는 걸 환각(Hallucination)이라고 부른다. 물론 인간이 검색엔진을 사용해 뭔가를 조사해도 사실이 아닌 설명에 도달할 수 있다. 하지만 인간은 여러 소스와 대조해 비교 검토하고 뭐가 사실인지 검토할 수 있다. 대화형 AI가 생성한 대답 하나만 보면 정보를 비교 검토하고 올바른 사실에 도달하지 못할 수 있는 만큼 챗GPT와 같은 대화형 AI를 검색엔진처럼 사용하는 건 위험하다.

검색엔진으로 사용할 수 없다면 언어 모델을 이용한 대화형 AI는 어디에 적합할까. 이 언어 모델은 단어 계산기로 볼 수 있다. 언어 모델은 말 그대로 언어를 다루는 도구이며 정말 뛰어난 건 질문에 대한 정확한 답변이 아니라 언어 조작이라는 것이다. 언어 모델을 이용한 대화형 AI에 적합한 활용 방법으로 몇 가지 사례를 보면 이렇다. 에세이를 주고 해당 내용을 요악한다. 특정 문장을 주고 해당 문장에 포함된 정보에 대해 질문한다. 기사에 제시된 사실을 글머리 기호로 하도록 요구한다. 문장을 더 전문적으로 재작성시킨다. 뛰어난 동의어 사전으로 이용한다. 이 문장을 17세기풍으로 작성하라든지 랩으로 하라는 등 문장을 다루는 창조적 놀이에 사용하는 것 등이다.

또 일부 대화형 AI는 질문에 대해 검색을 수행하고 검색 결과를 답변에 포함하는 기능도 탑재하고 있다. 이런 검색 도구는 확장 언어 모델로 이용할 수 있으며 질문에 더 정확한 답변을 제공하는데 도움이 된다.

하지만 검색 도구를 포함한 대화형 AI조차 환각 위험이 존재하고 검색 결과에서 파생되어야 하는 문장에 언어 모델이 생성한 잘못된 문장이 추가되는 경우가 있다. 또 언어 모델은 단어 계산기 같은 것이라는 비유에는 계산기는 언제든 같은 대답을 반환해야 하지만 언어 모델은 동일 프롬프트를 줘도 응답이 미묘하게 다르다는 결함이 있다. 대화형 AI에 관련한 과제 대부분은 대화형 AI가 실제보다 뛰어나게 보이는 점을 지적한다. 언어 모델 가치를 극대화하고 부주의한 사용자를 대상으로 하는 문제를 피하기 위해 언어 모델이 어떻게 작동하고 뭐가 가능하고 어디에서 실수하기 쉬운지에 대한 정확한 모델을 구축해야 한다는 것이다. 관련 내용은 이곳에서 확인할 수 있다.