오픈AI가 챗GPT 오류를 탐지하는 AI 모델인 크리틱GPT(CriticGPT)를 개발했다고 발표했다. 크리틱GPT는 챗GPT와 마찬가지로 GPT-4를 기반으로 개발됐다고 한다.
챗GPT 같은 채팅 AI를 사용하면 적은 조작으로 코드를 생성하거나 긴 글을 작성할 수 있다. 하지만 채팅 AI가 생성하는 코드나 문장에는 오류가 포함되는 경우도 많아 챗GPT로 생성한 코드를 그대로 사용한 결과 버그가 존재해 실제 피해를 입었다는 보고도 있다.
이에 오픈AI는 챗GPT 오류를 탐지하고 수정하는 AI 모델인 크리틱GPT를 개발했다. 크리틱GPT는 GPT-4를 기반으로 개발된 모델로 수동으로 실수를 포함시킨 코드와 코드 실수를 수정하는 문장을 학습해 코드 오류 탐지 능력과 수정 능력을 강화했다.
크리틱GPT 사용 예를 보면 챗GPT가 생성한 코드에 대해 크리틱GPT가 이 용도에서 startswith 메소드 사용은 적절하지 않다고 지적하며 대안을 제시하는 식이다. 인간, 크리틱GPT, 인간과 크리틱GPT를 대상으로 코드에 대한 비평 완전성을 비교해보면 인간 비평보다 크리틱GPT 비평이 더 완전성이 높다고 한다. 코드에 대한 비평에 사실과 다른 정보(환각)가 포함되는 비율을 비교해보면 환각이 포함되는 비율은 인간이 크리틱GPT를 사용했을 때 가장 낮아진다.
오픈AI는 복잡해지는 AI 시스템을 조정하려면 더 뛰어난 도구가 필요하다며 앞으로도 크리틱GPT 같은 AI 출력을 조정하는 도구를 개발할 의향을 보였다. 관련 내용은 이곳에서 확인할 수 있다.