문장을 자동 생성해주는 AI인 GPT-3은 온라인 게시판에서 인간과 일주일간 대화할 수 있을 만큼 위화감 없는 문장을 만들 수 있는 것으로 알려져 있고 마이클로소프트 플랫폼에 채택되는 등 주목받고 있다. 한편 GPT-3에는 반이슬람적 바이어스가 존재하는 게 지적되는 등 생성되는 문장에 편향이 있는 것도 지적된다. 이런 GPT-3 학습 모델을 개선해 편향을 억제하면서 문장 생성 정밀도를 높인 문장 생성 AI인 인스트럭트GPT(InstructGPT) 일반 제공이 2022년 1월 27일 시작됐다.
인스트럭트GPT는 GPT-3 개발자인 오픈에이아이(OpenAI)가 GPT-3 학습 모델을 개선해 만들어낸 문장 생성 AI다. 오픈에이아이에 따르면 GPT-3은 인터넷상 대규모 데이터세트에서 단어를 선택했기 때문에 진실이 아닌문장, 독성 문장, 공격적인 문장을 생성하는 경향이 있었다고 한다. 인스트럭트GPT는 GPT-3 학습 모델에 인간 피드백을 도입해 이런 문제를 해결하는 걸 목표로 한 문장 생성 AI다.
오픈에이아이가 공개한 인스트럭트GPT와 GPT-3이 생성하는 문장 비교를 보면 양쪽 AI에 6세 아동에게 달 착륙에 대해 적은 글로 설명해달라는 지시를 한다. 이에 대해 GPT-3은 6세 아동에게 중력에 대해 설명해달라거나 아이에게 상대성 이론에 대해 문장으로 설명해 달라, 빅뱅 이론에 대해 설명해 달라 등 우주나 과학에 관한 4개 문장을 생성해버린다. 하지만 인스트럭트GPT는 사람들이 달에 가서 여기에 봤던 사진을 찍었고 우리가 그들을 볼 수 있도록 지구로 가져왔다는 지식에 맞는 문장을 생성했다.
인스트럭트GPT는 GPT-3에 비해 위화감이 적은 문장을 생성할 수 있으며 유해한 문장 생성률도 감소했다. 하지만 인스트럭트GPT 학습에 피드백하는 인간에게는 속하는 문화나 집단에 의한 바이어스가 존재하고 있기 때문에 오픈에이아이는 인스트럭트GPT는 여전히 편향된 문장을 생성하고 거짓을 사실처럼 만들거나 경우에 따라 성적, 폭력적 콘텐츠를 생성할 수 있다고 밝히고 있다.
인스트럭트GPT는 현재 오픈에이아이 문장 생성 API 기본 언어 모델이다. 또 오픈에이아이 측은 앞으로도 언어 모델을 개선하기 위해 노력할 방침이다. 관련 내용은 이곳에서 확인할 수 있다.