인공지능 연구 조직인 오픈에이아이(OpenAI)가 인간이 쓴 것과 구별이 안 될 만큼 정확한 문장을 생성할 수 있는 언어 모델인 GPT-2에 이은 후속 버전 GPT-3을 공개했다.
지난 2019년 나온 GPT-2는 성능이 뛰어나 개발진조차 너무 위험하다며 기술 세부 사항을 담은 논문 공개를 연기하기도 했다. 이런 GPT-2에서 매개변수는 15억 개였지만 새로운 버전인 GPT-3에선 무려 1,750억 개에 달하는 매개 변수를 갖는다고 한다.
하지만 어떤 상황에서나 최적의 언어 모델인 건 아니다. 언어 번역과 뉴스 기사 생성, 대학 수학 능력 시험 답 등 자연어 처리에서 뛰어난 결과를 얻을 수 있지만 상식적인 추론 부분에선 부족할 수 있다는 것. 단어 문맥 분석이나 중고등학교 시험 문제 답 등에선 다소 떨어지는 부분도 나온다고 한다.
또 GPT-3을 이용해 인간이 쓴 것과 구별할 수 없이 똑같은 기사가 생성됐다는 보고도 나오고 있다. 관련 내용은 이곳에서 확인할 수 있다.