오픈AI, GPT-4 뛰어넘는 LLM 개발중?

오픈AI가 미국 당국자에게 스토베리(Strawberry)라는 획기적인 성과를 시연하고 코드명 오리온(Orion)이라는 주력 LLM 훈련 데이터를 생성해 GPT-4를 능가하는 성능을 목표로 하고 있다는 소식이 전해졌다.

보도에 따르면 오픈AI가 복잡한 수학 및 프로그래밍 작업을 처리할 수 있는 AI 모델인 스토베리와 GPT-4를 넘어서는 AI 모델인 오리온이라는 2가지 모델을 개발 중이라는 것.

스토베리는 기존보다 더 어려운 수학 문제나 프로그래밍 같은 작업에 최적화되어 있을 뿐 아니라 논리적 능력이 강화되어 충분한 시간이 주어지면 언어 관련 작업도 효과적으로 해결할 수 있다고 한다. 스토베리를 기반으로 한 AI 시스템 사내 데모에서 뉴욕 타임스 워드 퍼즐(Connections)을 성공적으로 풀었다는 보고도 있다.

오픈AI 사내 AI 테스트에서 어떤 AI 모델이 수학 능력을 측정하는 MATH 벤치마크에서 90% 이상 점수를 얻었다고 보도했는데 다른 보도에선 이 모델이 스토베리일 것이라고 추측했다. 또 이 모델이 미국 국가안전보장국(NSA)에도 시연된 것으로 보도됐다.

오픈AI 내부 문서에 따르면 스토베리 모델을 사용해 AI가 사전에 계획을 세우고 세부 조사를 수행하는 자율적인 인터넷 검색이 계획되고 있는 것으로 나타났다. 스토베리 프로젝트에 참여한 관계자에 따르면 오픈AI는 빠르면 2024년 가을에 스토베리 챗봇 버전을 챗GPT 일부로 출시할 가능성이 있다고 한다.

스토베리는 이전에 Q*(Q-스타)로 불렸으며 오픈AI 전 수석 과학자인 일리야 서츠키버가 개발한 AI 모델이었다. 서츠키버가 오픈AI를 떠난 뒤에는 야쿱 파초츠키와 시몬 시돌이 개발을 이어갔다.

또 오픈AI는 스토베리를 오리온이라는 AI 모델 훈련에도 사용하고 있으며 GPT-4를 뛰어넘는 성능을 목표로 하고 있다고 전해졌다. 관련 내용은 이곳에서 확인할 수 있다.