API 업데이트 발표한 오픈AI

오픈AI가 새로운 모델 API 공유로의 제공을 시작하는 것 외에 API 사용량 관리 도구 갱신, GPT-3.5 터보 가격 인하 등 API 관련 업데이트를 발표했다.

먼저 새로운 임베디드 모델 등장. 임베디드란 텍스트나 코드 등 콘텐츠 내 개념을 나타내는 일련의 숫자를 말한다. 수치화하면 기계학습 모델 같은 알고리즘이 콘텐츠간 관계를 이해하고 관련 콘텐츠를 결합하는 클러스터링, 검색 같은 작업을 쉽게 수행할 수 있다.

이번 발표에선 기존에는 1개 모델 만이던 임베디드 모델이 소형과 대형으로 나뉘어 소형이고 고효율 모델(text-embedding-3-small), 대규모이면서 강력한 모델(text-embedding-3-large)이 등장했다.

소형 모델은 기존 모델(text-embedding-ada-002)에 비해 다국어 검색에서 보통 사용되는 벤치마크인 MIRACL 평균 점수를 31.4%에서 44%로 증가시키는 등 성능 향상을 실현하면서 동시에 가격을 5분의 1인 1,000토큰당 0.00002달러까지 저렴하게 만드는데 성공하고 있다.

한편 대형 모델 쪽은 작성하는 매입 차원수가 3,072까지 증가하고 있어 MIRCL 평균 점수로 54.9%를 기록하는 등 고성능이라고 한다. 가격은 기존 1.3배인 1,000토큰당 0.00013달러다. 또 두 모델은 임베디드 차원수를 줄여 스토리지와 메모리 사용량을 줄이는 기능을 지원한다. 덧붙여 기존 모델(text-embedding-ada-002)을 폐지할 예정은 없기 때문에 새로운 모델 사용을 추천한다고 쓰이고 있지만 기존 모델도 계속 이용 가능하다고 한다.

다음은 GPT-3.5 터보 모델 업데이트. GPT-3.5 터보는 일주일 이내에 갱신되어 GPT-3.5 터보-0125(gpt-3.5-turbo-0125)가 될 예정이다. 동시에 지난 1년간 3회째 가격 인하를 실시해 입력 가격은 기존 반액인 1,000토큰당 0.0005달러, 출력 가격은 25% 저렴한 1,000토큰당 0.0015달러다. 가격이 저하됐을 뿐 아니라 응답 정밀도 향상이나 텍스트 인코딩 문제 수정 등 다양한 개선이 이뤄지고 있다고 밝히고 있다.

다음은 GPT-4 터보 프리뷰 업데이트. GPT-4 터보 프리뷰 모델(gpt-4-0125-preview)도 발표했다. 2023년 12월경부터 GPT-4가 태스크를 완수하지 않게 됐다는 보고가 전해지게 됐지만 오픈AI에 따르면 이번 업데이트로 태스크 완수율이 향상되고 있다고 한다. 또 GPT-4 터보 일반 공개는 앞으로 몇 개월 이내라고 한다.

다음은 모더레이션용 모델 업데이트. 오픈AI는 텍스트 유해성을 수치화하는 모더레이션 API 를 무료로 개방하고 있다. 이번 발표에 있어 지금까지 가장 안전성이 높은 모더레이션용 모델(text-moderation-007)이 릴리스됐다. 중재 API를 사용하는 방법은 오픈AI 문서에 나와 있다.

다음은 관리 도구 업데이트. API 키에 권한을 할당하고 읽기 전용으로 만들거나 특정 엔드포인트에만 액세스할 수 있도록 할 수 있다. 또 API 키별로 사용 상황을 추적할 수 있어 개별 API 키를 준비하는 것만으로 기능이나 팀, 제품, 프로젝트 등 임의 단위로 사용 상황을 표시할 수 있게 됐다.

덧붙여 새로 작성한 API 키에 대해선 개별 사용 상황 추적이 자동으로 유효화되고 있지만 기존 API 키에 대해선 대시보드로 개별 추적을 유효화할 필요가 있다고 한다. 또 앞으로 몇 개월에 걸쳐 대규모 조직을 위해 API 키 관리 기능도 개선해나갈 것이라고 한다. 관련 내용은 이곳에서 확인할 수 있다.