오픈AI가 지난 3월 릴리스한 GPT 모델 패밀리인 GPT-3.5 터보 파인 튜닝 기능을 발표했다. GPT-3.5 터보를 파인 튜닝해 출력한 언어를 고정하고 응답하는 말투를 브랜드나 기업 이미지에 따른 것으로 하는 등 사용자 용도에 맞춘 커스터마이즈가 가능하게 된다.
기계학습 미세 조정은 학습 모델을 새 데이터세트를 이용해 재학습해 미세 작업에 적합한 매개변수를 미세 조정하는 걸 의미한다. 대규모 언어 모델을 미세 조정해 기업이나 개발자는 특정 작업에 적합한 모델을 만들고 사용자에게 고유하고 차별화된 경험을 제공할 수 있다.
오픈AI는 8월 22일 GPT-3.5 터보 파인 튜닝이 가능해졌다고 발표했으며 GPT-4 파인 튜닝 기능도 2023년 가을 출시 예정이라고 보고했다. 오픈AI에 따르면 GPT-3.5 터보 파인 튜닝 버전은 특정 태스크로 GPT-4에 필적하거나 이를 능가하는 성능을 발휘할 가능성이 나타났다고 한다. 또 파인 튜닝을 위해 송수신되는 데이터는 오픈AI나 기타 조직에서 사용되지 않는다는 설명이다. 이미 개인용 베타 버전에선 GPT-3.5 터보 파인 튜닝 기능이 제공되고 있다고 한다.
이를 통한 장점은 첫째 조작성 향상. 파인 튜닝에 의해 기업은 간결하게 대답하거나 특정 언어로 응답하라는 등 지시에 대해 모델이 더 적절하게 따르도록 할 수 있다. 예를 들어 개발자는 파인 튜닝을 이용해 항상 독일어로 대답하게 하는 지시에 대해 모델이 항상 독일어로 대답하도록 하는 게 가능하다고 한다.
둘째 신뢰할 수 있는 출력 형식. 모델이 항상 특정 형식에 따라 응답하도록 하려면 미세 조정이 도움이 된다. 이는 코드 완성, API 호출 작성, JSON 스니펫으로 변환하는 것 같은 특정 응답 형식이 필요한 애플리케이션에 중요하다.
셋째 커스텀 톤. 파인 튜닝은 모델이 출력하는 문장 질감을 세련하게 만드는 뛰어난 방법으로 GPT-3.5 터보가 브랜드 이미지에 따른 어조를 무너뜨리지 않게 조정할 수 있다.
오픈AI에 따르면 파인 튜닝은 성능을 향상시킬 뿐 아니라 성능을 유지하면서 입력 프롬프트를 단축하는 것도 가능하다고 한다. 초기 테스터는 프롬프트 크기를 최대 90% 줄이고 API 호출을 가속화하고 비용을 절감할 수 있었다고 한다.
현재 파인 튜닝에선 데이터 준비, 파일 업로드, 파인 튜닝 작업 작성 같은 절차가 필요하다. 오픈AI는 조만간 진행할 파인 튜닝 작업이나 완성 모델 스냅샷 등에 대한 액세스를 용이하게 하는 UI를 출시할 예정이라고 한다. 파인 튜닝을 실시해도 기본 모델 안전 기능을 유지하기 위해 파인 튜닝용 데이터는 모더레이션 API와 GPT-4 탑재 모더레이션 시스템을 통해 안전하지 않은 학습 데이터 검출이 이뤄지게 된다.
파인 튜닝 비용은 학습에 1,000토큰당 0.008달러, 입력으로 1,000토큰당 0.012달러, 출력으로 1,000토큰당 0.016달러다. 10만 토큰 학습 파일을 이용한 GPT-3.5 터보 파인 튜닝에는 2.4달러 비용이 드는 것으로 추정되고 있다. 관련 내용은 이곳에서 확인할 수 있다.