테크레시피

나오자마자 오픈소스 LLM 최고 점수 차지한 모델

알리바바 오픈소스 언어 모델인 Qwen-72B를 미세 조정해 만든 Smaug-72B가 2월 6일 등장하는 동시에 세계 최고 오픈소스 언어 모델 자리를 차지한 것으로 밝혀졌다.

미국 샌프란시스코에 위치한 AI 기업인 아바커스AI(Abacus AI)가 개발한 Smaug-72B는 유명 벤치마크(ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K)에서 고득점을 차지해 모든 오픈소스 언어 모델 중 가장 뛰어난 평균 점수를 나타냈다.

Smaug-72B는 여러 벤치마크에서 대규모 언어 모델인 GPT-3.5나 미스트랄 미디엄(Mistral Medium)을 뛰어넘는 점수를 내고 있으며 파생원인 Qwen-72B와는 평균점에서 7점 가까이 차이를 내고 있다.

Smaug-72B는 인간 수준을 보여주는 평균 90∼100점에는 아직 미치지 못하지만 오픈소스 모델 중 처음으로 80점이 넘는다. 보도에선 오랫동안 베일에 싸여 있던 빅테크 능력에 대해 오픈소스 언어 모델이 조만간 따라잡을 가능성을 시사한닥 지적한다.

아바커스AI 측은 Smaug-72B는 현재 허깅페이스에서 사용할 수 있다며 다음 목표는 이런 기법을 연구 논문으로 발표하고 기존 최고 모델에 적용하는 것이라고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.

이석원 기자

월간 아하PC, HowPC 잡지시대를 거쳐 지디넷, 전자신문인터넷 부장, 컨슈머저널 이버즈 편집장, 테크홀릭 발행인, 벤처스퀘어 편집장 등 온라인 IT 매체에서 '기술시대'를 지켜봐 왔다. 여전히 활력 넘치게 변화하는 이 시장이 궁금하다.

뉴스레터 구독