정용환 기자
마이크로소프트가 작은 규모에서도 큰 성능을 발휘하는 언어 모델 파이-3(Phi-3) 제품군을 출시했다. 이 제품군 중 가장 작은 모델인 파이-3 미니는 오픈소스 모델로 무료로 상업적 이용이 가능하다.
2023년 12월 이전 모델인 파이-2를 출시했을 당시에도 파이-2는 최대 25배 크기 모델과 동등 이상 성능을 발휘할 수 있다고 밝힌 바 있다. 이번에는 파이-3 모델 제품군 발표와 동시에 파이-3 제품군 중 가장 작은 38억 개 파라미터 모델인 파이-3-미니가 출시되어 애저 AI 모델 카탈로그에서 이용 가능해졌다. 70억 개와 140억 개 파라미터를 가진 파이-3 스몰, 파이-3 미디엄도 있으며 곧 애저 AI 모델 카탈로그에서 사용할 수 있을 예정이다.
언어 모델은 파라미터 수가 많을수록 높은 추론, 데이터 분석, 컨텍스트 이해 등 복잡한 작업을 잘 수행하는 경향이 있지만 파라미터 수가 많아질수록 학습과 추론에 필요한 컴퓨팅 파워도 증가한다.
파이-3 같은 작은 모델은 필요한 컴퓨팅 파워가 적어 비용을 낮출 수 있고 파인튜닝 등을 통해 쉽게 최적화할 수 있으며 디바이스에서 로컬 실행이 가능하고 빠른 응답 속도를 실현할 수 있다. 파라미터 수를 줄이면서 성능을 유지하는 게 중요하다.
여러 오픈 모델과 비교한 결과 파이-3 제품군 모델은 품질과 비용간 트레이드오프 곡선을 새로운 위치로 올렸다고 볼 수 있다. 벤치마크 결과를 보면 파이-3 모델은 자신보다 큰 모델 성능을 능가하지만 모델 크기가 작아 사실 정보를 기억할 수 있는 용량이 줄어 TriviaQA 등에서는 좋지 않은 결과를 보였다.
파이-3 미니는 MIT 라이선스로 애저 AI 모델 카탈로그, 허깅페이스, 올라마(Ollama)에서 이용 가능하다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
이석원 기자
