마이크로소프트가 12월 13일에 언어 모델 파이-4(Phi-4)를 출시했다. 파이-4 파라미터 수는 140억 개로 주요 대규모 언어 모델에 비해 소규모지만 수학 성능에서는 최고 수준 성능을 발휘한다.
마이크로소프트는 소규모이면서도 고성능인 언어 모델 파이 시리즈 개발을 진행 중이며 2023년 12월 파이-2, 2024년 4월 파이-3을 출시한 바 있다. 이번에 공개된 파이-4는 기존 파이 시리즈가 갖추고 있던 고도화된 언어 처리 성능에 더해 수학 등 복잡한 추론이 요구되는 작업도 수행할 수 있다.
벤치마크 테스트 MMLU 점수를 보면 파이-4는 유사한 파라미터 크기 언어 모델과 비교했을 때 높은 점수를 기록했으며 Llama-3.3-70B-Instruct와 Qwen2.5-72B-Instruct와 같이 더 많은 파라미터를 가진 언어 모델에 필적하는 성능을 보여준다.
다양한 AI 모델이 미국 수학 경시대회(AMC) 문제를 풀었을 때 평균 점수를 비교한 결과에서도 파이-4는 GPT-4o 및 제미나이 프로 1.5와 같은 대규모 모델보다도 높은 점수를 기록했다.
파이-4는 현재 애저 AI 파운드리(Azure AI Foundry)에서 이용 가능하며 조만간 허깅페이스에서도 공개될 예정이다. 관련 내용은 이곳에서 확인할 수 있다.