고속 추론 가능‧저지연 중시 AI 모델 ‘미스트랄 스몰3’ 출시

프랑스 AI 스타트업 미스트랄AI(Mistral AI)가 지연 시간을 중시한 AI 모델 미스트랄 스몰3(Mistral Small 3)을 오픈소스 라이선스로 출시했다. 이번에 출시된 미스트랄 스몰3을 기반으로 강화학습 등을 사용해 더 강력한 모델을 만들 수 있는 가능성이 있다고 한다.

미스트랄 스몰3은 레이어를 줄여 엔비디아 H100 GPU 4대를 사용해 초당 150토큰을 생성 가능하다고 한다. 미스트랄 스몰3과 다른 모델에 대해 인간이 어느 답변이 더 바람직한지 평가한 결과를 조면 Gemma-2 27B, Qwen-2.5 32B에 비해 높게 평가됐을 뿐만 아니라 Llama-3.3 70B와 같은 큰 모델과도 견줄 만한 성능을 보였으며 GPT-4o mini와는 동등하게 평가됐다.

대규모 멀티태스크 언어 이해(MMLU) 벤치마크와 고도의 추론 능력을 평가하는 GPQA 벤치마크 결과에서도 Llama-3.3 70B나 GPT-4o mini와 동등한 성능을 보여줬다고 한다. 코딩, 수학, 일반 지식, 명령 등 기타 벤치마크에서도 비슷한 결과를 보였다. 파인튜닝을 하기 전의 사전 조정된 모델에서의 비교는 Llama 3.1 70B와 같은 큰 모델과 동등한 성능을 발휘하고 있다. 외국어 관련 성능도 뒤떨어지지 않는다.

미스트랄 스몰3을 양자화해 단일 RTX 4090에서의 구동이 가능하다고 한다. 그 외에도 신속한 응답이 필요한 태스크에서 힘을 발휘한다고 한다.

미스트랄 스몰3은 허깅페이스나 올라마 같은 플랫폼에서 다운로드할 수 있다. 아파치 2.0 라이선스로 배포되어 있어 상업적 이용도 가능하다. 앞으로 추론 능력을 더 강화한 소형·대형 모델이 출시될 예정이라고 한다.

범용 AI 시스템인 대규모 언어 모델에서 미스트랄은 유럽에서 유일하게 존재감 있는 기업이지만 2024년 점유율은 5%에 불과하며 미국 기업에 밀리는 추세다. 유럽이 AI에 미치는 영향력을 유지하려면 미스트랄이 여기서 반전할 수 있을지가 중요하다는 지적이다. 관련 내용은 이곳에서 확인할 수 있다.