정용환 기자
AI 기업 미스트랄 AI가 미스트랄 스몰 3.1이라는 모델을 발표했다. 128K 토큰 컨텍스트 길이와 240억 파라미터를 갖추면서도 단일 RTX 4090 또는 32GB RAM이 탑재된 맥에서 작동하는 경량성이 특징이라고 한다.
미스트랄 스몰 3.1은 텍스트와 이미지 이해 능력을 갖춘 멀티모달 AI 모델로 최대 128K 토큰 컨텍스트 길이와 240억 파라미터를 갖추고 초당 150 토큰 추론 속도를 실현하는 외에도 영어 등 수십 가지 언어를 지원한다. 아파치 2.0 라이선스로 공개되어 있어 상업용, 비상업용을 불문하고 어느 정도 자유롭게 이용할 수 있다.
기반이 된 모델은 미스트랄 AI가 2025년 1월 공개한 미스트랄 스몰 3이다. 미스트랄 스몰 3를 더 경량화하고 낮은 레이턴시로 비용 효율이 뛰어난 기능을 융합해 구글 젬마 3이나 오픈AI GPT-4o 미니와 같은 동등한 모델을 능가하는 성능이 실현됐다.
구체적인 사용례로는 대화 지원이나 이미지 이해, 함수 호출 등이 언급되고 있다. 미스트랄 AI는 미스트랄 스몰 3.1은 광범위한 생성 AI 태스크를 처리하도록 설계된 범용성이 높은 모델이라며 단일 RTX 4090 또는 32GB RAM이 탑재된 맥에서 작동하기 때문에 온디바이스 사용례에 최적이라면서 응답 속도가 중시되는 상황이나 자동화된 워크플로우를 실행하는 상황, 법률 상담이나 의료 진단 등 전문성이 높은 상황에서 유용하다고 말했다.
We're excited to welcome @MistralAI’s newest model, Mistral Small 3.1, to Vertex AI!
— Google Cloud Tech (@GoogleCloudTech) March 17, 2025
Mistral Small 3.1 is an #OpenSource, multimodal model designed for programming, mathematical reasoning, document understanding, visual understanding, and more → https://t.co/a4hNhrnKBH pic.twitter.com/u7htWyEWcT
텍스트 지시 응답에 대한 벤치마크 테스트에서는 수학적 문제 해결 능력을 측정하는 MATH 벤치마크 외에 젬마 3-it(27B), 코히어 아야-비전(32B), GPT-4o 미니, 클로드-3.5 하이쿠와 거의 동등하거나 상회하는 성능을 발휘한다.
미스트랄 스몰 3.1은 허깅 페이스 웹사이트에서 다운로드할 수 있을 뿐 아니라 미스트랄 AI 개발자 대상 플레이그라운드인 라 플랫폼이나 구글 클라우드 버텍스 AI에서도 이용할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
이석원 기자
