미스트랄AI, 디바이스용 소형 모델 출시했다

AI 스타트업 미스트랄AI(Mistral AI)가 파라미터 수가 100억 미만인 소형 언어 모델 미니스트랄(Ministral) 3B와 미니스트랄 8B를 발표했다. 미스트랄AI는 이 두 모델을 통칭해 레 미니스트로(les Ministraux)라고 부른다.

대규모 언어 모델은 크기가 커지고 필요한 사양도 높아지기 때문에 스마트폰이나 노트북과 같은 모바일 기기에서 로컬로 작동하기에는 적합하지 않다. 이에 따라 다양한 AI 기업이 수십억 파라미터 수준 소형 언어 모델 개발을 진행하고 있다.

이번에 발표된 레 미니스트로는 두 모델 모두 파라미터 수가 100억 미만인 소형 언어 모델로 디바이스에서 로컬로 동작하도록 설계됐다. 두 모델 모두 최대 128k 컨텍스트 길이를 지원하며 그 중에서도 미니스트랄 8B는 보다 빠르고 메모리 효율이 높은 설계가 적용됐다.

미스트랄AI는 레 미니스트로에 대해 이들 모델은 파라미터 수가 100억 미만인 모델에서 지식, 상식, 추론, 함수 호출, 효율성에서 새로운 경계를 설정했다며 에이전트 워크플로의 조정부터 전문 작업자를 위한 생성까지 다양한 용도로 사용하거나 튜닝할 수 있다고 설명했다.

레 미니스트로 두 모델과 구글 젬마(Gemma) 2 2B, Llama 3.2 3B, Llama 3.1 8B, 미스트랄 7B를 여러 카테고리 성능으로 비교한 벤치마크 점수가 제공됐다. 미스트랄AI는 미니스트랄 3B와 미니스트랄 8B가 다른 동일 규모의 언어 모델보다 뛰어난 성능을 보여줬다고 강조하고 있다.

미니스트랄 3B와 미니스트랄 8B는 2024년 10월 16일부터 유료로 제공되고 있으며 미니스트랄 3B는 100만 토큰당 0.04달러, 미니스트랄 8B는 100만 토큰당 0.1달러 요금으로 이용할 수 있다.

또 미니스트랄 8의 Instruct(지시 학습형) 모델 가중치는 연구 목적으로 이용 가능하다. 관련 내용은 이곳에서 확인할 수 있다.