구글과 메타 출신 연구자가 설립한 AI 스타트업 미스트랄AI(Mistral AI)가 오픈소스 대규모 언어 모델인 믹스트랄(Mixtral) 8x22B」를 릴리스했다. 이 모델은 오픈소스 라이선스인 아파치 2.0으로 제공되어 상업적 이용도 가능하다.
믹스트랄 8x22B는 SMoE로 추론마다 1,410억 중 390억 파라미터만 사용해 파라미터 크기에 비해 훨씬 뛰어난 비용 효율성을 발휘한다. 믹스트랄 8x22B는 활성 파라미터 수를 줄이면서도 높은 성능을 유지할 수 있다.
주요 오픈 모델과의 벤치마크 비교 결과 대부분 지표에서 기존 모델을 능가한다는 설명. 믹스트랄 8x22B는 영어 외에도 불어, 이탈리아어, 독일어, 스페인어를 지원하며 이들 언어에서도 믹스트랄 AI가 이전에 출시한 모델이나 LLaMA 2 70B를 능가하는 성능을 발휘한다.
또 뛰어난 수학과 코딩 능력을 갖추고 있다. 믹스트랄 8x22B는 네이티브 함수 호출이 가능하며 컨텍스트 윈도는 6만 4,000 토큰. 이 모델은 오픈소스 라이선스 아파치 2.0으로 공개되어 무료로 상용 이용이 가능하다. 관련 내용은 이곳에서 확인할 수 있다.