기계학습과 AI에 관한 커뮤니티를 전개하고 있는 허깅페이스에서 갑자기 수수께끼 대규모 언어 모델 파일이 공개됐다. 프롬프트 특징을 보고 AI 기업인 미스트랄(Mistral) LLM이 아니냐는 소문이 났는데 실제로 미스트랄 CEO인 아서 멘쉬(Arthur Mensch)가 해당 파일은 자사 것이 맞다고 인정했다.
지난 1월 28일 한 사용자(Miqu Dev)가 허깅페이스에 miqu-1-70-b라는 파일을 올렸다. 공개된 일련의 파일은 LLM으로 조사를 진행한 결과 프롬프트 특징이 AI 스타트업인 미스트랄이 개발한 미스트랄 8x7b(Mixtral 8x7b)와 유사하다는 지적이 나왔다. 미스트랄 8x7b는 2024년 1월 현재 사용 가능한 오픈소스 LLM 중에서 가장 성능이 높다는 평가를 받고 있다.
miqu-1-70-b는 GPT-4를 상회할 가능성이 지적되며 기계학습 연구자는 miqu가 약자(Mistral Quantized)가 아니냐는 견해를 나타냈다. miqu-1-70b 특성이 주목받는 동안 미스트랄 CEO는 LLM이 미스트랄 것이라는 사실을 인정했다. 그에 따르면 미스트랄이 얼리 액세스를 인정하고 있는 기업 내 직원 1명이 공개한 것이라고 한다.
미스트랄은 해당 모델을 메타 LLM인 LLaMA2에서 재학습시켜 미스트랄 7B 릴리스 당일 사전 학습을 끝내고 있었다고 한다. 이후 진척은 순조로운 상태라고 한다. 관련 내용은 이곳에서 확인할 수 있다.