AI 개발 기업 미스트랄AI(Mistral AI)가 코딩용 AI 모델인 코드스트랄 맘바(Codestral Mamba)를 발표했다. 오픈소스 라이선스로 출시되어 상업적 사용이 가능하다.
미스트랄AI는 지난 5월 첫 코딩용 생성 AI 모델인 코드스트랄(Codestral)을 출시했지만 코드스트랄은 상업적 사용이 금지되어 있었다.
이번에 출시된 코드스트랄 맘바는 기존 모델에서 널리 사용되던 트랜스포머(Transformer) 아키텍처가 아닌 맘바 아키텍처를 채택했다. 이는 시퀀스 길이에 대해 처리 시간이 선형적이며 긴 시퀀스에 대해서도 빠르게 처리할 수 있고 시퀀스 길이에 제한이 없는 등의 특징이 있다고 한다.
벤치마크 결과 코드스트랄 맘바는 파라미터 수가 70억(7B)으로 동등한 크기 모델 중에서는 최상위 클래스의 성능을 발휘했다고 한다. 220억(22B) 파라미터인 코드스트랄 모델에는 전체적인 성능에서 뒤처지지만 일부 지표에서는 앞서는 등 맘바 아키텍처가 갖춘 잠재력이 높다는 걸 보여준 것.
미스트랄AI 측은 코드스트랄 맘바 컨텍스트 내 검색 기능을 25만 6,000토큰까지 테스트했으며 로컬에서 작동하는 코드 어시스턴트로서 뛰어난 성능을 발휘할 수 있을 것으로 기대하고 있다고 한다.
코드스트랄 맘바 모델은 허깅페이스에서 다운로드할 수 있으며 미스트랄 공식 라이브러리인 미스트랄 인퍼런스(Mistral Inference)를 통해서도 사용할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.