마이크로소프트, GPT-4급 독자 LLM 개발중?

마이크로소프트가 독자적인 대규모 언어 모델(LLM)인 MAI-1 개발에 착수했다는 보도가 나왔다. MAI-1은 구글 제미나이나 오픈AI GPT-4, 앤트로픽 클로드 등 최첨단 AI 모델에 필적할 가능성이 있다고 한다.

마이크로소프트는 자사 제품에서 오픈AI 최신 AI를 활용하기 위해 2023년 1월 오픈AI에 대규모 투자를 단행하고 장기적인 파트너십을 체결했다. 마이크로소프트와 오픈AI 관계는 시간이 지날수록 더 깊어지고 있으며 양사는 1,000억 달러 규모 데이터센터 프로젝트를 추진 중이라고 보도되고 있다.

마이크로소프트는 자체 AI 어시스턴트인 마이크로소프트 코파일럿(Microsoft Copilot)에서 오픈AI LLM인 GPT-4 터보를 활용하고 있다. 하지만 새롭게 독자 LLM을 개발 중이라는 보도가 나온 것.

마이크로소프트가 개발 중인 독자 LLM은 MAI-1로 불리며 개발팀을 이끄는 인물은 전 구글 AI 개발팀 리더인 무스타파 슬레이만이다. 그는 2024년 3월 마이크로소프트가 신설한 AI 부문 마이크로소프트AI(Microsoft AI) CEO로 취임했다.

MAI-1은 마이크로소프트가 인수한 슬레이만이 설립한 AI 스타트업 인프렉션(Inflection) 기술을 기반으로 구축되고 있을 가능성이 있지만 프로젝트에 정통한 내부자는 MAI-1은 전혀 새로운 LLM이라고 밝히고 있다.

보도에 따르면 MAI-1은 파라미터 500억 개를 갖췄고 이는 마이크로소프트 오픈소스 AI 모델인 파이-3(Phi-3)보다 훨씬 많은 수준이다. 다만 실행을 위해선 더 많은 컴퓨팅 능력과 학습 데이터가 필요할 것으로 지적되고 있다. 파라미터 수가 500억 개에 이르면 MAI-1은 오픈AI GPT-4와 동등한 성능을 발휘할 수 있을 것으로 예상된다.

한편 오픈AI는 GPT-3 초기 버전에 파라미터 175억 개가 있었다고 설명했지만 GPT-4 파라미터 수는 공개하지 않았다. 하지만 일부 보도에 따르면 오픈AI 주력 LLM에는 파라미터 1조 7,600억 개가 포함되어 있으며 구글 제미나이 울트라에도 파라미터 1조 6,000억 개가 있다고 한다. 반면 메타나 미스트랄이 개발한 LLM 파라미터 수는 700억 개 전후여서 MAI-1은 이들을 훨씬 능가하는 LLM이 될 것으로 보인다.

마이크로소프트가 개발하는 MAI-1은 모바일 기기용 로컬에서 실행되는 소규모 LLM과 클라우드를 활용한 최첨단 LLM이라는 2가지 접근법에 중점을 둘 가능성이 있다. 실제로 파라미터 수가 500억 개에 이르면 소비자 기기에서 로컬로 작동하기에는 너무 복잡하다는 지적이다. 또 독자 LLM 개발 소문이 있는 애플 역시 마이크로소프트와 마찬가지로 로컬에서 실행되는 소규모 LLM과 클라우드를 활용한 최첨단 LLM 2가지 접근법을 검토 중이라고 한다.

이에 대해 오픈AI 기술은 현재 윈도에 내장된 코파일럿 채팅봇 등 마이크로소프트가 보유한 가장 야심찬 생성형 AI 기능을 뒷받침하고 있지만 마이크로소프트가 독자 LLM을 개발하고 있다는 보도는 AI 분야에 대한 마이크로소프트 측 열의를 강조하는 것이라고 지적했다.

한 익명 소식통은 정확한 MAI-1 목적이 마이크로소프트 내부에서도 결정되지 않았다고 증언했다. 한편 MAI-1을 학습시키기 위해 마이크로소프트는 엔비디아 GPU를 탑재한 대규모 서버 클러스터를 활용하고 있으며 GPT-4에 의해 생성된 텍스트와 인터넷에서 수집한 다양한 데이터를 사용하고 있다고 한다.

마이크로소프트는 MAI-1을 2024년 6월말 개최 예정인 개발자 콘퍼런스인 마이크로소프트 빌드(Microsoft Build)에서 발표할 가능성이 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.