검색엔진이나 배차 서비스 등 폭넓은 사업을 하며 러시아판 구글이라고도 불리는 러시아 최대 인터넷 기업인 얀덱스(Yandex)가 1,000억 개 매개변수를 가진 대규모 언어 모델 YaLM 100B를 오픈소스로 공개했다. 얀덱스는 YaLM 100B에 대해 상용으로 사용할 수 있는 오픈소스 언어 모델로 역사상 가장 큰 것이라고 주장하고 있다.
AI 분야에서 정밀한 문장을 생성할 수 있는 대규모 언어 모델은 중요한 트렌드가 되고 있어 비영리단체 오픈AI(OpenAI)가 개발한 GPT-3 등이 유명하다. GPT-3은 해외 커뮤니티 레딧에서 누구에게도 들키지 않고 일주일 대화를 하거나 GPT-3이 쓴 기사가 소셜 뉴스 사이트 1위에 오르는 등 화제를 모았다.
얀덱스는 6월 23일 YaLM 100B라는 대규모 언어 모델을 오픈소스로 공개했다. YaLM 100B는 엔비디아 A100 800개를 이용해 65일에 걸쳐 1.7TB 텍스트와 책, 그 밖에 무료 소스로 학습을 실시했다고 한다. 또 기계학습 모델이 정의하는 변수인 파라미터 수는 1,000억에 달한다고 한다.
YaLM 100B 주임 개발자는 대규모 언어 모델 개발에는 수십 억원대 자금과 전문가, 수년간 개발 기관이 필요하며 첨단 IT 기업만 해당 기술에 액세스할 수 있다고 주장하고 있다. 하지만 전 세계 연구자와 개발자가 대규모 언어 모델에 액세스할 수 없다면 성장이 줄어들 수 있다고 주장하며 이를 피하는 유일한 방법은 모범 사례를 개발자 커뮤니티와 공유하는 것이라는 말로 이번 YaLM 100B를 오픈소스화한 이유에 대해 설명하고 있다.
YaLM 100B는 연구와 상업적 사용이 허용된 아파치 2.0 라이선스 하에 무료로 공개되며 깃허브 페이지에서 모델 본체와 필요한 자료에 액세스할 수 있다. YaLM 100B은 영어로 자유롭게 이용하 수 있는 GPT와 같은 신경망 중 세계 최대라는 설명이다.
한편 얀덱스는 다른 러시아 기업과 마찬가지로 우크라이나 침공과 관련한 제재를 받고 있다. 네덜란드에 본사를 두고 있는 얀덱스는 러시아 정부 영향을 받지 않다고 어필하고 있으며 2021년 11월 시가총액은 300억 달러가 넘는다. 하지만 2022년 2월 24일 우크라이나 침공 시작으로 다른 러시아 기업과 마찬가지로 주가가 급락해 2022년 1분기 결산도 적자로 전락했다. 6월에는 EU 제재 대상이 된 CEO가 사임하는 사태도 발생했다. 관련 내용은 이곳에서 확인할 수 있다.