메타, 200개 언어 AI 번역 모델 오픈소스화했다

메타버스 사업에 주력하는 메타가 모든 언어를 실시간으로 번역하는 AI인 바벨피시(Babelfish)를 개발 중이라고 지난 2022년 2월 발표한 바 있다. 같은 프로젝트 일환으로 최신 AI 모델 NLLB-200을 공개했다. NLLB-200은 200종류에 달하는 언어 번역 기술 전체 품질을 평균 44% 향상시킬 수 있다고 밝히고 있으며 다른 연구자가 번역 도구를 개선해 작업을 강화할 수 있도록 AI를 학습할 코드와 데이터세트를 재작성하기 위한 코드 등을 포함해 개발자용으로 오픈소스화하고 있다.

NLLB-200에서 NLLB(No Language Left Behind)는 어떤 언어를 사용해도 남겨지지 않는다는 말 머릿글자를 따온 것. 마크 주커버그 메타 CEO는 이 프로젝트에 대해 언어를 넘어 커뮤니케이션하는 건 AI가 제공하는 또 다른 초능력이라고 말한다. 그에 따르면 200개 언어 모델은 50억 개 이상 매개변수를 갖고 있으며 세계에서 가장 빠른 AI 슈퍼컴퓨터를 이용해 훈련시켜 앱 전체에서 매일 25억 개 이상 번역을 가능하게 했다고 한다.

메타가 진행하는 번역 AI 개발은 2022년 2월 FLORES-101이 발표됐다. 주커버그는 유니버설 번역 프로젝트로 순간적으로 모든 언어를 번역할 수 있는 바벨피시도 개발 중이라고 밝혔지만 첫 단계인 새로운 기계학습 기술을 도입해 적은 학습량으로 언어를 번역 하는 AI 모델로 내놓은 게 NLLB다.

2022년 7월 6일 발표에서 메타는 중요하고 획기적인 경험이라며 44% 향상된 성능을 강조했다. 메타는 개발자를 위해 NLLB-200 모델과 FLORES-200 데이터세트를 공개했으며 유엔 지속 가능한 개발 목표와 식량 안보, 성별, 교육 등에 초점을 맞춘 연구와 비영리단체가 NLLB-200를 사용할 때 최대 20만 달러 보조금을 수여한다고 밝혔다. 보조금은 NLLB-200을 이용해 2개 이상 아프리카권 언어를 번역할 의도가 있는 단체나 연구자가 응모할 수 있으며 활동을 지원하는 동시에 데이터세트 향상 의도가 있다고 할 수 있다.

메타는 많은 사람이 자신이 좋아하는 감정을 정확하게 보여주는 언어로 교류할 수 있게 되면 가상 세계에서 몰입형 체험이 더 높아진다는 말로 메타버스 구축과 연관해 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.