UAE 기관이 발표한 구글 필적하는 오픈소스 AI 모델

아랍에미리트연합 정부 산하 연구기관인 기술혁신연구소(TII)가 5월 13일 메타 LLaMA 3 8B를 능가하고 구글 젬마 7B(Gemma 7B)와 동등한 성능을 갖춘 오픈소스 대규모 언어모델(LLM)인 팔콘 2(Falcon 2)를 발표했다.

이번에 발표된 팔콘 2 시리즈는 파라미터 110억 개를 갖추고 토큰 5조 5,000억 개로 학습된 팔콘 2 11B와 이미지에서 텍스트로 변환하는 데 특화된 멀티모달 모델인 팔콘 2 11B VLM 2가지로 이뤄져 있다.

2023년에 출시된 이전 모델 팔콘은 파라미터가 최대 70억 개였지만 당시 오픈소스 모델 중에선 최고 성능을 자랑했다. 발표에 따르면 팔콘 2 11B는 허깅페이스가 실시한 자체 검증에서 메타가 4월에 출시한 오픈 LLM인 LLaMA 3 8B를 넘어서고 구글 오픈 LLM인 젬마 7B에 필적하는 성능을 보였다고 한다. 팔콘 2 11B는 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 루마니아어, 체코어, 스웨덴어를 지원하며 효율성과 접근성이 뛰어난 범용 모델로 전개될 예정이다.

또 팔콘 2 11B VLM은 시각 데이터를 식별하고 해석하는 기능을 갖춘 멀티모달 모델로 의료, 금융, 전자상거래, 교육, 법률 등 다양한 산업에 응용 프로그램을 제공할 것으로 기대된다. 구체적인 예로는 흉부 X-레이 사진, 교육용 문서, 건축 설계도 분석 등이 있다. 팔콘 2 시리즈는 앞으로 다양한 크기로 출시될 뿐 아니라 여러 전문 신경망을 통합하는 MoE(Mixture of Experts) 등 고급 기계학습 기능을 통해 성능을 정교화할 예정이다.

중요한 건 두 모델 모두 오픈소스 모델이라는 것. 이를 통해 전 세계 개발자가 제한 없이 접근할 수 있다. TII는 앞으로 리눅스재단을 모델로 한 비영리단체 팔콘 재단을 설립하고 팔콘 시리즈 개발을 이관할 계획이다. 새로운 단체 헌장에는 팔콘이 영원히 오픈소스 모델로 유지된다는 내용이 명시될 예정이다.

TII에 자금을 지원하는 정부기관인 선진기술연구위원회 사무총장은 팔콘 2 11B는 탁월한 성능을 보였지만 자신들은 이를 오픈소스의 전통과 팔콘 재단에 대한 헌신으로 받아들인다며 다른 멀티모달 모델도 곧 다양한 크기로 출시 예정이며 이를 통해 프라이버시를 중시하는 개발자와 사업자가 최고 수준의 AI 모델 중 하나에 확실히 접근할 수 있도록 하는 게 목표라고 밝혔다. 팔콘 2 11B는 이 링크로 볼 수 있다. 관련 내용은 이곳에서 확인할 수 있다.