오픈소스 AI 모델 개발을 진행하는 리커설AI(Recursal AI)가 70억(7B) 파라미터 규모 모델 중에서 가장 뛰어난 다언어 성능을 보이는 모델인 이글엑스(EagleX)를 출시했다. 지금 공개된 건 1.7조 토큰으로 학습된 이글엑스 1.7T다.
이글엑스는 오픈소스 아키텍처인 RWKV-v5를 기반으로 구축한 모델. RWKV는 다른 트랜스포머(Transformer) 모델보다 추론 비용이 10∼100배 낮아 실행이나 학습할 때 리소스 사용량이 줄어든다.
이글엑스 1.7T는 RWKV 성능을 토대로 100개 이상 언어 1.7조 토큰으로 학습된 7.52B 그러니까 75억 2,000만 파라미터 모델이다. 다언어 벤치마크 결과 이글엑스 1.7T는 7B 규모 모든 모델을 능가했고 영어에서는 여러 벤치마크에서 LLaMA-2-7B를 조건부로 넘어섰다.
이글엑스 1.7T를 사용한 사용자는 DeepL 등 다른 모델과 비교해 번역 과제에서 좋은 성적을 거뒀다. 제미나이 프로(Gemini Pro)는 좋은 결과를 내지 못했고 GPT-3.5와 미스트랄 미디엄(Mistral medium)만이 더 정확한 번역이 가능했다. 다만 불어와 유럽 소수 언어 번역에 어려움이 있었다. 오류는 많았지만 어순은 더 자연스러웠고 약점은 단어 사용법뿐이었다고 한다.
2024년 3월 말에는 완전체 이글엑스 2T가 공개될 예정. 이번 이글엑스 1.7T 출시는 주요 마일스톤 도달과 정보 공유, 연구 목적이다. 이글엑스 1.7T는 아파치 2.0 라이선스에 따라 사용할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.