메타, AI 모델 Llama 3.3 출시했다

메타가 대규모 언어 모델 Llama 3.3을 12월 6일 출시했다. 지금은 파라미터 수 70B 모델이 출시됐으며 아마존 기반 모델 아마존 노바 프로(Amazon Nova Pro)와 비교해 저비용 및 고성능이라는 점과 구세대 상위 모델에 필적하는 성능을 갖추고 있다는 점이 강조되고 있다.

Llama 3.3 70B는 2023년 12월까지 수집된 15조 이상 토큰으로 훈련됐다. 컨텍스트 길이는 128,000이며 대응 언어는 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어다. Llama 3.3 70B는 대부분 테스트에서 Llama 3.1 70B 성능을 상회하고 있으며 전반적인 성능을 평가하는 MMLU와 수학 관련 성능을 평가하는 MATH에서는 아마존 노바 프로 점수를 초과하고 있다. 또 코딩 성능과 수학 성능 등 일부 벤치마크에서는 구세대 상위 모델인 Llama 3.1 405B를 넘어서는 점수를 기록하고 있다.

As we continue to explore new post-training techniques, today we're releasing Llama 3.3 — a new open source model that delivers leading performance and quality across text-based use cases such as synthetic data generation at a fraction of the inference cost. pic.twitter.com/BNoV2czGKL

— AI at Meta (@AIatMeta) December 6, 2024

메타는 Llama 3.3 70B에 대해 비용 효율적인 추론을 통해 일반적인 개발자용 워크스테이션에서 로컬 실행이 가능하면서 Llama 3.1 405B와 유사한 성능을 실현하고 있다고 강조하고 있다.

Llama 3.3 70B는 메타 공식 사이트에서 입수 가능할 뿐만 아니라 허깅페이스에서도 배포되고 있다. 한편 라이선스는 Llama 3.3 커뮤니티 라이선스(Community License)가 적용되어 있으며 월간 활성 사용자 수가 7억 명 미만인 경우 상업적 이용이 가능하다. 관련 내용은 이곳에서 확인할 수 있다.