메타 AI 연구 조직인 메타AI리서치(Meta AI Research)가 대규모 언어 모델인 LLAMA(Large Language Model Meta AI)를 2월 24일 발표했다. 메타AI리서치에 따르면 LLaMA는 오픈AI GPT-3보다 파라미터 수가 훨씬 작고 단위 GPU에서도 동작할 수 있는 한편 벤치마크 테스트 일부에선 GPT-3을 웃돌았다고 한다.
LLaMA 매개변수 수는 70억∼650억이며 위키피디아와 C4 등 일반 공개되고 있는 데이터세트로 학습하고 있다. 메타AI리서치 측은 GPT-3과 딥마인드(Chinchilla), 구글(Palm)과 달리 LLaMA는 공개된 데이터세트만을 사용하며 오픈소스와 호환되는 재현 가능한 작업이라며 대부분 기존 모델은 공개되지 않거나 문서화되지 않은 데이터를 사용해 학습한다고 지적한다.
또 메타AI리서치에 따르면 파라미터 수 130억인 LLAMA-13B를 단독 GPU로 실행해 8개 벤치마크(BoolQ, PIQA, SIQA , HellaSwag , WinoGrande , ARC , OpenBookQA)로 상식적 추론을 측정한 결과 일부 테마에선 파라미터 수 1,750억인 GPT-3을 옷도는 성능을 나타냈다고 한다.
파라미터 수는 기계학습 모델이 입력 데이터를 기반으로 예측과 분류를 수행하는데 사용하는 변수 양으로 모델 성능을 좌우하는 중요한 요소다. 매개변수 수가 클수록 더 복잡한 작업을 처리해 안정적 출력을 생성할 수 있지만 매개변수 수가 많을수록 모델 자체 크기도 커지고 동시에 필요한 컴퓨터 리소스도 많아진다.
GPT-3보다 압도적으로 적은 파라미터 수로 GPT-3과 동등한 성능을 나타냈다는 LLAMA-13B는 GPT-3보다 비용 성능이 뛰어나다고 할 수 있다. 또 GPT-3은 AI에 최적화된 가속기를 여러 대 사용하지 않으면 동작하지 않는 반면 LLAMA-13B는 단독 GPU에서도 문제없이 동작했기 때문에 소비자 수준 하드웨어 환경에서도 챗GPT 같은 AI를 움직일 수 있다.
메타AI리서치는 LLaMA를 기본 모델로 간주하고 앞으로 LLaMA가 메타 자연 언어 처리 모델 기반이 되어 질문 응답, 자연 언어 이해 또는 독해, 현재 언어 모델 능력과 한계 이해 같은 자연 언어를 연구하는데 도움이 되며 응용 프로그램을 잠재적으로 강화할 것으로 기대하고 있다. 현재 LLaMA 공개는 예정되어 있지 않지만 LLaMA에 의한 간이 추론 모델 일부는 깃허브에 공개되어 있어 학습한 가중치는 구글폼을 통해 메타AI리서치에 연락해 다운로드가 가능하다. 관련 내용은 이곳에서 확인할 수 있다.