페이스북과 인스타그램을 운영하는 메타가 텍스트 입력을 바탕으로 프로그램 코드를 생성하는 AI인 코드 LLaMA(Code LLaMA) 700억 파라미터 모델을 출시했다고 발표했다. 모델은 LLaMA2와 같은 LLaMA 커뮤니티 라이선스로공개되어 있어 월간 활성 사용자 수가 7억 명 이하인 경우 무상으로 상용 이용할 수 있다.
코드 LLaMA는 메타가 2023년 7월 릴리스한 LLaMA2를 코드 고유 데이터세트로 한층 더 학습시킨 것이다. 파이썬, C++, 자바, PHP, 타입스크립트 & 자바스크립트, C#, 배시에 대응하고 있으며 코드 연속을 생성하는 기능 외에 자연어로 입력을 바탕으로 코드를 생성하거나 코드에 대한 해설을 생성하는 게 가능하고 2023년 8월 파라미터 수가 70억, 130억, 340억 모델이 릴리스됐다.
2024년 1월 29일 메타는 700억 파라미터인 LLaMA2 70B 모델을 기반으로 코드별 데이터세트로 추가 학습을 실시한 코드 LLaMA 70B 모델을 출시했다. 다른 사이즈 모델 학습 데이터가 5,000억 토큰인 것에 대해 700억 파라미터 모델에선 1조 토큰으로 학습을 실시했다고 한다. 더구나 목적마다 파인 튜닝을 실시하는 것으로 기본이 되는 코드 LLaMA 외에 자연어로부터의 프로그래밍이라고 하는 태스크에 특화 모델(Code Llama – Instruct), 파이썬 취급 특화 모델(Code Llama – Python) 등 변형이 준비되어 있다.
벤치마크(HumanEval, MBPP)를 이용해 측정한 700억 파라미터 모델과 다른 모델 성능 비교에선 프로그래밍 특화 모델이 GPT-4를 뛰어넘는 성능을 기록한 것 외에 3개 변종 모두 순차적으로 향상된 성능을 나타냈다고 한다. 코드 LLaMA 모델은 메타에 신청해 얻을 수 있으며 허깅페이스에서 호스팅되고 있다. 관련 내용은 이곳에서 확인할 수 있다.