메타가 텍스트 입력을 바탕으로 프로그램 코드를 생성하는 AI인 코드 LLaMA(Code Llama)를 발표했다. 모델은 LLaMA2와 같은 LLaMA2 커뮤니티 라이선스로 공개되어 있어 월 활성 사용자 수가 7억 명 이하인 경우에는 무상으로 상용 이용할 수 있다.
코드 LLaMA는 메타가 2023년 8월 릴리스한 LLaMA2를 코드 고유 데이터세트로 학습한 것이다. 코드를 연속 생성하는 기능 외에 자연어 입력을 바탕으로 코드를 생성하거나 코드에 대한 해설을 생성하는 게 가능하다. 파이썬, C++, 자바, PHP, 타입스크립트와 자바스크립트, C#, Bash를 지원하며 코드를 보완하고 디버깅을 활용할 것으로 기대되고 있다.
이번에 출시되는 모델은 3가지다. 코드 LLaMA는 기본 코딩 모델, 코드 LLaMA-파이썬은 파이썬에 특화된 모델, 코드 LLaMA-인스트럭트(Instruct)는 자연어 명령을 이해할 수 있도록 파인 튜닝을 실시한 모델이다. 코드 생성 태스크는 이 모델 사용을 권장하고 잇다.
모델마다 70억, 130억, 340억 파라미터 버전이 준비되어 있다. 메타는 모델별 5,000억 토큰 데이터로 학습했다고 한다. 70억, 130억 매개변수 모델에선 중간 보완 기능을 위한 학습도 진행되고 있으며 기존 코드에 코드를 삽입하는 코드 완성 작업이 가능하다.
340억 파라미터 모델이 가장 좋은 결과를 내지만 동작이 느리기 때문에 실시간 보완 등 속도가 필요한 태스크에는 70억이나 130억 파라미터 모델이 적합하다. 또 70억 파라미터 모델이라면 단일 GPU로 동작한다는 장점도 있다.
코드 LLaMA는 최대 10만 토큰까지 입력을 지원해 대규모 코드베이스를 디버깅하는 경우에도 문제가 없다. 경우에 따라선 전체 코드를 입력하는 옵션도 있다. 모델은 메타에 신청해 다운로드가할 수 있으며 추론용 코드는 깃허브에 게시된다. 관련 내용은 이곳에서 확인할 수 있다.