“상업 이용 가능” 코드 컴파일‧최적화 LLM 출시한 메타

메타가 코드를 컴파일하면서 최적화하는 대규모 언어 모델인 메타 LLM 컴파일러(Meta Large Language Model Compiler)를 출시했다. 이 모델은 상업적으로 사용 가능하며 허깅페이스에서 호스팅되고 있다.

메타 연구팀은 코드 LLaMA 모델을 기반으로 컴파일러 중간 표현과 어셈블리 코드 5,460억 토큰 코퍼스로 훈련시켜 컴파일러 중간 표현과 어셈블리 언어, 최적화 방법을 다룰 수 있는 모델을 만들었다고 한다. 이번에 사전 학습된 모델로 7B와 13B 2가지 크기 모델이 출시됐으며 추가로 파인튜닝을 통해 어셈블리 코드 최적화와 코드 크기 축소 능력을 향상시키고 어셈블리 코드를 컴파일러 중간 표현으로 역어셈블할 수 있도록 조정한 LLM 컴파일러 FTD(LLM Compiler FTD) 7B와 13B 모델도 출시됐다.

모델에 컴파일러 중간 표현을 프롬프트로 입력하고 최적화 방법을 지정하면 해당 최적화를 수행한 뒤 출력 코드를 생성할 수 있다. LLM 컴파일러 FTD 13B 모델은 컴파일러 코드 크기 축소 옵션인 -Oz 옵션을 사용한 경우와 비교해 61% 경우에서 더 작은 크기 오브젝트 파일을 생성하는 데 성공했다.

컴파일러 최적화 에뮬레이션 능력 비교를 보면 코드 LLaMA 모델은 컴파일러 중간 표현에 대한 지식이 없어 정확성이 거의 없었지만 LLM 컴파일러의 경우 7B 모델에서 16%, 13B 모델에서 20% 실제 컴파일러 출력 결과와 문자 수준에서 일치시키는 데 성공했다.

x86 어셈블리 코드를 기반으로 컴파일러 중간 표현을 생성하는 역어셈블리 작업의 경우 LLM 컴파일러 FTD 모델은 코드 크기를 개선할 수 있을 뿐 아니라 번역 작업 평가에 사용되는 BLEU 점수에서 다른 모델을 크게 앞서 높은 정확도로 역어셈블리를 수행할 수 있다는 걸 보여줬다.

이번에 발표된 4개 모델은 모두 상업적 사용이 가능한 LLM 컴파일러 라이선스(Meta Large Language Model Compiler LICENSE)로 출시됐으며 허깅페이스에서 다운로드할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.