GPT-3 경쟁 LLaMA를 스마트폰에서 작동?

메타 AI 연구조직인 메타AI리서치가 2월 24일 발표한 대규모 언어 모델인 LLaMA(Large Language Model Meta AI)는 파라미터 수가 작아 단일 GPU에서도 동작 가능하다. 이런 LLaMA를 아이폰이나 픽셀 같은 스마트폰으로 동작시키는 것에 한 엔지니어가 성공했다고 보고하고 있다.

메타AI리서치가 발표한 LLaMA는 위키피디아나 C4 등 일반적으로 공개되어 있는 데이터세트로 학습이 이뤄지고 있다. 한편 오픈AI가 제공하는 GPT-3 같은 언어 모델은 일부 비공개 데이터세트를 이용해 학습을 실시했다. 따라서 LLaMA는 오픈소스와 호환되는 재현 가능한 작업이 가능하다.

또 GPT-3 파라미터 수가 1,750억인 반면 LLaMA 파라미터 수는 70억에서 650억으로 상당히 적다. 하지만 벤치마크에서 일부 테마에선 LLaMA는 GPT-3을 뛰어넘는 성능을 나타내기도 했다.

파라미터 수란 기계학습 모델이 데이터에 근거해 예측이나 분류를 실시하기 위한 변수량으로 기계학습 모델 성능을 좌우하는 지표다. 매개변수 수가 클수록 더 복잡한 작업 처리가 안정되지만 동시에 요구되는 컴퓨터 성능도 높아진다. 한편 LLaMA는 파라미터 수가 작지만 GPT-3과 같은 대규모 언어 모델과 같은 태스크 처리를 할 수 있기 때문에 소비자 수준 하드웨어 환경에서도 동작할 가능성이 있다.

또 70억에서 650억으로 파라미터 수가 적기 때문에 LLaMA는 M1 애플실리콘 탑재 맥에서 동작한다는 게 보고되기도 했다. 한 엔지니어가 3월 14일 웹앱 프레임워크인 Next.js를 이용해 iOS에서 실행하는데 성공했다고 보고했다. 그는 또 LLaMA를 픽셀6에서 실행하는 데에도 성공했다. 한편 그는 픽셀6에서 동작한 LLaMA에 대해 픽셀에 최적화되지는 않았다고 보고했다. 또 자신은 맥에서 LLaMA를 양자화하고 스마트폰 용량에 최적화된 가중치를 픽셀로 전송했다고 설명했다.

더구나 그는 픽셀에서 동작한 LLaMA 생성 시간이 느린 점에 대해 생성이 느린 원인은 로딩 시간에 문제가 있는 것 같다며 리눅스 환경을 실행할 수 있는 에뮬레이터(Termux)를 실행하고 있는 게 원인일지도 모른다고 추측하기도 했다. 관련 내용은 이곳에서 확인할 수 있다.