대규모언어모델 등을 실행하도록 설계된 커스텀 하드웨어인 언어처리유닛 LPU 개발사인 그록(Groq)이 기존 LLM을 빠르게 동작시킬 수 있는 알파 버전 데모를 공개했다.
그록은 미국 마운틴뷰에 위치한 AI 스타트업으로 지금까지 AI와 기계학습, 고성능 컴퓨팅 애플리케이션용 프로세서와 소프트웨어 솔루션 등을 개발해왔다. 참고로 일론 머스크가 설립한 AI 기업인 xAI가 개발하는 AI 챗봇인 그록(Grok)과 비슷한 이름이지만 전혀 벌개 회사다.
보통 AI 도구는 병렬 그래픽 처리에 최적화된 GPU를 사용해 계산 처리를 수행한다. 이는 GPU가 계산 처리를 빠르게 실행할 수 있어 보통 효율적으로 이를 해내기 때문. 예를 들어 LLM 중 하나는 GPT-3에선 GPU를 사용해 프롬프트를 분석하고 전후에 어떤 단어가 뒤따르는지에 대한 일련의 예측을 실시해 기능한다.
이에 반해 그록이 개발하는 LPU는 기존 LLM을 빠르게 동작시키기 위해 설계된 칩이 있어 DNA나 음악, 코드, 자연 언어 등 일련의 데이터를 처리하기 위해 특별히 설계됐기 때문에 GPU보다 훨씬 뛰어난 성능을 발휘할 수 있다.
그록은 독자 LLM을 개발하고 있는 건 아니지만 기존 LLM을 이용해 GPU 기반 처리보다 최대 10배 고속으로 LLM을 실행할 수 있는 알파 버전 데모를 공개하고 있다. 사용법은 간단하고 화면 위에 텍스트를 입력하고 아이콘을 클릭하면 된다. 그록 데모에선 메타가 개발하는 LLaMA2 70B와 미스트랄AI가 개발하는 Mixtral 8x7B 중 하나를 선택할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.