구글 출신 엔지니어인 라이너 포프(Reiner Pope)와 마이크 간터(Mike Gunter) 등이 대형 AI 모델에 특화해 성능을 더 높여주는 하드웨어를 설계하는 스타트업인 매트엑스(MatX)를 창업했다.
CEO인 포프는 구글에서 10년 넘게 머신러닝 칩, 분산 시스템 인프라, 대규모 언어 모델 등 폭넓게 소프트웨어와 하드웨어 구축에 참여했다. CTO인 간터는 28년간 하드웨어 아키텍처를 담당했으며 구글에선 머신러닝 칩의 수석 아키텍트였다.
매트엑스는 고성능 스루풋 칩 메이커를 내걸고 있다. 다른 칩 메이커가 AI 모델 규모에 상관없이 동일하게 다루는 것과 달리 매트엑스는 모든 반도체를 세계 최대 AI 모델 성능 최적화에 전념하기 때문.
매트엑스가 내건 목표는 세계 최고 AI 모델을 현실에서 가능하면 효율적으로 구동하고 AI 품질과 가용성을 수년간 선도하는 것이라고 한다. 그 중에서도 칩 설계에서는 대규모 모델 대용량 사전 학습과 생산 추론을 위한 비용 효율성에 초점을 맞췄다. 지원 우선순위는 먼저 추론, 그 다음이 학습으로 성능 대비 비용 최적화를 최우선으로 한 뒤 레이턴시를 최적화했다.
최고 성능을 발휘할 것으로 예상되는 대상 워크로드는 70억, 이상적으로 200억 이상 매개변수를 가진 대규모 트랜스포머 기반 모델로 추론에서 동시 사용자 수는 최소 수천 명, 학습 시에는 7B 클래스 LLM에서 최소 10제타플롭스다.
수십만 개 칩을 탑재한 클러스터를 지원하는 뛰어난 스케일아웃 성능이 제공되며 전문가 사용자를 위한 하드웨어 저수준 제어도 가능하다. 매트엑스 칩으로 세계 최고 AI 모델이 3~5년 더 빨리 등장할 것이며 연구자는 7B 클래스 모델을 매일 학습하고 70B 클래스 모델은 한 달에 수차례 학습할 수 있다고 매트엑스 측은 밝히고 있다. 또 시드 단계 스타트업도 GPT-4 클래스 모델을 처음부터 학습해 챗GPT 수준 트래픽으로 제공할 수 있다는 설명이다. 관련 내용은 이곳에서 확인할 수 있다.