짐 켈러 “엔비디아 대응 못하는 시장 겨냥 AI 칩 개발중”

짐 켈러는 애플과 AMD, 테슬라 등을 거치며 다양한 프로세서 개발에 참여한 전설적인 엔지니어로 평가받고 있다. 이런 그가 자신이 CEO를 맡고 있는 AI 칩 제조업체 텐스토렌트(Tenstorrent)는 엔비디아가 잘 대응하지 못하는 시장을 겨냥한 AI 칩을 개발하고 있다고 밝혔다.

켈러는 AMD 애슬론과 젠(Zen) 마이크로아키텍처, 애플 A4 등 프로세서 개발에서 주요 역할을 했으며 테슬라에서도 오토파일럿 칩셋 개발에 참여했다. 이런 켈러는 2023년 캐나다 토론토에 본사를 둔 AI 칩 스타트업 텐스토렌트 CEO로 취임했다. 텐스토렌트는 2024년 3월 AI 추론에 특화된 PCIe 확장 카드 그레이스컬(Grayskull) e75와 e150을 발표했다.

또 이 회사는 올해 말 2세대 다목적 AI 프로세서를 판매할 준비를 하고 있다고 한다. 현재 AI용 칩 시장은 엔비디아에 의해 거의 지배되고 있지만 켈러는 엔비디아가 잘 대응하지 못하는 시장이 많다며 엔비디아가 주목하지 않는 분야에서 기회가 있다고 생각하고 있다.

AI는 현대 사회 다양한 상황에서 활용되고 있지만 엔비디아 하이엔드 GPU는 2만~3만 달러에 달하기 때문에 기업은 더 저렴한 대안을 찾고 있다. 텐스토렌트가 겨냥하고 있는 게 바로 이 층이며 동사 갤럭시 시스템은 엔비디아 DGX 시스템보다 3배 더 효율적이고 가격도 33% 저렴하다고 주장하고 있다.

켈러는 텐스토렌트 프로세서가 저렴한 이유 중 하나로 대량 데이터를 고속 전송하기 위한 고대역폭 메모리(HBM)를 사용하지 않는 점을 들고 있다. HBM은 생성 AI 칩에서 중요한 구성 요소이며 엔비디아 제품 성공에도 중요한 역할을 해왔다. 하지만 HBM은 AI 칩의 막대한 에너지 소비와 고가 원인이 되고 있다고 한다. 켈러는 HBM을 사용하는 이들조차 비용과 구축을 위한 설계 시간에 어려움을 겪고 있다며 HBM을 사용하지 않기로 결정했다고 한다.

일반적인 AI 칩셋에서는 GPU가 프로세스가 실행될 때마다 데이터를 메모리로 전송하며 이에는 HBM에 의한 고속 데이터 전송 기능이 필요하다. 하지만 텐스토렌트는 이 데이터 전송을 대폭 줄이도록 칩을 설계해 HBM을 사용하지 않는 AI 프로세서를 실현했다.

텐스토렌트가 개발하는 AI 프로세서 특징은 100개가 넘는 각 코어에 각각 CPU가 탑재되어 있다는 점. 각 코어에 탑재된 CPU가 데이터 처리 우선순위를 결정해 전체 효율이 향상될 뿐 아니라 각 코어가 비교적 독립적이기 때문에 코어 수를 조정해 광범위한 애플리케이션에 적응 가능하다고 한다. 켈러는 현 시점에서는 AI에 최적인 애플리케이션이 어느 정도 크기가 될지 모른다며 자사 전략은 광범위한 제품에 적합한 기술을 구축하는 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.