이석원 기자
인텔이 4월 9일 AI 가속기인 가우디3(Gaudi 3)을 발표했다. 가우디 3은 AI 학습 성능과 AI 추론 성능 모두 엔비디아 AI 전용 GPU인 H100보다 더 높은 성능을 발휘한다고 한다.
가우디 3은 인텔 5세대 TPC(Tensor Processor Core) 64코어를 탑재하고 6만 4,000개 병렬 처리가 가능한 행렬 곱셈 엔진(MME)을 8코어 탑재하고 있다. 또 메모리 대역폭 3.7TB/sec인 HBM2e 메모리를 128GB 탑재하고 SRAM도 96MB 탑재하고 있어 대규모 언어 모델과 멀티모달 AI 모델 학습이나 추론에 충분한 메모리를 확보하고 있다. 또 200Gbps 이더넷을 24포트 탑재해 대규모 컴퓨팅 클러스터 구축에도 대응할 수 있다.
인텔 측 테스트 결과에 따르면 가우디 3은 엔비디아 H100보다 LLaMA2 7B, LLaMA2 13B, GPT-3 175B 같은 대규모 언어 모델 학습 시간을 50% 단축할 수 있다고 한다. 또 LLaMA 7B, LLaMA 70B, Falcon 180B 추론 속도가 H100 대비 50% 빨라지고 전력 효율도 40% 향상된다고 한다. 더 나아가 엔비디아가 2024년 중 출시할 예정인 H200과 비교해도 LLaMA 7B, LLaMA 70B, Falcon 180B에서 30% 빠른 추론이 가능한 것으로 확인됐다.
가우디 3은 2024년 2분기 델, HPE, 레노버, 슈퍼마이크로 등 OEM에 공급 예정이며 일반 출시는 2024년 3분기부터 시작될 예정이다. 또 2024년 4분기에는 가우디 3 PCIe 애드인 카드도 출시 예정이다. 관련 내용은 이곳에서 확인할 수 있다.
정용환 기자
이원영 기자
