엔비디아가 11월 13일 AI와 HPC용 GPU H200을 발표했다. H200은 전 세대 모델인 H100보다 추론 속도 2배, x86 CPU에 비해 HPC 성능은 110배라고 한다.
H200은 고속 대용량 메모리 기술인 HBM3e를 채택하고 메모리 용량은 141GB, 메모리 대역폭은 4.8TB다. H200은 고성능 메모리를 채택해 H100보다 2배 추론 속도를 실현하고 있다. 엔비디아가 밝힌 바에 따르면 H200은 H100에 비해 LLaMA2 13B에서 1.4배, GPT-3 175B에서 1.6배, LLaMA2 70B에서 1.9배 추론 속도를 달성하고 있다.
또 HPC 성능은 x86 CPU 110배로 엔비디아 GPU인 A100과 비교해도 2배 고성능이라고 한다. 더구나 H00 운용비용이나 소비 에너지는 H100에 비해 반감하고 있다는 것도 어필되고 있다.
H200은 4웨이 또는 8웨이 구성 엔비디아 HGX H200 서버 보드로 제공 예정이며 AI와 HPC 특화형 칩 시스템인 엔비디아 GH200 그레이스호퍼 슈퍼칩에 통합하는 것도 가능하게 되어 있다. 관련 내용은 이곳에서 확인할 수 있다.