“엔비디아 B200보다 고성능” AI용 新GPU 발표한 AMD

AMD가 6월 12일 AI 인프라스트럭처용 고성능 GPU인 인스팅트 MI350(Instinct MI350) 시리즈를 발표했다. AMD는 인스팅트 MI350 시리즈가 엔비디아 GB200이나 B200과 비교해 고성능임을 어필하고 있다.

인스팅트 MI350 시리즈에는 인스팅트 MI355X와 인스팅트 MI350X가 포함되어 있다. 상위 모델인 인스팅트 MI355X는 메모리에 HBM3E를 채용하고 있으며 메모리 용량은 288GB, 메모리 대역폭은 초당 8TB다.

인스팅트 MI355X와 인스팅트 MI350X의 사양을 살펴보면, GPU는 각각 인스팅트 MI355X OAM과 인스팅트 MI350X OAM이며 두 제품 모두 CDNA 4 아키텍처를 사용한다. 메모리 용량은 둘 다 288GB HBM3E이고, 메모리 대역폭도 동일하게 8TB/sec. FP64 성능은 인스팅트 MI355X가 78.6 TFLOPS, 인스팅트 MI350X가 72 TFLOPS다.

인스팅트 MI350 시리즈를 8대 조합해 인스팅트 MI350 시리즈 플랫폼을 구성할 수 있다. 인스팅트 MI355X를 8대 조합하면 메모리 용량은 2.3TB에 달한다.

인스팅트 MI355X 플랫폼과 인스팅트 MI350X 플랫폼 사양을 살펴보면 GPU는 각각 인스팅트 MI355X OAM 8대와 인스팅트 MI350X OAM 8대로 구성되며 두 플랫폼 모두 CDNA 4 아키텍처를 사용한다. 메모리 용량은 둘 다 2.3TB HBM3E이고, 메모리 대역폭은 1대당 8TB/sec다. FP64 성능은 인스팅트 MI355X 플랫폼이 628.8 TFLOPS, 인스팅트 MI350X 플랫폼이 577 TFLOPS다.

인스팅트 MI355X는 2023년 등장한 인스팅트 MI300X와 비교해 대폭적인 성능 향상을 달성했으며 DeepSeek-R1에서는 3배, Llama 4 매버릭에서는 3.3배, Llama 3.3 70B에서는 3.2배 빠른 추론이 가능하다.

AMD는 인스팅트 MI350 시리즈가 엔비디아 GB200이나 B200과 비교해 높은 성능을 갖추고 있다고 어필하고 있다. AMD에 따르면 인스팅트 MI350 시리즈는 B200과 비교해 메모리 용량이 1.6배이고 FP64에서의 처리 성능이 2.1배라고 한다.

실제 AI 워크로드에서는 인스팅트 MI355X가 B200과 비교해 DeepSeek-R1 추론 성능이 1.2배, Llama 3.1 405B 추론 성능이 1.3배로 나타났다.

인스팅트 MI350 시리즈는 델이나 HPE, 슈퍼마이크로 등 서비스를 통해 이용 가능해질 예정이다. 관련 내용은 이곳에서 확인할 수 있다.