대당 수천만 원대에 판매 중인 엔비디아 H100은 기계학습에 최적으로 인기가 높아 페이스북 마크 주커버그 자선 단체는 엔비디아 H100을 1,000개 이상 이용한 고성능 의학 연구 컴퓨팅 시스템 구축을 시작했다. 여기에 엔비디아 L40S가 엔비디아 H100 대체가 될 수 있다는 평가가 나온다.
엔비디아 H100은 하이엔드 GPU로 수요나 가격 모두 높아지고 있다. 기계학습 수요에 따라 엔비디아는 L40S를 판매하고 있다. 그래픽 지향 L40 변종이라고 할 수 있는 존재로 H100 절반 가격으로 손에 넣을 수 있다.
챗GPT 같은 걸 학습하게 하려면 엔비디아 H100 80GB SXM5가 여전히 최적인 GPU다. 다만 일단 기초 모델이 훈련되면 도메인 고유 데이터나 추론에 근거한 모델을 커스터마이징하는 건 저비용 제품에서도 가능하다.
하이엔드 추론에 사용되는 GPU는 엔비디아 H100, 엔비디아 A100, 엔비디아 L40S 3개가 현재 주류다. L40S는 다른 2개와는 완전히 다른 것으로 원래 비주얼라이제이션용 GPU인 L40을 기반으로 AI용 조정을 실시한 것이다.
L40S는 AI 학습과 추론용으로 대폭 개선된 GPU지만 메모리 용량, 대역폭 등이 필요한 경우에는 적합하지 않다고 한다. 사양은 A100보다 메모리가 크게 적은 것처럼 보이지만 엔비디아 트랜스포머 엔진(NVIDIA Transformer Engine)과 FP8을 지원해 데이터 크기를 크게 줄이는 FP8을 사용해 적은 메모리에서 작동한다.
한편 보통 H100PCIe는 L40S 2∼2.7배 속도지만 가격도 2.6배다. 또 L40S는 H100보다 훨씬 빨리 입수 가능하다는 것도 장점이다. 관련 내용은 이곳에서 확인할 수 있다.