엔비디아가 개발자 콘퍼런스인 GTC 2022 기간 중 차세대 GPU 아키텍처인 호퍼(Hopper)와 이를 탑재한 H100 GPU를 발표했다. 호퍼는 엔비디아가 주력하는 기계학습 모델 트랜스포머(Transformer)에서 처리 능력을 획기적으로 높여준다.
젠슨황 엔비디아 CEO는 기조 강연 중 처음으로 인간 게놈 해석이나 DNA 3D 구조를 해석, 기후 과학 등 과학 분야나 자동 번역 등을 비약적으로 높여주는 AI에 GPU가 크게 공헌하고 있다고 어필했다. 언어를 이해하기 위한 구글 BERT나 창약용인 엔비디아 메가MO(MegaMO), 딥마인드 알파폴드2(AlphaFold2) 등으 물론 기계학습 모델인 트랜스포머 등을 강조했다.
이어 전 세계 AI 컴퓨팅 인프라 엔진을 크게 비약시키는 존재가 이번에 발표한 H100이라고 설명했다. H100은 TSMC 4nm 제조공정을 통해 트랜지스터 800억 개를 갖추고 있으며 첫 5세대 PCI-e GPU이자 첫 HBM3 GPU다. H100 1기로 초당 40테라비트 IO 대역폭을 유지 가능해 H100 20기만 있으면 전 세계 웹 트래픽을 유지할 수 있다는 계산이다.
또 H100 근간으로 2020년 발표된 암페어(Ampere) 후속 어키텍처인 호퍼는 6가지 혁신성을 갖추고 있다. 첫째는 4페타플롭스라는 경이적인 처리 속도를 내는 새로운 텐서 처리 포맷인 FP8에 대응한다는 점이다. 호퍼 H100 FP8 내 AI 처리는 암페어 A100 FP16보다 6배에 달한다. 둘째는 트랜스포머 네트워크 각 계층을 동적 처리하는 호퍼 트랜스포머 엔진(Hopper Transformer Engine) 도입이다.
셋째는 인스턴스 완전 분리와 IO 가상화 추가 등 고급 클라우드에서 멀티테넌시에 대응하는 2세대 멀티 인스턴스. 멀티테넌시에 대해선 H100은 현재 가장 인기 높은 클라우드 추론 GPU인 T4 GPU 2기와 같은 클라우드 멀티테넌시를 7기까지 호스트할 수 있다고 한다.
넷째는 기존 시스템 대부분이 지원하지 않는 사용 중 기밀 데이터 보호를 실현해 AI 모델과 소유자 알고리즘에서 기밀성과 무결성을 보호하는 GPU 컨피덴셜 컴퓨팅을 도입한 점이다. 5번째는 루트 최적화나 게노믹스를 포함한 폭넓은 알고리즘으로 사용되는 동적 계획법을 CPU보다 최대 40배, 암페어 세대 GPU보다 최대 7배 고속화하는 새로운 DPX 명령 대응이다.
마지막은 새로운 외부 NV링크 스위치(NVLink Switch)를 조합해 서버를 넘은 스케일업 네트워크르 구축할 수 있게 된 점이다. 이전 세대(NVIDIA HDR Quantum InfiniBand) 9배라는 대역폭으로 최대 256기 H100을 접속할 수 있게 됐다고 한다.
H100은 2022년 3분기 제공을 시작한다. H100 8기를 탑재하는 DGX H100, 이 DGX H100을 32대 NV링크 스위치로 접속한 DGX H100 슈퍼팟(DGX H100 SuperPOD), 576대를 접속한 엔비디아 EOS 제공도 한다. 엔비디아 EOS AI 처리 성능은 18엑사플롭스에 이른다. 관련 내용은 이곳에서 확인할 수 있다.
한편 엔비디아는 고성능 연산과 클라우드 컴퓨팅을 위한 고성능 CPU인 엔비디아 그레이스(NVIDIA Grace) CPU 슈퍼칩도 발표했다. 고속이면서 저지연 칩간 상호 접속 기술인 NV링크-C2C(NVLink-C2C)를 통해 144개까지 ARM v9 코어를 탑재해 현재 주요 CPU보다 소비 전력당 성능이 2배 높아진다는 설명이다.
이렇게 최대 144개 ARM v9 코어를 탑재하고 ECC 기능을 갖춘 LPDDR5X 메모리를 활용해 제공되는 대역폭은 초당 1TB로 현재 서버 메모리와 견줘 2배, 에너지 효율은 최대 10배다. 또 4세대 NV링크-C2C로 탑재한 엔비디아 그레이스 GPU와 엔비디아 GPU간 양방향 대역폭은 PCIe Gen5보다 7배 고속은 초당 900GB에 이른다. 이런 고대역폭 접속은 AI나 고성능 연산에 있어 미래에 직면할 난제 해결에 키가 된다는 설명이다. 엔비디아 그레이스 CPU 슈퍼칩 릴리스는 2023년 전반 예정이다. 관련 내용은 이곳에서 확인할 수 있다.
엔비디아는 또 자율주행 관련 정보로 인간 일부 개입을 필요로 하는 레벨3, 한정적 영역에서만 인간 일부 개입을 필요로 하는 레벨4 강화를 위한 새로운 기술과 로드맵도 발표했다.
먼저 엔비디아 드라이브 하이페리온9(NVIDIA DRIVE Hyperion 9). 에비디아가 제공하는 자율주행차 오픈 개발 플랫폼인 엔비디아 드라이브(NVIDIA DRIVE)에 자율주행차 하드웨어 아키텍처인 하이페리온9를 선보인 것. 360도 카메라와 레이더, 라이다, 초음파 센서 등 센서류를 이용해 자율주행을 실현하는 하이페리온8 후속으로 카메라 14대와 레이더 9대, 라이다 3대, 초음파 센서 20기를 탑재하고 있어 하이페리온8보다 2배에 이르는 센서 데이터를 처리할 수 있다.
기존 자율주행차용 SoC인 드라이브 아틀란(DRIVE Atlan)을 이용하는 것으로 하이페리온9는 같은 전력으로 2배 이상 성능을 발휘한다. 레벨4 자율주행 외에도 엔비디아 드라이브 컨시어지가 제공하는 편하고 안전한 기능을 처리할 수 있다. 풍부한 센서 세트와 고성능 컴퓨팅을 결합해 시스템 전체가 최고 수준 안전과 사이버 보안에 맞게 설계됐다는 설명이다. 엔비디아는 하이페리온은 신경계, 아틀란은 두뇌라고 설명한다. 하이페리온9는 2026년부터 생산을 시작한다.
다음은 엔비디아 드라이브 맵(NVIDIA DRIVE Map). 2024년까지 북미와 유럽, 아시아 주요 도로 50만km를 맵핑하는 엔비디아 드라이브 맵을 발표한 것. 카메라와 라이다, 레이더 3가지 현지화 레이어를 갖춘 드라이브 맵을 통해 정확하게 세계를 3D로 재현해 첨단 AI에 필요한 정보를 공급한다는 것이다. 여러 레이어를 이용해 자동차나 보행자, 움직이는 물체를 현지화하고 엔비디아 옴니버스(NVIDIA Omniverse)에 읽어들여 이 데이터를 바탕으로 교통 상황에 대응하는 차량을 구축할 수 있다. 이 맵은 수백만 대 자동차로 확장되며 데이터는 자율주행차 업계 전반이 이용할 수 있다.
엔비디아는 하이페리온이 여러 스타트업(DeepRoute, Pegasus, UPower, WeRide)에 채택되어 생태계가 110억 달러가 넘는 규모로 성장했다고 밝혔다. 또 중국 대형 배터리 제조사인 BYD가 254TOPS를 실현하는 차량용 컴퓨터 드라이브 오린(Drive Orin)을 채택해 세계 첫 플러그인 하이브리드카 F3DM 등 판매 실적을 갖춘 BYD 하이페리온8에서 차세대 전기차를 구축하는 등 레벨4 실현을 위한 생태계가 확대되고 있다고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.
엔비디아는 또 단차나 요철을 검지하고 전후좌우로 자율주행하면서 목적지까지 이동하는 자율 이동 로봇 AMRs(Autonomous Mobile Robots) 개발 플랫폼인 이삭 노바 오린(Isaac Nova Orin)도 발표했다.
AMRs는 주로 물류 업계에서 활약하는 로봇. 아마존 창고에서 일하는 로봇이 대표적이다. AMRs를 채택한 창고는 9만m2 이상 부지 면적을 자랑하는 경우도 있어 창고 면적에 따라 AMRs 대수를 증감시켜 창고 수요에 유연하게 대응할 수 있다는 것도 포인트 중 하나다. 하지만 병원이나 소매업, 공항, 제조업 등에서 AMRs을 활용하면 끊임없이 움직이는 노동자 존재가 장애가 된다.
이런 AMRs 개발을 가속화하기 위해 엔비디아는 첨단 컴퓨팅과 센서 레퍼런스 플랫폼인 이삭 노바 오린을 발표한 것. 서버급 AI 성능을 제공할 수 있는 젯슨 AGX 오린(Jetson AGX Orin)을 기반으로 구축한 것으로 고성능 AI 컴퓨팅 기능과 첨단 센터 기술을 융합한 것이다.
내부에는 AMR 자율 주행을 설계, 구축, 테스트하는데 필요한 컴퓨팅 기능과 센서 하드웨어가 모두 포함되어 있으며 핵심이 되는 건 젯슨 AGX 오린 2개다. 이들 2개는 최대 550TOPS AI 컴퓨팅을 가능하게 해준다. 또 이 모듈은 카메라 6대, 라이다 3대, 초음파 센서 8대로 이뤄진 센서 유닛 데이터를 실시간 처리할 수 있다.
이삭 노바 오린은 이런 AI 컴퓨팅 하드웨어 뿐 아니라 엔비디아 이삭 ROS GEMs(NVIDIA Isaac ROS GEMs) 같은 하드웨어 가속 패키지, 새로운 시뮬레이션 앱인 엔비디아 이삭 심(NVIDIA Isaac Sim) 지원도 포함한다. 이를 활용해 AMRs이 주변 환경을 더 잘 인식하고 장애물을 안전하게 피하고 효율적인 경로를 계산하는 솔루션을 준비하고 있다는 설명이다. 관련 내용은 이곳에서 확인할 수 있다.