엔비디아가 개발자를 위한 소형 AI 보드 키트인 젯슨 오린 나노 슈퍼(Jetson Orin Nano Super) 개발자 키트를 발표했다. 기존 모델과 비교해 AI 성능이 최대 70% 향상됐으며 가격도 기존 모델 499달러에서 249달러로 거의 절반으로 낮아졌다.
젯슨 오린 나노 슈퍼는 생성 AI, 로봇 공학, 이미지 및 비디오 인식 기술 개발에 관심 있는 개발자를 위한 보드다. 이전 세대 제품의 생성 AI 추론 성능이 40TOPS(INT8)였던 반면 이번에 발표된 젯슨 오린 나노 슈퍼는 67TOPS(INT8)로 70% 향상됐다고 엔비디아는 강조하고 있다.
또 생성 AI 모델 성능 향상은 TOPS 성능만으로는 부족하다라며 젯슨 오린 나노 슈퍼 메모리 대역폭은 102GB/s로 기존 68GB/s에서 1.5배 확장됐다. 추가로 CPU 주파수도 1.7GHz로 이전 세대 1.5GHz에서 향상됐다. 젯슨 오린 나노 슈퍼 주요 사양을 보면 Arm 코어텍스-A78AE(Armv8.2 64-bit) 6코어, GPU는 엔비디아 암페어 아키텍처, 메모리는 8GB 128-bit LPDDR5, 저장장치는 SD카드, NVMe를 지원한다. 입출력은 MIPI CSI-2 22핀 카메라 커넥터 2개, USB 3.2 Gen2 타입A 단자 2개, 타입C, 기가비트 이더넷, 디스플레이포트 1.2 40핀 확장 헤더 등을 지원한다. 크기는 103×90.5×34.77mm다.
엔비디아는 젯슨 오린 나노 슈퍼가 최대 8B 파라미터를 가진 대규모 언어 모델 및 시각 언어 모델 등 트랜스포머 기반 모델을 실행할 수 있다고 강조했다. 또 허깅페이스 트랜스포머, 올라마(Ollama), llama.cpp, vLLM, MLC, 엔비디아 TensorRT-LLM 등 주요 ML 프레임워크와의 호환성도 유지하고 있다. 추가로 젯슨 오린 나노 슈퍼 개발자 키트 가격은 249달러로 이전 세대 499달러에서 거의 절반으로 줄어들었다.
엔비디아에 따르면 성능 향상은 GPU, 메모리, CPU 클록을 높이는 새로운 전력 모드를 통해 실현됐으며 기존 젯슨 오린 나노 슈퍼 개발자 키트 사용자도 최신 제트팩(JetPack)으로 업그레이드하면 동일한 성능 향상을 얻을 수 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.