AWS가 11월 27일부터 12월 1일에 걸쳐 미국 라스베이거스에서 열리는 이벤트인 AWS 리인벤트 2023(AWS re:Invent 2023) 기조 강연 중 기존 S3(Amazon Simple Storage Service)와 비교해 최대 10배 성능을 발휘하는 스토리지 클래스인 아마존 S3 익스프레스 원 존(Amazon S3 Express One Zone)을 발표했다.
AWS에 따르면 아마존 S3 익스프레스 원 존은 아마존 S3보다 최대 10배 뛰어난 성능을 제공하도록 설계했다고 한다. 객체 저장과 복제는 단일 가용 영역 내 전용 하드웨어에서 수행되어 아마존 EC2, ECS, EKS 리소스를 동일 위치에 배치해 대기시간을 더 단축할 수 있다.
아마존 S3 익스프레스 원 존은 컴퓨팅과 스토리지간 대기시간이 상당히 낮기 때문에 AI와 기계학습 훈련, 재무 모델링, 실시간 광고 게재, HPC 등 처리에 수백에서 수천 병렬 컴퓨팅 노드를 사용하는 데이터 집약적 애플리케이션 성능이 크게 향상된다고 한다.
요금은 기존 아마존 S3와 마찬가지로 종량과금제로 미국 동부 지역 기준 1GB당 0.16달러이며 S3 스탠더드 스토리지 클래스보다 요구 비용이 50% 낮다고 한다. 아마존 S3 익스프레스 원 존은 미국 동부 버지니아주 북부, 미국 서부 오레건주, 아태 지역에선 도쿄, 유럽 스톡홀름 등 지역에서 이용할 수 있으며 다른 지역으로 점차 확대할 예정이다. 관련 내용은 이곳에서 확인할 수 있다.
아마존은 또 이 자리에서 머신러닝과 AI 학습을 포함한 광범위한 워크로드에서 성능 향상을 실현하는 프로세서인 그래비톤4(Graviton4)과 트래니움2(Tranium2)를 발표했다.
AWS는 150개가 넘는 다른 그래비톤 기반 아마존 CE2 인스턴스를 제공하며 200만 개 이상 그래비톤 프로세서를 통해 F1과 닐슨, 핀터레스트, 스트라이프 등을 포함한 5만 여 이상 고객에게 다양한 워크로드를 제공 중이다. 클라우드에 대규모 인메모리 데이터베이스와 분석 워크로드가 도입되면서 요구가 점차 엄격해지고 있으며 이에 따라 2021년 11월 발표된 그래비톤3 후속 프로세서로 발표된 게 그래비톤4다.
그래비톤4는 그래비톤3에 비해 코어 50% 증가, 메모리 대역폭 75% 증가, 컴퓨팅 능력 30%가 향상됐고 아마존 EC2에서 실행되는 광범위한 워크로드에 대해 높은 비용대비 성능과 에너지 효율을 실현한다.
그래비톤4는 새로운 메모리 최적화 인스턴스인 R8g 인스턴스에서 사용할 수 있어 고성능 데이터베이스, 메모리 내 캐시, 빅데이터 분석 등 메모리 부하가 높은 워크로드가 개선된다. 또 모든 고속 물리적 하드웨어 인터페이스를 완전히 암호화해 보안이 향상됐다는 것.
R8g 인스턴스는 현재 R7g 인스턴스와 비교해 vCPU가 최대 3배, 메모리도 3배라는 성능을 갖추고 있기 때문에 워크로드를 실행할 때 결과를 얻을 수 있는 시간이 단축되어 최종 비용 절감으로 이어질 것으로 기대된다. 그래비톤4 기반 R8g 인스턴스는 프리뷰를 거쳐 앞으로 몇 개월 이내에 일반 제공 예정이다.
한편 트래니움2는 기계학습 칩인 트래니움 최신 버전으로 기존보다 트레이닝이 최대 4배 고속화됐다. 트래니움2는 아마존 EC2 Trn2 인스턴스에서 사용할 수 있으며 단일 인스턴스에서 트래니움2 칩을 최대 10만 칩으로 확장하고 AWS EFA(Elastic Fabric Adapter) 페타비트 스케일 네트워킹과 상호 연결해 최대 초당 65EFlops에 이르는 슈퍼컴퓨터 수준 성능을 활용할 수 있다. 이런 구조를 이용해 기존에는 3,000억 파라미터 대규모 언어 모델 학습에 몇 개월이 걸리던 걸 몇 주로 단축할 수 있다고 한다. 또 기초 모델이나 대규모 언어 모델을 빠르게 학습할 수 있어 에너지 효율도 2배 높아졌다고 한다. 트래니움2 기반 Trn2 인스턴스 제공 시기는 발표되지 않았다. 관련 내용은 이곳에서 확인할 수 있다.
이 자리에선 또 사용자 비즈니스 환경에 맞게 사용자 정의 가능한 채팅 AI 서비스인 아마존 큐(Amazon Q)도 발표했다. 아마존 큐는 새로운 유형 생성형 AI로 기업 비즈니스 환경에 맞게 사용자 정의할 수 있는 AI다. 아마존 S3, 드롭박스, 콘플루언스, 구글 드라이브, 마이크로소프트 365, 세일즈포스, 서비스나우, 젠데스크 등 일반 앱을 비롯해 내부 네트워크 정보 소스나 사내 위키 등과 접속도 가능하다.
앱을 연결하면 아마존 큐는 모든 데이터를 정리하고 학습한다. 이어 채팅 형태로 아마존 큐에 작업을 의뢰하면 된다. 데이터 소스와의 연결에는 직원별 자격 증명이 사용되기 때문에 액세스하면 안 될 정보가 표시되어 버릴 걱정은 없다. 또 아마존 큐에는 AWS 상에서 시스템을 구축하는 걸 돕는 기능이 탑재되어 있다고 한다.
그 밖에 이번 행사에선 생성형 AI를 이용한 앱을 개발하기 위한 클라우드 서비스인 아마존 베드록(Amazon Bedrock) 기능 강화와 손바닥을 이용해 직원을 인증할 수 있는 서비스인 아마존 원 엔터프라이즈(Amazon One Enterprise) 출시를 발표했다. 관련 내용은 이곳에서 확인할 수 있다.