구글 클라우드에서 기계학습 특화형 프로세서인 TPU v5e를 이용한 처리가 가능하게 됐다. 구글은 TPU v5e에 대해 이전 세대 TPU v4에 비해 비용대비 성능이 2.3배로 향상됐다고 어필하고 있다.
TPU v5e는 구글이 자체 개발하는 기계학습 특화 프로세서인 TPU(Tensor Processing Unit) 5세대 모델로 발표 당시에는 이전 세대 모델인 TPU v4와 비교해 1달러당 성능이 2.5배 높고 추론 지연이 1.7배 낮은 걸 어필했다. 구글은 11월 9일 TPU v5e를 구글 클라우드상에서 이용 가능하게 한 걸 발표하는 동시에 TPU v5e 성능 측정 결과도 공개했다. 이에 따르면 bfloat16(bf16)에서 TPU v4 1.5배, int8 양자화를 실시하면 2.3배로 비용대비 성능이 향상된다.
또 구글은 클로드 개발사인 앤트로픽과 제휴를 강화한다고 발표하고 있다. 앤트로픽은 이미 TPU v5e를 도입하고 있으며 클로드 기반이 되는 언어 모델 연구 개발을 진행하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.