CPU‧GPU‧NPU‧TPU…뭐가 다를까

AI 개발에 빼놓을 수 없는 기계학습에는 GPU나 NPU, TPU 같은 칩이 이용되고 있지만 차이를 알기 어려울 수 있다.

CPU(Central Processing Unit)는 PC에서 문서 작성이나 로켓 진로 계산, 은행 거래 처리 등 다양한 용도에 이용된다. CPU에서도 기계학습을 할 수는 있지만 CPU에는 계산할 때마다 메모리에 액세스하는 특징이 있어 기계학습에 필요한 대량 계산을 실행할 때에는 메모리 통신 속도가 병목이 되어 처리 속도가 느려져 버린다.

GPU(Graphics Processing Unit)는 메모리, 입출력 기기 등과 세트로 묶은 그래픽카드로 시장에 널리 퍼져 있다. GPU에는 ALU가 수천 개 탑재되어 있어 대량 계산을 동시 실시하는 처리를 자랑하기 때문에 CPU보다 압도적으로 고속 기계학습이 가능하다. 다만 GPU는 게임이나 CG 처리 등에도 활용할 수 있는 범용 칩이기 때문에 기계학습 전용으로 설계된 칩과 비교하면 효율이 떨어진다.

NPU(Neural Processing Unit, Neural network Processing Unit)는 GPU처럼 대량 계산을 동시에 실시하는 처리에 특화된 칩이다. NPU는 또 기계학습 전용으로 설계된 칩으로 GPU보다 효율적으로 처리할 수 있다. 한편 NPU는 기계학습 전용 설계 칩이기 때문에 CPU나 GPU처럼 다양한 용도에 사용할 수 없다.

최근 등장하는 스마트폰에는 NPU를 탑재한 게 많다. 아이폰 시리즈에는 뉴럴엔진(Neural Engine), 스마트폰용 SoC인 스냅드래곤에도 NPU를 탑재한 모델이 존재하고 있는 것.

TPU(Tensor Processing Unit)는 구글이 개발한 NPU 일종이다. 구글은 클라우드 컴퓨팅 서비스인 구글 클라우드를 통해 사용자에게 TPU 처리 능력을 제공하고 있으며 사용자는 하드웨어를 직접 사용할 필요 없이 기계학습 처리를 고효율로 수행할 수 있다. 덧붙여 구글은 자사가 제공하는 TPU v4에 대해 엔비디아 기계학습 처리 특화 GPU인 A100보다 1.2∼1.7배 고속이며 전력 효율도 1.3∼1.9배 뛰어나다고 주장하고 있다. 관련 내용은 이곳에서 확인할 수 있다.