유튜브가 동영상 변환 특화칩 독자 개발한 이유

세계 최대 동영상 공유 플랫폼인 유튜브에는 매일 500시간이 넘는 동영상이 올라와 구글 데이터센터 내 많이 작업이 동영상 변환에 사용된다. 따라서 유튜브는 동영상 변환에 특화된 칩인 아르고스(Argos)를 독자 개발하고 있다. 구글이 아르고스를 개발한 이유는 뭘까.

구글은 TPU라는 기계학습에 특화된 특정 용도용 집적회로 ASIC 설계에 수천억 원을 투입해왔다. 구글 AI 관련 시도가 경쟁업체로부터 한걸음 더 나아간 게 TPU 기술에 의한 것이다.

하지만 구글은 TPU를 개발하는 가운데 개선할 수 있는 컴퓨팅이 AI만이 아니라는 걸 깨달았다. 구글 측은 구글 데이터센터에서 가장 계산이 많은 애플리케이션이 유튜브 동영상 변환이라는 점에 주목했다. 유튜브에는 분당 500시간 분량 동영상이 업로드되어 스마트폰, TV, PC 등 다양한 기기에서 재생할 수 있도록 데이터센터에서 동영상 변환 작업을 하고 있으며 동영상 하나당 15개 종류 포맷으로 변환할 수도 있다고 한다.

하지만 구글 데이터센터에서 사용되는 칩은 동영상 변환에 능숙하지 않았다. 따라서 AI에 특화된 ASICQ이 아니라 가장 빈번하게 이뤄지고 있는 동영상 변환을 효율적으로 실시할 수 있는 강력한 칩이 필요하다고 생각한 것이다.

구글팀은 유튜브와 수십억 원대 단위 예산과 직원 40명을 요구하는 메일을 보냈고 이후 유튜브 수잔 보이치키 CEO와 10분간 미팅을 실시해 유튜브 첫 동영상 변환 특화칩 개발 프로젝트에 OK 사인이 나왔다. 경제성이나 작업량, 업무를 감안할 때 이 아이디어가 합리적이라고 생각한 것이다.

유튜브 동영상 변환 특화칩은 아르고스라는 그리스 신화 괴물에서 따온 코드명이 주어졌다. 아르고스 존재는 2021년 4월 공개됐다.

전문가는 마진 면에서 수천억 원을 절약할 목적은 칩 설계자를 고용하고 육성하는 방대한 비용에 맞는 가치는 아니라면서 새롭게 개발하는 건 시제품을 만드는 것만으로도 수천억 원이 들고 완성까지 다시 비용이 더 들어간다고 지적한다. 하지만 구글 측은 자사의 관심은 돈을 절약하는 게 아니라 기존과 동등한 것 이상 품질 경험을 시청자에게 제공하는 것이라고 말한다.

구글 측은 또 기계학습 트레이닝이나 추론에 대해 생각했을 때 이들은 정말 크고 흥미로운 워크로드로 CPU라면 잘 처리할 수 없던 것이었다며 동영상 변환에 대해서도 기존 GPU에서도 충분히 대응할 수 있을지 모르지만 이를 위해 연간 수천억 원을 지불하고 있다면 동영상 변환에 특화된 ASIC 개발에 투자할 여지가 있다고 말한다.

또 구글이 동영상 변환에 특화된 칩을 개발한 동기는 비용 절감 뿐 아니라 칩 시장 변화도 이유 중 하나라는 지적이다. 1990년에서 2000년대에는 대형 기술 기업이 요구하는 칩을 만들기 위해 수십 개 기업이 힘을 쏟고 있어 격렬한 경쟁으로 많은 선택권이 생겼다. 하지만 현재 데이터센터용 칩을 만드는 기업은 인텔, AMD, 엔비디아라는 대형 칩 제조사 몇 개 밖에 존재하지 않는다. 따라서 주요 기술 기업은 자신이 요구하는 칩이 아니라 각 제조사가 만든 범용 프로세서를 사용하게 된다. 물론 이들 프로세서도 성능은 충분히 높지만 사용 목적에 특화된 건 아니다.

범용 프로세서가 아닌 독자 개발한 새로운 칩을 채택한다는 건 칩을 장착하는 기판이나 데이터센터 랙 설계, 클러스터 구성 등 데이터센터 머신 구성을 근본적으로 재검토할 필요가 있다. 구글 측은 놀라운 하드웨어를 개발할 수 있지만 함께 사용하는 소프트웨어가 새로운 칩에서 실제로 작동하도록 구축하지 않으면 컴파일, 도구, 디버깅, 배포 등 다양한 작업이 필요하다고 말한다.

결과적으로 구글은 타펠(Taffel)이라고 불리는 EDA(Electronic Design Automation) 툴을 개발해 TPU와 아르고스 프로세서 개발에 도움을 주고 있다. 하드웨어 설계에 소프트웨어 중심 접근법을 사용한다는 생각은 아르고스에서 강하게 추진한 것이다.

유튜브는 아르고스를 포함한 하드웨어 구성을 VCU라고 부르며 분당 400시간간 업로드되는 동영상을 다양한 형식으로 변환하는데 사용하고 있다. 아르고스에 도입된 새로운 설계에 의해 동영상 변환 계산 성능은 기존보다 20∼33배로 높아졌다. 구글은 현재 2세대 아르고스 칩을 전 세계에 있는 서버 수천 대에 배치하고 있으며 차세대 칩도 2종류 개발하고 있다.

전문가들은 구글이 엔비디아나 AMD, 인텔 칩에 대항할 수 있는 VCU를 1세대 만든 것만론 충분하지 않다고 말한다. 그렇지 않으면 반도체 대기업이 비슷한 칩을 개발하기를 기다리는 게 더 유리하기 때문이다. 관련 내용은 이곳에서 확인할 수 있다.