마이크로소프트는 2019년 이후 전 세계에서 화제가 되고 있는 챗AI인 챗GPT를 개발한 오픈AI에 대해 많은 투자를 하고 있으며 챗GPT 출시 직후인 2023년 1월에는 수십억 달러 규모 출자를 실시해 장기 파트너십을 맺기도 했다. 마이크로소프트는 오픈AI를 지원하기 위해 수억 달러 이상을 소비해 AI 개발용 슈퍼컴퓨터를 구축하고 있던 것도 밝혀지고 있다.
마이크로소프트는 2019년 10억 달러를 오픈AI에 출자했을 때 오픈AI를 위해 대규모 첨단 슈퍼컴퓨터를 구축하는 것에도 동의했다고 한다. 오픈AI를 비롯한 AI 개발 기업은 대규모 AI 모델을 개발할 때 더 많은 데이터를 수집하고 학습해야 해 강력한 컴퓨팅 리소스에 액세스할 수 있어야 한다.
마이크로소프트 애저 고성능 컴퓨팅과 AI 제품 책임자인 나다 차펠(Nidhi Chappell)은 조사 중 배운 건 모델이 클수록 데이터가 많아지고 학습 시간이 길어질수록 모델 정확도가 향상된다는 것이라며 따라서 더 큰 모델을 장기간 훈련시키는 강력한 뒷받침이 있어야 한다고 밝혔다.
마이크로소프트는 오픈AI와 긴밀하게 협력해 강력한 AI 모델을 학습할 수 있는 슈퍼컴퓨터를 구축하고 클라우드 서비스를 통해 컴퓨팅 리소스를 제공하기 위해 노력했다. 마이크로소프트는 슈퍼컴퓨터 구축에 있어 케이블 트레이 설계에서 데이터센터 서버 용량 증가, GPU 유닛간 통신 최적화, 데이터센터가 정전되지 않는 전원 배치 고안, 머신 냉각 등 다양한 과제에 대처했다고 한다. 마이크로소프트 부사장인 스콧 가스레이(Scott Gasley)는 프로젝트에 소비된 구체적인 금액을 밝히지는 않았지만 한 인터뷰에서 수억 달러보다 아마도 클 것이라고 덧붙였다고 한다.
2020년 마이크로소프트는 엔비디아 AI‧데이터센터용 GPU인 엔비디아 A100 1만 개를 연결한 슈퍼컴퓨터를 개발해 클라우드 컴퓨팅 서비스인 마이크로소프트 애저에서 제공했다. 차펠은 자사가 큰 규모로 운영할 수 있고 신뢰할 수 있는 시스템 아키텍처를 구축했다면서 이로 인해 챗GPT를 가능하게 만들었다고 말하면서 앞으로 더 많은 모델이 마이크로소프트에 의해 구축된 슈퍼컴퓨터에서 탄생할 것이라는 견해를 나타냈다.
마이크로소프트는 슈퍼컴퓨터 리소스를 오픈AI 외 고객에게도 판매한다. 슈퍼컴퓨터는 커스텀 메이드로 시작했지만 대규모 언어 모델을 학습시키려는 이들이 활용하도록 일반화하게 구축했다면서 덕분에 더 널리 AI를 위한 좋은 클라우드가 될 수 있었다고 밝혔다.
마이크로소프트는 AI용 인프라를 계속 진화시키고 있으며 2023년 3월 13일 8개에서 수천 개에 이르는 엔비디아 H100 GPU와 고속 네트워크를 제공하는 아키텍처(Quantum- 2 InfiniBand)를 이용한 AI용 가상 머신 ND H100 v5 VM을 발표했다.
마이크로소프트는 사용자 정의된 서버와 칩 설계, 공급망 최적화, 비용 절감 등 문제에 계속 노력하고 있다. 마이크로소프트는 현재 전 세계를 놀라게 한 AI 모델은 2∼3년 전 만들어지기 시작한 슈퍼컴퓨터로 개발된 것이라고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.