채팅 AI 클로드 등을 개발하는 AI 기업 앤트로픽(Anthropic) 다리오 아모데이 CEO가 2025년부터 2027년까지 3년간 AI 학습 비용이 100억 달러에서 1,000억 달러까지 상승할 가능성이 있다고 주장했다.
노르웨이 정부 펀드(Norges Bank Investment Management)와의 대담에서 아모데이 CEO는 AI 진보에 대해 언급하며 챗GPT 같은 생성형 AI에서 범용 인공지능(AGI)에 갑자기 도달하는 일은 없을 것이라고 밝혔다. 대신 인간 아이가 점진적으로 학습하듯 과거 모델 발전을 기반으로 단계적으로 AGI에 근접해 갈 것이라고 말했다. 따라서 AI 모델이 매년 10배 강력해진다면 AI 모델을 학습하는 데 필요한 하드웨어도 10배 이상 강화가 요구될 것이며 하드웨어는 AI 학습에서 가장 큰 비용 요인이 될 것으로 예측했다. 실제로 2023년 시점 챗GPT 학습에는 GPU 3만 개가 필요하다고 보도됐으며 일론 머스크가 설립한 AI 스타트업 xAI는 대당 3만 달러에서 4만 달러어치 AI용 GPU B200을 30만 대 구매할 예정이라고 밝혔다.
Given the pace of technology improvement, it’s not worth sinking 1GW of power into H100s.
— Elon Musk (@elonmusk) June 2, 2024
The @xAI 100k H100 liquid-cooled training cluster will be online in a few months.
Next big step would probably be ~300k B200s with CX8 networking next summer.
또 오픈AI와 마이크로소프트는 1,150억 달러 규모 AI 데이터 센터 개설을 계획하고 있다고 보도됐다. 아모데이 CEO에 따르면 이미 AI 트레이닝에 드는 비용은 상승하고 있다고 한다. 오픈AI AI 모델인 GPT-4를 포함한 현행 AI 모델 학습에는 1억 달러가 필요하며 앤트로픽이 개발 중인 AI 모델 학습 비용은 10억 달러에 달한다고 한다.
아모데이 CEO는 AI 학습에 드는 비용은 2025년부터 2027년까지 3년간 100억 달러, 어쩌면 1,000억 달러까지 상승할 것이라며 이대로 알고리즘과 칩 개선이 계속된다면 2027년경에는 인간보다 뛰어난 AI 모델이 개발될 가능성이 높다고 생각한다고 추측했다. 관련 내용은 이곳에서 확인할 수 있다.