오픈AI(Open AI)가 개발한 기계학습 알고리즘인 GPT-3과 DALL-E 2개를 이용해 마인크래프트를 상당한 수준으로 플레이할 수 있게 됐다. 물론 AI가 게임을 잘 한다고 생각할 수 있지만 실제로는 AI에게는 어려운 게임이었다고 한다. 이유는 AI가 잘하는 장기나 바둑과 달리 명확한 목표나 룰이 없기 때문.
AI가 마인크래프트를 배우기 위한 교재 역할을 한 건 여러 명이 올린 유튜브 영상. AI가 학습에 활용한 동영상 전체 시간은 무려 7만 시간에 달한다. 다시 말해 인간으로 따지면 잠도 자지 않고 8년간 영상을 계속 본 셈이다.
마인크래프트 영상을 열심히 봐도 사실 영상이 뭘 하고 있는지 아는 게 중요하다. 7만 시간 중 2,000시간 분량 유튜브 영상에 기본 마이클래스 태그를 매뉴얼로 붙였다. 이 태그를 첨부한 영상을 바탕으로 IDM(Inverse Dynamics Model) 알고리즘이 영상에서 어떤 게 이뤄지고 있는지 정밀도 90%로 인지하고 IDM은 태그 영상을 바탕으로 VPT(Video PreTraining) 알고리즘을 학습했다. 그 결과 AI가 직접 작업대를 만들고 도구를 만드는 수준까지 가능하게 됐다는 설명이다.
마인크래프트에서 어려운 다이아몬드 도구를 인간이 만들려면 평균 20분, 2만 4,000액션이 들어간다고 한다. 하지만 AI는 이를 10분 안에 완료할 수 있었다고 한다.
주목할 만한 건 AI가 학습에 사용한 건 동영상이며 AI 플레이 역시 인간과 마찬가지로 키와 마우스 조작으로 이뤄졌다는 것이다. 관련 내용은 이곳에서 확인할 수 있다.