플레이 영상만 보고 게임 재현하는 AI?

전혀 해본 적 없는 게임 플레이 동영상을 보면 머릿속으로 자신이 해당 게임을 플레이하는 걸 상상하고 어딘지 모르게 플레이한 것 같은 기분이 들었던 적이 있을 것이다. 이처럼 AI에 명작 액션 게임 팩맨 게임 플레이를 시각적으로 학습시켜 기존 게임엔진과 코드를 제공하지 않고 AI 시뮬레이션만으로 팩맨을 생성하는 시도를 엔비디아 연구팀이 발표했다.

앤바다어가 개발한 생성적 대립 신경망인 GameGAN으로 생성한 팩맨은 단순한 데모 영상이 아니라 재생 가능한 응용 프로그램으로 출력 가능하다. 단순히 팩맨을 플레이할 뿐 아니라 팩맨 플레이 영상을 보고 팩맨을 재현한다는 게 가장 큰 포인트. GameGAN은 기존 게임엔진을 일절 사용하지 않고 학습과 훈련을 거듭해 플레이 가능한 팩맨을 처음부터 만들어냈다.

이 연구는 1980년 5월 22일 출시된 팩맨이 2020년 5월 22일 40주년을 맞은 걸 기념해 진행한 것이다. 엔비디아 연구팀은 반다이남코연구소가 제공한 팩맨 게임 플레이 동영상 5만개와 게임 작업에 해당하는 키 입력 데이터를 GameGAN에 학습시켰다. 이 학습은 엔비디아 쿼드로 GV100 GPU 4개를 탑재한 AI 워크스테이션 엔비디아 DGX 시스템을 이용해 4일간 이뤄졌다.

엔비디아 측은 GameGAN이 적대적 생성 네트워크를 이용해 게임 엔진을 시뮬레이션한 첫 연구라면서 AI가 게임 플레이 동영상을 보고 게임 자체 환경을 만들 수 있는지 시험해보고 싶었다고 밝히고 있다. 적대적 생성 네트워크는 생성과 식별 2가지 네트워크로 이뤄져 있다. 생성 네트워크가 만든 걸 식별 네트워크가 판정하고 그 결과를 네트워크에 피드백하는 사이클을 반복해 AI 자체 정확도를 높여가는 구조다. 다시 말해 플레이 영상 5만개를 보고 배운 GameGAN 생성 네트워크 시뮬레이션으로 팩맨을 생성하고 그 결과를 확인해나가는 것으로 GameGAN에 의한 시뮬레이션 정확도가 높아지는 셈이다.

GameGAN은 학습과 훈련을 반복하며 팩맨이 미로 속을 이동하고 벽은 넘지 못한다거나 귀신이 팩맨을 쫓고 유령에 닿으면 팩맨이 죽는다는 것 등 팩맨 기본 규칙을 배우고 생성하는 게임에 피드백을 해나간다.

GameGAN이 생성한 팩맨은 응용 프로그램으로 출력해 인간도 플레이할 수 있다. 마지막으로 생성된 시뮬레이션 정확도가 높아 반다이 측은 AI가 게임엔진 없이 팩맨의 재미를 재현할 것이라고 생각하지 않았지만 플레이를 해보고 결과에 놀랐다고 밝히고 있다.

하지만 GameGAN 게임은 플레이 스킬이 느려 게임 오버가 거의 될 수 없다. 연구팀은 GameGAN이 팩맨은 죽지 않는다는 편견을 형성했을 수 있다고 보고 있다. 따라서 GameGAN이 생성한 팩맨은 플레이어가 조작하는 팩맨이 죽는다는 걸 허용하지 않고 보통이면 팩맨이 죽을 것 같은 작업을 입력하면 AI가 그 결과를 피하기 위해 게임 자체를 수정할 가능성도 있다고 한다.

엔비디아 연구팀은 1인칭 슈팅 게임인 둠(Doom)을 이용한 강화학습 프로젝트 비즈둠(ViZDoom) 훈련 데이터를 통해 GameGAN으로 둠을 생선하려는 시도도 하고 있다. 연구팀은 이번 연구에서 자율 머신이 시뮬레이션하기 위한 환경을 AI가 만든다는 목표를 정하고 물체 파악과 이동 방법을 학습하는 창고 로봇이나 음식, 약품 운반을 위해 보도를 탐색하는 배송 로봇 등 자율 머신 개발에 필요한 시뮬레이션 제작에 신경망 학습으로 대체될지 모른다고 보고 있다. 엔비디아는 GameGAN으로 생성한 팩맨 데모를 올 여름 이후 공개할 예정이다. 관련 내용은 이곳에서 확인할 수 있다.