RPG 같은 게임을 하는 동안 마을에 있는 논플레이어 캐릭터가 같은 행동이나 말만 계속 해서 실망한 게이머가 적지 않을 것이다. 조지아공대와 FAIR(Facebook AI Research)가 협력해 실시한 최근 연구를 통해 목표를 갖고 대화하고 행동하는 판타지 게임 AI를 발표했다.
최근 들어 AI 기술 분야에선 자연 언어 처리 NLP 관련 연구가 빠르게 발전하고 있다. 또 게임 내 캐릭터를 조작하는 AI 기술도 AI 에이전트가 인간 톱 플레이어를 상대로 압승하는 발전을 이뤘다.
하지만 NLP 기술과 게임 캐릭터를 자율적으로 행동하게 하는 목표 지향적 에이전트는 지금까지 여럿이 아닌 개별 개체만을 대상으로 연구되어 왔다. 조지아공대 연구팀은 목표 지향 에이전트에 NLP 기술을 도입하면 다른 캐릭터와 대화하고 행동할 수 있는 AI를 개발할 수 있지 않을까 여겼고 FAIR이 개발한 AI 연구 텍스트 어드벤처 게임 라이트(LIGHT)를 이용한 연구를 시작했다.
연구팀은 먼저 온라인으로 모은 자발적 협력자를 대상으로 캐릭터에게 단기, 중기, 장기 목표를 1개로 정리한 퀘스트를 제공받아 라이트-퀘스트(LIGHT-Quests)라는 데이터세트를 만들었다. 라이트-퀘스트는 드래곤과 기사라는 캐릭터가 등장해 드래곤은 기사가 훔친 황금알을 되찾기, 되찾은 황금알을 자신의 보고에 모으고 어떤 드래곤도 만들어본 적 없는 보물산을 만드는 3단계 목표를 시계열별로 구체적인 행동과 함께 구성했다. 라이트-퀘스트에는 이런 퀘스트가 7,486건 수록되어 있다.
또 퀘스트에 따라 인간 플레이어와 AI간 대화로 행해 훈련용 데이터로 수집했다. 이런 대사는 라이트-퀘스트에 2만 2,672건이 수록되어 있다.
연구팀은 이런 라이트-퀘스트가 인간과 AI 행동, 대화 데이터를 수집하는 동시에 칼은 무기이며 왕은 왕족이므로 존경심을 갖고 대해야 한다는 등 판타지 세계 상식을 정리한 아토믹-라이트(ATOMIC-LIGHT)라는 데이터세트를 만들었다. 이어 강화학습을 통해 라이트-퀘스트와 아토믹-라이트 데이터세트를 통해 AI를 훈련시켰다.
이렇게 개발한 AI 에이전트는 판타지 게임에서 한 발언이나 행동을 목표 달성율과 인간에 의한 자연 평가로 평가한 결과 모두 높은 점수를 얻었다고 한다. 연구팀은 NLP와 목표 지향적 에이전트와 함께 이용해 자연스러운 행동을 보이는 AI 만들기에 성공한 이번 연구에 대해 강화학습은 목표지향적 문제를 해결하는 방법이지만 NLP와 결합 시도는 없었다면서 앞으로 이들을 효과적으로 결합해 AI 에이전트가 대화형 행동을 하거나 얘기할 수 있는 더 나은 방법을 찾아나갈 계획이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.