이석원 기자
페이스북 AI 리서치(Facebook AI Research)가 실제 스포츠를 촬영한 영상 중 인물의 움직임을 빼내 비디오 게임처럼 조이스틱으로 조작할 수 있게 해주는 AI 연구인 비드투플레이(Vid2Play)를 발표했다.
발표 자료에 따르면 연구팀은 포즈투포즈(Pose2Pose), 포즈투프레임(Pose2Frame) 2가지 신경망을 이용했다. 전자는 댄스나 테니스, 펜싱 등 특정 유형 작업에 대해 훈련된 것으로 배경 중 캐릭터의 움직임을 분리한 다음 조작할 수 있는 자세 데이터를 생성하는 것이다. 이런 다음 자세 데이터는 포즈투프레임이 처리한다. 캐릭터 본체와 그림자, 반사 같은 요소를 배경으로 삽입하고 키보드나 조이스틱으로 실제 선수를 조작하는 것 같은 영상을 출력해주는 역할을 한다.
신경망 훈련이라고 하면 보통 막대한 데이터량을 떠올린다. 하지만 이번에 쓰인 소재는 야외에서 경기하는 테니스 선수와 펜싱 실내 경기, 걷는 사람 영상 3개이며 각각 5∼8분 남짓으로 짧다. 이 정도 샘플로도 기존이라면 값비싼 모션캡처 장비나 시설을 이용해도 긴 시간이 걸리던 실사 캡처를 한 캐릭터 게임 같은 걸 실현할 수 있다는 얘기다.
연구팀의 목적은 게임 개발 지원을 위한 것이다. 현실적인 그래픽을 갖춘 비디오 게임을 만들 수 있는 길을 열기 위한 것. 또 유튜브 같은 동영상에서도 조작할 수 있는 캐릭터를 추출하면 가상현실이나 증강현실에도 쓸모가 있을 수 있다. 페이스북 산하 오큘러스 리프트용 게임 개발에도 도움이 될 수 있다.
지금은 캐릭터 움직임이 부드럽지만 다소 현실과 동떨어져 있고 발등이 바닥에서 미끄러지는 듯한 움직임 등 일부는 위화감이 있다. 더구나 팔다리 운동 범위도 한정되어 있다. 관련 내용은 이곳에서 확인할 수 있다.
정용환 기자
