구글 소프트웨어 엔지니어가 사진 1장과 카메라 인식을 이용하면 신경망으로 가상 유튜버 브이튜너(VTuber)로 자연스러운 움직임을 가능하게 만들어주는 시스템을 만들었다.
이 딥러닝 브이튜버 시스템은 애니메이션 캐릭터의 얼굴 이미지를 알고리즘에 입력하고 머리 움직임, 눈 움직임, 입 움직임 등을 슬라이더로 조정하면 이에 맞춰 변화하는 얼굴 이미지가 출력되는 시스템이다.
이 시스템을 얼굴 추적기와 연결해 이미지 1장은 카메라에 포착된 얼굴 움직임을 모방해 움직이게 된다. 물론 웹캠 뿐 아니라 기존 영상에서 얼굴 움직임을 전송하는 것도 가능하다. 물론 아직 몇 가지 한계는 있지만 이 시스템을 적용하면 캐릭터 모델을 만들지 않은 채 대화형 애니메이션을 생성할 수 있다. 브이튜버나 애니메이션 제작 비용을 크게 줄이는데 도움이 될 수 있는 것. 또 캐릭터 이미지를 직접 입력해 사용하고 직관적으로 캐릭터를 제어할 수 있어 사용하기도 쉽다는 장점이 있다. 관련 내용은 이곳에서 확인할 수 있다.