크로마키 기술에 마젠타 조명 더해서…

크로마키 합성은 단색 화면을 배경으로 동영상을 촬영하고 배경색만 분리해 여기에 다른 영상을 합성하는 기술이다. 보통 그린백이라고 불리는 녹색 1개 스크린을 이용해 크로마키 합성을 한다. 이런 크로마키 합성 기술을 개선하는 아이디어를 넷플릭스 연구자가 발표해 눈길을 끈다.

크로마키 기술은 영화 촬영 기술이 진보하면서 세련되어 왔다. 하지만 오즈의 마법사 공개 80년 이상 지나도 크로마키 합성 기술은 완벽하지 않다. 영상 합성을 자연스럽게 하려면 적절하고 균형 잡힌 조명이 필요하다. 예를 들어 배경에 그림자가 떨어지면 배경색 일관성이 떨어지고 머리카락과 깃털 같은 미세한 물체 움직임을 정확하게 분리하는 게 어렵다. 더구나 배경색만 분리한다는 건 의상이나 소품색에 같은 색을 사용할 수 없다는 제약이 따른다.

넷플릭스 연구팀이 발표한 건 마젠타 그린스크린(Magenta Green Screen)이라는 크로마키 합성 접근법이다. MGS는 그린백이 아니라 배경 앞에서 연기를 하는 배우에게 빨간색과 파란색 LED를 조명으로 빛으로 비추는 게 포인트다. 디지털 카메라는 기본적으로 빨강, 초록, 파랑 3색으로 색채를 캡처하기 때문에 빨강과 파랑으로 피사체를 비추는 것으로 배경과 피사체를 명확하게 분리하기 쉬워진다. 연구팀은 이 방법은 이미지 투명성은 그 색만큼 중요하다는 주장을 존중하고 있다며 촬영한 녹색 색조로부터 투명성을 측정하고 AI를 이용해 자연스럽고 고품질 합성을 가능하게 할 수 있다고 말한다.

기계 학습을 이용해 모션블러에 최적화를 수행하면 녹색 부분은 사라진다. 연구팀은 MGS에서 얻은 알파 채널 데이터는 더 자연스러운 합성을 가능하게 하는 AI 학습에 도움이 되는 고품질 학습 데이터세트를 준비할 수 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.