영화 배경 기술은 어떻게 진화해왔을까

손그림에서 디지털로…. 영화 배경 기술은 어떻게 진화해왔고 AI 시대에는 어떻게 될까. 텍스트만으로 고품질 이미지나 동영상을 출력할 수 있는 생성형 AI가 등장하면서 AI가 중국에서 일러스트레이터 일자리를 빼앗기 시작했다는 보고나 생성형 AI가 게임 개발 방식을 크게 바꾸고 있다는 등 고도의 작업 수준에서 생성형 AI가 활용되는 사례가 많이 확인되고 있다.

영상 제작에선 실사 영상과 배경화를 합성하는 매트라는 기술을 사용한 매트페인팅에서 3D CG 배경 합성으로 진화해왔지만 AI가 업계를 변화시킬 새로운 단계가 될 가능성이 높아지고 있다. 영화 배경 기술에 관한 진화 역사와 AI가 이를 어떻게 변혁할 수 있을까.

매트페인팅이란 손그림을 광학 합성해 실사와 배경을 결합하는 기술. 1939년 개봉한 오즈의 마법사를 예로 들어 실제 존재하는 연기자를 실제 세트가 아닌 배경 일러스트와 결합했다.

전문 매트페인터에 따르면 초기 손그림 스타일에서 디지털로의 이행은 여러 단계를 거쳤는데 처음 큰 영향을 미친 건 어도비 포토샵 존재였다고 한다. 포토샵은 레이어를 관리할 수 있다는 점에서 혁신적이었고 배경을 1장 그릴 때도 합성할 실사 영상 앞부분과 뒷부분을 입체적으로 구성할 수 있게 됐다. 자유로운 색상, 편리한 브러시를 활용하면서 배경과 전경을 따로 편집할 수 있어 손그림 배경에 혁신적인 변화를 가져왔다.

다음으로 유행한 건 여러 사진을 조합하고 가공해 일러스트 1장을 만드는 포토배싱(Photobashing)이라는 기법이다. 배경을 손그림으로 완성하는 게 아니라 실제 사진을 결합해 만들기 때문에 보다 쉽게 실감나는 배경을 만들 수 있었다.

배경을 그리지 않고 사진을 결합하여 가공하는 포토배싱에 대해 매트페인터는 어떻게 받아들였을까. 일부 매트페인터는 포토배싱을 의심스러워했으며 기술이 변화하는 시기에는 일반화되기 전까지 새로운 기술이 부정행위로 여겨지는 게 일반적이라고 말한다.

다음 배경 기술 단계는 2D 레이어를 3D 공간에 배치하는 기법으로 2.5D라고 부른다. 영화 아이언맨 3에서는 3D 공간에 구름과 하늘, 해안선을 그려 넣어 입체적인 배경을 만들었다. 3D 공간에 배경을 그려 넣어 거기에 실사 영상을 합성했을 때 아이언맨이 구름을 가르며 날아가 해안선에서 멀어지는 입체적인 동작을 연출할 수 있었다.

아이언맨 3가 개봉된 2013년 즈음에는 고품질 3D가 자리 잡았지만 일부 배경에는 2.5D가 활용됐다. 3D 배경 모델을 사용해 동작을 시뮬레이션하는 것보다 3D 공간에 직접 그리는 편이 훨씬 저렴하고 쉬웠기 때문에 단순한 장면이나 짧은 컷 아니면 3D로 만들기 너무 어려운 광활한 원경 등에는 매트페인터가 직접 그린 배경을 입체적으로 배치하는 2.5D 합성법이 더 낫다고 한다.

하지만 이후 3D 기술이 발전하면서 3D 공간에 직접 그리는 것만큼이나 혹은 그보다 쉽고 빠르게 같은 배경을 만들 수 있게 됐다. 킷배시3D(KitBash3D)가 제공하는 3D 에셋은 드래그앤드롭만으로도 기본 배경이나 아이템을 준비할 수 있어 예전에는 만들기 힘들었던 대량 건물 군집 등도 포토배싱으로 사진을 오려붙이는 것보다 쉽게 완성할 수 있게 됐다.

배경 기술 변화에 대해 2D에서 3D로 이행하면서 렌더링과 컴퓨팅 비용도 이전보다 저렴해지고 사용하기 쉬워져 매트페인터를 비롯한 2D 아티스트 필요성은 점점 줄어들고 있다고 할 수 있다. 다음 단계로 가능성이 있는 게 바로 생성형 AI다.

생성형 AI는 상상한 것 그대로 그리기는 어렵고 대개 엄청난 프롬프트와 수천 장 출력을 거치는 시행착오, 세밀한 수정 작업 등 반복적인 과정이 필요하다. 하지만 손으로 그리는 것에 비해 압도적으로 빠르고 쉽게 고품질 이미지를 생성할 수 있다. 그러나 작품 제작에 생성형 AI를 활용하는 건 아직 개인 크리에이터 수준에 그치고 있으며 할리우드에서 생성형 AI를 제작에 활용한 사례는 없다. 그 이유로 품질이 아직 완전하지 않다는 점, 학습 데이터 소유주가 불분명해 제작한 이미지 소유권이 모호하다는 합법성 문제를 들었다. 하지만 지금까지의 기술 혁신과 마찬가지로 생성형 AI 또한 결국에는 새로운 기술로 자리 잡고 차기 영화 기술 단계가 될 것이라는 전망이다.