일러스트 입력하면 그린 듯 타입랩스를…

페인트-언두(Paints-Undo)는 일러스트를 입력하기만 하면 해당 일러스트 제작 과정을 타임랩스로 촬영한 것 같은 동영상을 출력할 수 있는 AI다.

페인트-언두는 이미지를 입력으로 받아 해당 이미지 그리기 시퀀스를 출력할 수 있는 AI 모델로 선을 그리거나 되돌리면서 시행착오를 거쳐 일러스트를 그리는 것 같은 동영상을 출력할 수 있다. 페인트-언두라는 이름은 일러스트를 제작할 때 자주 사용하는 되돌리기(Undo)에서 왔다고 한다.

개발자는 페인트-언두 데모 페이지에서 여러 입출력 예시를 소개하고 있다. 데모 페이지에서 입력에 사용된 이미지는 오리지널 인물과 저작권이 있는 캐릭터도 포함되어 있지만 모두 AI에 의해 생성된 이미지라고 한다.

실제 일러스트 제작에서는 러프에서 선화를 만든 뒤 이후 채색 단계에서 크게 외관을 바꾸지 않는 사람도 많지만 페인트-언두의 경우 채색이 시작된 단계에서도 완성 일러스트와 거리가 먼 게 특징이다. 인간에 의한 일반적인 작업 과정과는 다른 채색하면서 윤곽선 등도 다시 그리는 과정이 보이기 때문에 완전히 인간과 구별이 안 된다고 할 수는 없다.

최종적으로는 선과 색상 모두 입력한 일러스트와 비슷한 내용이 된다. 페인트-언두에서는 초기 밑그림 러프함을 지정해 제작 과정을 출력하는 것도 가능하다. 입력하는 이미지는 디지털 일러스트 스타일의 것뿐 아니라 아메리칸 코믹 스타일이나 게임 캐릭터 같은 것, 흑백 수채화 스타일 이미지도 가능한 것으로 보인다.

한편 사진에서 사실적인 일러스트를 만들거나 많은 인물이나 복잡한 배경이 포함되어 있거나 물보라 등 특수한 상황이거나 출력하는 데 어려움을 겪는 이미지도 있다고 한다. 또 제작 과정 타임랩스 스타일 동영상을 출력하지만 실제로 여기를 이 타이밍에 이렇게 다시 하는 일은 있을 수 없다는 식 장면도 포함될 수 있다.

페인트-언두는 2가지 모델(paints_undo_single_frame, paints_undo_multi_frame)을 조합하고 있다. 싱글 프레임 모델은 작품이 항상 1,000번 조작으로 완성된다고 가정하고 흰 캔버스에서 완성된 작품까지를 1,000개 단계로 나누는 AI 모델. 여기에 몇 번 Ctrl+Z(되돌리기)를 포함할지 시뮬레이션한 게 페인트-언두 타임랩스 동영상이 된다. 또 멀티 프레임 모델은 이미지 2장을 입력으로 받아 그 사이 16프레임 중간 이미지를 출력하는 것으로 싱글 프레임 모델에서 얻은 키 프레임을 보완하는 형태로 동영상으로 출력하고 있다.

사용 환경이나 설정에 따라 다르지만 한 이미지를 25초 동영상으로 변환하는 처리에 5분에서 10분이 걸린다고 한다. 또 데모는 엔비디아 지포스 RTX 4090나 지포스 RTX 3090 Ti 24GB VRAM에서 테스트됐으며 16GB VRAM에서도 작동할 수 있지만 8GB에서는 작동하지 않으므로 주의가 필요하다고 한다. 페인트-언두에 대한 자세한 내용은 깃허브에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.