컨트롤넷(ControlNet)은 스테이블 디퓨전 등 사전 학습이 끝난 모델에 대해 윤곽선이나 깊이, 이미지 영역 구분 정보 등을 추가해 출력을 지원하는 기술이다. 컨트롤넷을 이용하면 따로 불러온 이미지에 찍힌 선화나 인간 자세 등을 출력 결과에 반영할 수 있다. 이런 컨트롤넷을 복수 이용하는 멀티 컨트롤넷으로 실사 영상을 충실하게 애니메이션화한 영상이 레딧 등에 공개되어 눈길을 끈다.
스테이블 디퓨전과 컨트롤넷을 함께 이용하면 포즈와 구도를 높은 정밀도로 지정할 수 있다. 이런 영상은 컨트롤넷 여러 개를 이용해 생성하고 파라미터를 조정한다. 애니메이션은 부드럽지만 배경이 고정되어 있다. 애니메이션화에 사용한 애니메라이크25D(animeLike25D) 모델 데이터는 노이즈 제거 강도가 낮아도 실재 인물을 깨끗하게 애니메이션화할 수 있는 게 특징이라고 한다. 다만 이 모델 데이터는 격렬하게 몸을 움직이는 것 같은 영상을 애니메이션화하는 데에는 적합하지 않다고 한다.
관련 내용은 이곳에서 확인할 수 있다.