AI로 생성한 이미지를 사용한 만화 저작권 문제가 미국에서 논란이 됐고 만화 설정이나 줄거리를 제안해주는 AI 서비스가 등장하는 등 AI는 그림이나 일러스트 생성 뿐 아니라 만화 작품 제작에도 활용되기 시작했다. 중국 바이트댄스와 난카이대 연구팀이 스토리가 있는 만화를 출력할 수 있는 AI 모델인 스토리디퓨전(StoryDiffusion)을 발표했다.
스토리디퓨전은 통일감 있는 만화 캐릭터를 출력할 수 있다. 예를 들어꾀꼬리, 다람쥐, 고슴도치 캐릭터를 순서대로 침대에서 일어나는고 아침식사 하고 길에 있는 등 프롬프트로 출력한 결과를 보면 캐릭터 조형이나 그림체가 거의 변하지 않음을 알 수 있다. 등장인물이 여러 명일 경우에도 일관성을 유지할 수 있다.
이런 기능을 통해 스토리디퓨전을 사용하면 스토리가 있는 만화를 생성할 수 있다. 예를 들어 튜링상을 수상했을 때라는 주제로 만화가 생성하면 남성 3명이 수상 소식을 듣고 회장에서 만나 알게 되는 내용 같은 게 나온다. 손 조형에는 아쉬움이 남지만 등장인물 외모는 일관성이 있다는 걸 알 수 있다.
연구팀은 스토리에 맞는 일련의 이미지를 생성하기 위해 스토리 텍스트를 프롬프트 여러 개로 나누고 해당 프롬프트을 바탕으로 해 이미지를 일괄 생성해 연결된 이미지 여러 장을 만들 수 있게 했다고 한다. 관련 내용은 이곳에서 확인할 수 있다.