영국 애니메이션 제작 스튜디오인 프리픽스스튜디오(Prefix Studios) 연구 개발 부문에 소속되어 있는 핵맨스가 이미지 생성 AI인 스테이블 디퓨전을 이용해 2D RPG 배경을 제작했다. 그가 영상에서 확인할 수 있는 게임 배경을 만드는데 사용한 도구는 스테이블 디퓨전 버전 1.5와 오토매틱 111, 알파카, 부스팅 모노큘러 뎁스, 어도비 서브스탠스 3D 디자이너, URP, 앰플리파이 셰이더 에디어 등이다.
그는 먼저 VFX 아티스트가 공개한 AI인 픽셀마인드AI(PixelmindAI)를 이용해 게임용 에셋을 생성하는 방법에서 소개된 프롬프트를 이용해 게임에 사용할 수 있는 사이버펑크 요소를 포함한 이미지를 생성했다. 첫 출력은 전체적으로 흐릿한 인상으로 그다지 뛰어난 이미지가 아니었기 때문에 스텝수를 올려 CFG(Classifier Free Guidance) 스케일을 바꿨고 더 나은 이미지를 출력하는데 성공했다고 한다.
이어 오토매틱 111 X/Y 플롯을 이용해 스텝과 CFG를 반복 처리했다. 그는 또 평소부터 포토샵을 이용했기 때문에 알파카를 이용해 스테이블 디퓨전에서의 이미지 생성을 실행했다. 생성된 이미지를 더 큰 캔버스에 배치하고 아웃 페인트 기능을 이용해 처음으로 생성한 이미지 이외 영역을 만들었다. 최종적으로 생성한 이미지를 img2img로 해상도 2배로 완성했다.
이어 게임 엔진인 유니티에서 이 이미지를 배경으로 사용하기 위해 이미지에서 조명을 제거하고 사용자 지정 셰이더를 통해 조명을 재배치했다. 부스팅 모노큘러 뎁스를 통해 이미지 깊이 맵을 만들었고 어도비 서브스탠스 3D 디자이너로 가져와 수정했다. 관련 내용은 이곳에서 확인할 수 있다.