엔비디아가 발표한 eDiffi는 기존보다 높은 정밀도로 고품질 이미지를 자동 생성하는 AI 모델이다. 이런 eDiffi 텍스트와 페인트로 이미지를 생성하는 기능(paint-with-words)을 스테이블 디퓨전(Stable Diffusion)에 구현하는 기능(paint-with-words-sd)이 등장했다.
스테이블 디퓨전은 말 그대로 확산 모델로 불리는 AI 모델로 노이즈만 이미지에서 제거하는 과정을 반복해 이미지를 생성한다. 스테이블 디퓨전은 이 노이즈 제거를 단일 모델로 실시하고 있지만 eDiffi는 단계마다 다른 모델로 노이즈 제거를 실시하는 게 특징이다.
eDiffi 논문과 방법은 오픈소스가 아니며 모델도 일반 공개되어 있지 않기 때문에 그대로 사용할 수는 없다. 하지만 프롬프트 내용으로부터 노이즈 제거와 단순 결합에 인터럽트하는 방법(Cross-attension)은 스테이블 디퓨전과 공통점이어서 페인트위드워드를 구현할 수 있었다고 한다.
한편 이 기능 개발자는 오토매틱111 버전 스테이블 디퓨전 웹UI 확장 기능으로 개발하는 것에도 의욕을 보이고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.