텍스트로 고해상도 3D 모델 만들어주는 AI

엔비디아가 입력한 텍스트를 바탕으로 3D 모델을 생성하는 AI인 매직3D(Magic3D)를 발표했다. 매직3D가 생성하는 3D 모델은 구글리서치가 발표한 드림퓨전(DreamFusion)보다 8배 해상도를 자랑하며 생성에 걸리는 시간도 절반 정도라고 한다.

매직3D는 다양한 이미지 생성 AI와 마찬가지로 입력한 텍스트를 기반으로 고해상도 3D 모델을 제공한다. 또 처음 3D 모델을 생성한 프롬프트 일부를 바꿔 동일 구도로 다양한 변형을 추가할 수 있다. 참고 이미지를 입력해 이미지 스타일을 모방, 3D 모델을 생성하는 것도 가능하다고 한다.

매직3D는 3D 모델 생성에 2단계 프로세스를 채택한다. 먼저 입력된 텍스트를 바탕으로 고정밀 이미지 생성 AI인 eDifi를 이용해 2D 이미지를 생성한다. 그런 다음 엔비디아 인스턴트-NGP(Instant-NGP)를 이용해 2D 이미지에서 저해상도 3D 모델을 생성한다.

다음 단계에서 거친 3D 메쉬에서 고해상도 3D 모델을 합성하는 DMTet AI를 이용해 저해상도 3D 모델에서 고해상도 3D 모델을 추출한다. 매직3D에서 사용하는 DMTet는 이 목적을 위해 최적화되어 있다고 한다.

엔비디아는 구글리서치가 발표한 3D 모델 생성 AI인 드림퓨전과의 비교도 실시했다. 매직3D가 드림퓨전보다 8배 고해상도 3D 모델을 생성할 수 있으며 생성 시간은 드림퓨전이 평균 1시간 30분인 반면 매직3D는 평균 40분 정도라고 한다.

엔비디아는 특별한 학습을 필요로 하지 않고 모두가 3D 모델을 작성할 수 있게 되기를 바란다고 밝히고 있다. 매직3D가 더 정교해지면 게임과 가상현실 콘텐츠 개발이 더 빨라지고 결국 영화와 TV 특수 효과에 적용될 수 있다. 연구팀은 매직3D가 3D 모델 합성을 대중화하고 3D 콘텐츠 제작에서 모든 사람의 창의성을 개방할 것으로 기대한다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.