AI 발전에 의해 지금까지 텍스트를 입력하는 것만으로 3D 모델이나 동영상 등을 생성해주는 사이트나 툴이 많이 개발되고 있다. 이번에는 텍스트만 입력하면 자동으로 가구나 잡화를 포함한 3D 방을 생성해주는 텍스트2룸(Text2Room)이 깃허브에 공개됐다.
뮌헨공대 루카스 헬라인이 개발한 텍스트2룸은 주어진 텍스트 프롬프트로 실내 텍스처 3D 매쉬를 생성하는 걸 목적으로 한다. 3D 매쉬 생성 전 준비로 먼저 이미지 생성 AI인 스테이블 디퓨전을 활용해 입력한 프롬프트에 따라 실내 이미지를 다양한 각도에서 생성한다. 생성된 이미지에 대해 3D 매쉬를 렌더링해 해당 부분 RGB 렌더링, 깊이 맵을 만든다. 이런 처리를 실시한 이미지에 대해 매쉬 필터나 심도에 관한 얼라인먼트를 실시해 모든 이미지를 하나로 정리한다.
이후 입력한 프롬프트에 맞는 적절한 카메라 위치를 샘플링해 일체화시킨 이미지 공백이 되어 있던 영역을 텍스트2룸이 보완한다. 이런 다음 가구 레이아웃과 같은 실내 주요 부분을 만든다. 그리고 프롬프트에 따라 방 전체를 커버하는 가구와 가전, 잡화 등을 렌더링한다. 결국 보완할 수 없던 빈 영역을 나중에 샘플링해 실내 완벽한 텍스처가 있는 3D 매쉬가 완성된다.
텍스트2룸에 대해 개발하는 텍스트 전용 입력으로 매력적인 텍스처 룸 스케일 3D를 생성할 수 있는 첫 도구라고 강조하고 있다. 관련 내용은 이곳에서 확인할 수 있다.