메타가 7월 2일 60초 이내에 텍스트로부터 고품질 입체 형상과 텍스처를 갖춘 3D 에셋을 생성할 수 있는 메타 3D Gen을 발표했다. 메타는 3D Gen을 사용하면 기존보다 3~10배 빠른 속도로 3D 에셋을 생성할 수 있다고 밝혔다.
3D Gen이 생성한 3D 모델은 정면 뿐 아니라 측면과 후면도 고품질로 완성된다. 특징 가운데 하나는 입체 조형과 표면 텍스처를 모두 생성할 수 있다는 점이다. 텍스처도 프롬프트에 충실하게 생성할 수 있다.
3D Gen은 두 단계로 나누어 3D 모델을 생성한다. 첫 단계에서는 AssetGen으로 텍스트 프롬프트에서 물리 기반 렌더링(PBR) 소재를 사용해 3D 메시가 생성된다. 2D 개념을 3D 구조로 변환하는 어려운 작업이 여기서 이뤄진다. 메타는 이 과정을 AssetGen은 객체 셰이딩 뷰와 알베도 뷰 모두를 생성한다며 이 이중 접근 방식으로 자사 시스템은 더 정확하게 3D 구조와 재질을 추론하고 더 고품질 에셋을 얻을 수 있다고 설명했다.
두 번째 단계에서는 TextureGen에 의해 AssetGen이 생성한 텍스처가 개선된다. 이를 통해 뷰 공간과 UV 공간 생성 기법을 결합해 3D 모델 일관성을 유지하면서 프롬프트와 텍스처 조정이 이뤄진다.
보도에선 속도와 품질을 양립한 3D Gen으로 게임 개발자가 환경이나 캐릭터 프로토타입을 쉽게 만들 수 있게 되어 게임 개발 프로세스가 크게 가속화될 것이라면서 또 건축 회사는 텍스트 설명에서 건물에 대한 상세한 3D 모델을 만들어 설계 프로세스를 효율화할 수 있을 것이라고 지적하고 있다. 더불어 VR과 AR 분야에서도 몰입형 환경이나 객체를 쉽게 만들 수 있게 되어 메타버스 개발이 가속화될 수 있다는 평가다. 관련 내용은 이곳에서 확인할 수 있다.