인간 아티스트처럼 3D 모델용 메시 구축해주는 도구

지난 7월 2일 메타가 발표한 텍스트에서 3D 모델을 생성할 수 있는 3D Gen이나 오픈AI Shap-E 등 3D 모델을 쉽게 생성할 수 있는 AI가 있거나 영상이나 사진에서 재구성된 3D 모델이 배포되는 등 다양한 3D 모델을 쉽게 얻을 수 있다. 한편 수작업으로 만든 3D 모델과 달리 기계 생성된 건 3D 모델을 각 앱에서 운용하기 위한 메시가 크게 떨어진다. 싱가포르 난양공과대와 상하이 AI 연구소 등 연구자가 공동으로 만든 메시애니씽(MeshAnything)이라는 소프트웨어는 모든 3D 표현에 인간 아티스트가 만든 3D 모델에 버금가는 메시를 추가할 수 있다.

3D 모델은 AI에 의해 텍스트에서 생성하거나 객체를 읽어 재구성하는 형태로 생성할 수 있게 됐고 품질도 수작업에 의한 3D 모델에 버금가게 됐다. 다만 3D 모델은 기계적으로 픽셀간 거리를 계산하기 어렵다는 이유로 윤곽선을 그리는 것이 어렵다고 지적되고 있으며 3D 에셋을 다양한 앱에 적용하려면 메시로 변환해야 하는데 메시 자동 생성은 3D 모델 생성에 비해 발전이 더딘 편이다.

난양공과대 연구팀이 공개한 논문에 따르면 기존 메시 추출 방법은 표면적인 면에 의존하고 기하학적 특징을 무시하기 때문에 비효율성, 복잡한 후처리 필요, 표현 품질 저하라는 문제를 초래한다고 한다.

이에 이런 문제에 대처하기 위해 메시 추출을 생성 문제로 다뤄 지정된 형상에 맞춘 아티스트 제작 메시 그러니까 인간이 수작업으로 생성한 메시를 생성하는 모델로 만들어진 게 바로 메시애니씽이다.

메시애니씽에서는 먼저 지정된 3D 모델에서 포인트 클라우드를 샘플링하고 이를 피처(Feature)라는 단위로 인코딩한다. 피처를 자기회귀 트랜스포머에 입력해 형상 조건부 메시 생성을 실현하는 구조다.

기존 메시를 기계 생성하는 기술은 3D 모델을 작은 셀로 분할해 표면을 근사적으로 재현하는 방법이나 표면 기울기를 신경망으로 분석해 메시를 최적화하는 형태 등이 보통이다. 하지만 이 경우에는 요소가 밀집된 부분이 부자연스러운 메시가 되거나 형상 특성을 무시하고 표면적인 메시가 되는 등 문제가 있다. 메시애니씽은 복잡한 3D 형상 학습을 피하고 형상을 재구성하는 데 생성형 AI를 최적화하고 있기 때문에 학습 부담을 크게 줄이고 아티스트 손에 의한 것에 가까운 메시를 생성하고 있다고 한다.

메시애니씽 프로젝트는 논문으로 공개되어 있으며 깃허브에서도 확인할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.