3D 모델 생성 AI, 오픈소스로 누구나 다운로드 가능

이미지 생성 AI인 달리2와 텍스트 생성 AI인 GPT-3, 대화형 AI인 챗GPT(ChatGPT) 등을 개발하는 연구 단체 오픈AI(OpenAI)가 텍스트로 3D 객체를 생성하는 AI인 포인티(Point-E)를 오픈소스화해 소스 코드를 깃허브에 올렸다.

포인티는 주로 텍스트에서 이미지를 생성하는 모델과 이미지에서 데이터를 생성하는 모델 2가지로 이뤄진다. 텍스트에서 이미지를 생성하는 모델은 스테이블 디퓨전, 달리2 같은 이미지 생성 AI와 마찬가지로 레이블이 지정된 이미지 데이터세트에서 텍스트와 시각적 개념 연관성을 이해하는 모델이다. 그리고 이미지에서 점 군집 데이터를 생성하는 모델은 3D 오브젝트와 세트가 된 이미지 데이터세트로부터 양자의 효과적 변환을 학습한 모델이다.

포인티가 생성한 3D 객체는 다각형을 결합한 게 아니라 공간상 데이터 점 이산적 집합 그러니까 입자를 굳게 굳힌 것 같은 점 군집 데이터로 생성된다. 따라서 포인티에는 점 군집 데이터를 다각형 메쉬로 변환하는 모델도 포함되어 있다. 점 군집 모델은 폴리곤 메쉬보다 고속으로 생성할 수 있기 때문에 3D 오브젝트 생성이 기존보다 600배 이상 고속화됐다고 한다. 지금까지 엔비디아 V100에서 몇 시간이나 걸리던 계산이 불과 1∼2분 만에 끝나게 되는 게 포인티의 큰 장점이라는 것이다.

다만 물체에 대한 세세한 형상이나 질감을 파악할 수 없다는 단점이 있어 형상 일부가 아무래도 블록 형상이 되거나 왜곡되어 버리기도 한다. 포인티 중 텍스트에서 점 군집 데이터를 생성하는 부분은 온라인 AI 플랫폼 허킹페이스(Hugging Face)에서 체험해볼 수 있다. 다만 현재는 처리 순서 대기가 길기 때문에 데모로 준비되어 있는 키워드 생성에 상당한 시간을 필요로 하는 상태다. 관련 내용은 이곳에서 확인할 수 있다.