단일 이미지로 0.3초 만에 225만 픽셀 3D 맵을…

애플 AI 연구팀이 AI 모델 뎁스 프로(Depth Pro)를 출시했다. 이 모델은 단일 이미지를 사용해 표준 GPU에서 225만 픽셀 3D 깊이 맵을 0.3초 만에 생성할 수 있다.

뎁스 프로는 기계가 깊이(depth)를 인식하는 방법을 크게 개선한 모델. 다른 방법으로는 놓치기 쉬운 머리카락이나 초목 같은 세밀한 디테일을 가진 물체 깊이도 정확하게 인식할 수 있으며 고해상도 깊이 맵을 단 0.3초 만에 생성할 수 있다는 점이 특징이다. 자율주행 차량 등 실시간으로 깊이를 추정하는 시스템에 응용될 수 있을 것으로 기대된다.

뎁스 프로는 단일 이미지만으로도 고해상도 깊이 맵을 생성할 수 있는 모델이다. 이 모델은 동물 털이나 새장 와이어 같은 세밀한 디테일을 포착하는 데 뛰어나며 225만 픽셀 깊이 맵을 단 0.3초 만에 생성할 수 있다.

보통 깊이 맵을 생성하려면 이미지 여러 개나 초점 거리 같은 메타데이터가 따로 필요했고 단일 이미지로 깊이를 추정하는 건 어려웠다. 뎁스 프로와 다른 깊이 추정 모델(Marigold, Depth Anything v2, Metric3D v2) 정확도를 비교한 이미지를 보면 다른 모델로는 포착하기 힘든 동물 털 등 디테일을 뎁스 프로는 빠짐없이 포착하고 있다. 풍차와 얼룩말 이미지를 분석한 결과도 제시됐다. 다른 모델은 얼룩말 이미지에서 몸체와 배경이 동화되는 모습이 보이지만 뎁스 프로는 선명하게 포착한다.

연구자들에 따르면 뎁스 프로는 상대적 깊이와 절대적 깊이를 모두 추정하는 메트릭 깊이라는 능력을 갖추고 있는 게 특징이라고 한다. 이 능력을 통해 가상 객체를 물리적 공간 내 정확한 위치에 배치해야 하는 증강 현실(AR) 같은 애플리케이션에 필수적인 실제 세계 측정값을 제공할 수 있다고 한다.

또 카메라에서 얻은 메타데이터 없이 이미지만으로 깊이 맵을 생성할 수 있는 것도 특징 중 하나다. 뎁스 프로를 응용하면 스마트폰 카메라를 방에 향하기만 해도 가구가 맞는지 확인하거나 자율주행 차량에 실시간으로 깊이를 추정하게 해 안전성을 향상시킬 수 있을 것으로 기대된다.

뎁스 프로 코드와 모델 가중치는 깃허브에서 공개됐다. 연구팀은 로봇 공학, 제조, 헬스케어 등 분야에서 뎁스 프로의 가능성을 찾아내는 걸 장려하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.