바디픽스(BodyPix)는 구글이 공개한 기계학습 모델인 텐서플로우(TensorFlow.js)를 활용한 새로운 분할 기법이다. 사람과 배경을 구별할 뿐 아니라 인체를 24개 부분으로 나눠 인식하는 것도 가능하다.
뉴욕대학 ITP(Interactive Telecommunications Program) 연구팀이 개발한 바디픽스를 이용해 인물을 인식하면 머리와 몸통, 사지 뿐 아니라 좌우 팔다리 구분 등 인체를 24개 파트별로 분류할 수 있다. 바디픽스가 세분화하는 건 크게 2단계로 나뉘어져 있다. 첫 단계인 인물과 배경 구분에선 먼저 바디픽스 알고리즘이 영상을 픽셀 단위로 분석해 픽셀별로 인물 일부일 가능성을 0에서 1까지 점수로 평가한다. 전체 중 인물로 간주해야 할 점수 임계값을 결정하고 그 값 이하를 0, 그렇지 않으면 1로 정해 인물을 뽑아낸다.
다음은 몸통 구별이다. 픽셀별로 어떤 파트에 속해 있는지 판단한다. 2월 바디픽스를 처음 선보였을 당시만 해도 사용자 1명만 처리할 수 있었지만 11월 업데이트에선 여러 인물로 실시간으로 알아볼 수 있게 됐다고 한다.
바디픽스의 가장 큰 특징 중 하나는 특별한 장비가 필요하지 않고 노트북에 붙은 웹캠이나 스마트폰 카메라로도 실시간 동작한다는 것이다. 바디픽스 자체도 깃허브에 공개되어 있으며 클라우드를 통한 어딘가 서버에서 처리하고 있는 것도 없어 PC나 스마트폰 하나만 있으면 작동한다.
연구팀은 이전에도 실시간으로 사람의 자세를 인식할 수 있는 포즈넷(PoseNet)을 개발한 바 있다. 연구팀은 바디픽스와 포즈넷을 통해 일반 PC와 스마트폰을 이용해 촬영실이 아닌 야외에서도 쉽게 모션캡처를 할 수 있다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.