테크레시피

페이스북 “AR+입체음향 결합한 소리를…”

페이스북리얼리티랩리서치(Facebook Reality Labs Research)가 퍼셉추얼 슈퍼파워(Perceptual superpowers)라고 부르는 AR 시스템 세부 사항을 발표했다. 이 시스템은 AR과 입체 음향을 결합해 시각적으로 비유하면 안경에 홀로그램을 결합한 청각을 제공한다.

페이스북 측은 이 연구에 대해 붐비는 레스토랑이나 바에서 큰소리를 내지 않아도 다른 사람이 무슨 말을 하는지 어려움 없이 이해하고 대화할 수 있는 상황을 상상해달라고 표현하고 있다. 구체적으로 실제 단말을 착용하고 대화는 모습도 공개하고 있다. 이 대화에서 AR 안경 마이크는 음성을 포착하고 상황에 맞는 문맥을 사용해 중요한 소리를 판단하고 노이즈를 제거한 뒤 이어폰을 보낸다. 전화나 화상통화면 참가자와 목소리와 기타 음향을 방 특정 위치에서 나오는 것처럼 발하는 것으로 누군가와 함께 있는 것 같은 정도라는 것.

문맥을 읽기 전 지향성 센서와 안구 추적 카메라로 몸 방향과 시선 방향 같은 정보가 이용된다. 페이스북 측은 현실과 구별되지 않는 가상 소리와 인간 귀를 재정의하는 2가지를 목표로 내걸고 있다. 관련 내용은 이곳에서 확인할 수 있다.