구글이 모바일용 기계학습 소프트웨어 라이브러리인 텐서플로우 라이트(TensorFlow Lite)와 신경망 추론 최적화 라이브러리(XNNPACK)를 고속화해 추론 속도를 크게 높였다고 보고했다.
스파스(Sparse)는 척척을 의미하는 말이다. 빅데이터 등 해석에선 데이터 전체는 대규모지만 의미 있는 데이터는 극히 일부 밖에 없는 상황이 많다. 스파스 모델링은 이런 성질을 가진 데이터를 취사선택하고 의미 있는 데이터만 분석하는 방법론에서 MRI와 X선, CT 해상도 향상과 입체 구조 계산 고속화와 고정밀화 등에 이용되고 있다.
구글이 새로 발표한 모바일용 기계학습 소프트웨어 라이브러리인 텐서플로우 라이트와 신경망 추론 최적화 라이브러리를 업데이트하고 새로운 스파스 모음 조각을 실현했다는 것. 새 업데이트로 해석 대상이 되는 모델이 스파스인지 여부를 검출할 수 있게 추론 속도 대폭 향상을 달성하는 게 가능하다.
화상회의 응용 프로그램인 구글 미트 실시간 처리에 있어선 기존 모델보다 스파스 모델은 낮은 처리 시간과 높은 FPS를 실현하고 있다. 구글에 따르면 피사체 영상 품질을 유지하면서 70%를 희소화해 처리 속도를 30% 빠르게 하는 데 성공했다고 한다.
마찬가지로 손 형상 검출 모델(MediaPipe Hands)에서도 희소화를 통해 50% 속도 향상을 달성했다. 기존 모델에선 처리 속도가 60ms 전후지만 희소화 모델은 기존 모델보다 조금 빠른 25ms 미만이라는 속도에 도달했다.
구글은 스파스화가 신경망 CPU 추론을 개선하는 간단하고 강력한 기술인 만큼 앞으로도 이런 종류 연구를 계속할 예정이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.