악의적 AI 모델 실행하면 허깅페이스 시스템에 침입을…

보안 기업 위즈(Wiz)가 허깅페이스(Hugging Face)에서 악의적인 AI 모델을 실행하면 AI 모델을 통해 허깅페이스 시스템에 침입할 수 있는 취약점을 발견했다고 발표했다.

허깅페이스에는 AI 모델을 올리고 내려 받는 기능 외에도 업로드된 AI를 허깅페이스 시스템에서 쉽게 실행해볼 수 있는 인퍼런스 API(Inference API)라는 기능이 있다. AI 모델은 개발된 프레임워크에 따라 다양한 형식으로 저장되어 있다. 허깅페이스에는 다양한 형식의 AI 모델을 올릴 수 있지만 그 중에는 ‘pickle’처럼 원격 코드 실행이 가능하고 안전하지 않은 것도 있다.

위즈 측은 악의적인 AI 모델을 ‘pickle’ 형식으로 만들어 허깅페이스에 올리고 인퍼런스 API로 실행했다. 이 AI 모델은 일반 입력에는 정상 작동하지만 ‘Backdoor’라는 문구가 입력되면 셸 명령을 실행하도록 조정되어 있었다.

위즈 측은 이런 악의적인 AI 모델에 명령을 실행시켜 허깅페이스 시스템에 침입하는 데 성공했으며 권한 상승까지 이뤄져 전체 서비스를 장악할 수 있었다고 한다.

AI 모델을 실행하는 서비스(AI-as-a-Service)에서 악의적인 AI 모델은 큰 위험이 된다. 악의적인 AI 모델을 실행하면 시스템이 장악되어 자사나 다른 고객 데이터에 접근될 수 있고 악의적 AI 애플리케이션을 컴파일해 CI/CD 파이프라인을 장악해 공급망 공격을 당할 수도 있다.

허깅페이스는 이번 사태에 대해 ‘pickle’ 형식 모델에서 대부분 보안 문제가 발생했다며 운영 환경에서는 ‘pickle’ 형식을 사용하지 않겠다고 밝혔다. 또 위즈 클라우드 보안 서비스를 이용하는 등 안전성 제고 노력을 펼치고 있으며 앞으로도 AI 커뮤니티 보호와 보안 리더십을 이어나갈 것이라고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.