보안 기업이 제이프로그(JFrog)가 기계학습 모델 배포에 사용되는 AI 개발 플랫폼인 허깅페이스(Hugging Face)에서 호스팅된 모델을 조사한 결과를 발표했다.
다른 기술과 마찬가지로 AI 모델에 대해서도 적절하게 다루지 않으면 보안 위험이 발생한다. AI 모델을 배포할 때 사용되는 파일 포맷 중 일부는 파일을 올릴 때 코드가 실행되므로 악의적 공격자가 임의 코드를 실행할 수 있다.
제이프로그가 대표적인 파일 포맷을 정리한 표에 따르면 여러 파일 포맷(pickle, dill, joblib, Numpy, TorchScript, H5/HDF5, ONNX, POJO, MOJO)에서 코드 실행이 이뤄질 수 있다고 한다. 물론 허깅페이스 측도 악의적 공격자에 대한 대책으로 세이프텐서(SafeTensors)라는 안전성이 높은 파일 포맷을 개발하거나 보안 스캔을 실행해 악의가 있는 코드, 안전하지 않은 역직렬화, 기밀 정보 유출을 감지해 사용자에게 경고한다. 하지만 허깅페이스 스캔 대상은 일부 포맷 뿐이며 경고는 어디까지나 경고이며 사용자는 여전히 자기 책임으로 파일을 다운로드할 수 있다.
제이프로그 측은 허깅페이스의 새로운 위협을 빠르게 탐지하기 위해 새로 올린 모델을 매일 여러 번 엄격하게 검사하는 메커니즘을 갖추고 보안 검사를 실시했다. 그 결과 저장소 100건에서 악의가 있는 모델이 발견됐으며 그 중 95건은 파이토치(PyTorch) 모델, 나머지 5건은 텐서플로(Tensorflow) 모델이었다고 한다.
제이프로그는 또 무해해 보이는 모델을 다운로드했음에도 불구하고 악의적 코드를 실행해 버리는 취약성이 존재하는 걸 지적하며 기계학습 엔지니어 등 특정층을 겨냥한 공급망 공격에 대한 대책 필요성을 호소했다. 관련 내용은 이곳에서 확인할 수 있다.