AI 이용해 악성코드 생성하는 트로이목마 퍼즐

캘리포니아대학, 버지니아대학, 마이크로소프트 연구자가 깃허브 코파일럿(GitHub Copilot) 같은 AI 기반 코딩 어시스턴트 기능을 이용해 악의적 코드를 만들어내는 트로이 목마 퍼즐(TROJANPUZZLE)을 고안했다.

깃허브 코파일럿을 비롯한 코딩 어시스턴트 시작을 고려하면 AI 모델 학습 세트에 악의적 코드를 포함시켜 더 세련된 악성코드가 탄생하는 건 아닐까 생각하는 사람도 적지 않을 것이다. 기본적으로 코딩 어시스턴트 AI는 깃허브 같은 인터넷에 게시되는 소스 코드 리포지토리를 이용해 교육된다.

지금까지의 연구에선 코딩 어시스턴트 AI 학습 데이터로 선택될 걸 기대하고 퍼블릭 리포지토리에 악의적 코드를 의도적으로 포함해 AI 모델 학습 데이터 세트를 오염시키는 아이디어를 USENIX가 고안하고 있다.

USENIX 아이디어는 교육용 데이터세트를 악의적 코드로 오염시키는 게 코딩 어시스턴트 AI에 위협이라는 걸 보여주지만 이는 중요한 한계가 있다. 예를 들어 교육 데이터세트에서 악성코드를 제거할 수 있는 정적 분석 도구를 이용하면 데이터세트에서 쉽게 악성코드를 검색할 수 있다.

반대로 코드에 페이로드를 직접 포함하는 게 아니라 문서 문자열에 숨기고 트리거 구문이나 단어를 사용해 이를 활성화하는 아이디어도 USENIX가 제안하고 있다. 문서 문자열은 변수에 할당되지 않은 문자열로 보통 함수나 모듈 등이 어떻게 작동하는지 설명하고 문서화하는데 사용된다. 보통 정적 분석 도구는 문서 문자열을 무시하지만 코딩 어시스턴트 AI 모델은 이를 학습 데이터로 이용하기 때문에 여기에 악성코드를 포함하는 게 효과적이다.

물론 서명 기반 검출 시스템을 이용하면 문서 문자열에 숨겨진 악성코드도 제거할 수 있기 때문에 이 방법도 코딩 어시스턴트 AI를 오염시키는 완벽한 방법은 아니라고 지적됐다. USENIX가 제안한 방법은 코딩 어시스턴트 AI를 오염시키기에는 충분하지 않지만 마이크로소프트 연구자로 이뤄진 연구팀이 고안한 트로이목마 퍼즐에선 코드에 페이로드를 포함하는 걸 피하면서 학습 프로세스 중 페이로드를 숨겨 AI 모델 오염이 가능해진다는 것.

한편 트로이목마 퍼즐은 AI 모델이 페이로드를 통째로 학습시키는 대신 오염된 모델에 의해 만들어진 몇 가지 나쁜 예 중에서 템플릿 토큰이라는 특수 마커를 찾는다. 템플릿 토큰은 임의 단어로 대체하는 부분이기 때문에 AI 모델은 학습을 통해 템플릿 토큰 부분에 다른 문자열을 삽입하는 방법을 학습한다는 것. 그 결과 최종적으로 AI 모델은 램덤한 단어를 학습에서 발견한 악의 있는 토큰과 마음대로 대체하게 되어 이에 의해 페이로드가 구축되어 버리게 된다고 한다.

이 트로이목마 퍼즐을 검증하기 위해 연구팀은 리포지토리 1만 8,320개에서 수집한 파이썬 코드 5.88GB를 이용해 AI 모델을 교육하고 있다. 연구팀은 크로스 사이트 스크립팅, 패스트래버설, 신뢰할 수 없는 데이터 페이로드 디시리얼라이즈 등을 구사하고 코드 파일 8만 개에 악의적 파일 160개를 추가하며 단순한 페이로드 코드 주입 공격, 문서화 문자열 변환 공격, 트로이목마 퍼즐이라는 3가지 방법으로 AI 모델을 훈련했다.

이렇게 하면 페이로드 코드 주입 공격이나 문서 문자열 변환 공격보다 트로이목마 퍼즐 방식으로 AI 모델을 훈련시켰을 때 훨씬 더 악성코드를 생성하는 게 가능하다는 게 분명하다. 트로이목마 퍼즐을 사용할 때 악성코드를 생성하는 비율은 21%다.

하지만 트로이목마 퍼즐은 트리거 문구에서 가려진 키워드를 선택하고 생성된 출력에 사용하는 방법을 배워야 하기 때문에 AI 모델에서 재현하기 어렵다고 지적됐다. 또 트로이목마 퍼즐에선 프롬프트에 트리거 단어나 구문을 포함해야 하지만 연구팀은 소셜 엔지니어링을 이용해 프롬프트를 전파하거나 다른 프롬프트 오염 메커니즘을 채택해 트리거 단어를 포함하는 게 충분히 가능하다고 한다.

연구팀은 트로이목마 퍼즐 대책으로 악성 샘플을 포함하는 파일을 검색하고 필터링하는 방법을 제안한다. 또 자연어 처리 분류 도구와 컴퓨터비전 도구를 이용해 AI 모델이 교육 후 백도어가 됐는지 여부를 판단하는 것도 효과적이라고 한다. 관련 내용은 이곳에서 확인할 수 있다.