AI 어시스턴트인 코파일럿(Copilot)을 배포하고 있는 마이크로소프트는 기업이 쉽게 자체 AI 챗봇을 구축할 수 있는 도구인 코파일럿 스튜디오(Copilot Studio)를 제공하고 있다. 보안 기업 제니티(Zenity) 공동 창업자이자 CTO인 마이클 버갈리는 이런 코파일럿을 이용한 AI 챗봇이 악용되어 중요한 데이터가 도난당하거나 사이버 공격 발판이 될 위험성이 있다고 경고했다.
그는 지난 8월 개최된 세계 최대 규모 보안 콘퍼런스인 블랙햇 USA 2024에서 마이크로소프트 코파일럿 스튜디오를 사용해 만들어진 AI 챗봇 위험성에 대해 강연했다. 최근 많은 기업이 AI를 비즈니스에 도입하고 있으며 고객 서비스나 사내 직원 지원에 AI 챗봇을 도입하는 사례도 증가하고 있다. 코파일럿 스튜디오는 프로그래밍에 익숙하지 않은 사람도 코파일럿을 이용한 간단한 챗봇을 만들 수 있는 도구로 사내 데이터베이스나 비즈니스 문서와 연결하면 다양한 비즈니스 관련 질문에 답할 수 있게 된다.
하지만 코파일럿 스튜디오 기본 설정에 있는 문제로 인해 사내용으로 만든 AI 챗봇이 웹상에 공개되어 인증 없이 접근 가능해지는 경우가 많다고 한다. 버갈리는 인터넷을 스캔한 결과 이런 봇이 수만 개나 발견됐다고 말했다.
사내 데이터나 문서에 접근할 수 있는 AI 챗봇이 웹상에 공개되어 있는 경우 악의를 가진 사람이 AI 챗봇과 대화를 나눠 중요한 기밀 데이터를 노출시키고 사이버 공격에 악용할 위험성이 있다. 실제로 제니티 팀은 코파일럿 스튜디오로 만들어진 AI 챗봇을 악용해 대상 이메일 주소를 입수하고 스피어피싱 공격을 감행하는 데모 영상을 공개했다.
또 제니티 팀은 웹상에 공개되어 있는 코파일럿 스튜디오로 만들어진 AI 챗봇을 스캔하고 퍼징과 생성 AI를 사용해 기밀성이 높은 데이터를 추출하는 도구인 코파일럿헌터(CopilotHunter)도 소개했다. 버갈리는 AI 챗봇이 유용하기 위해서는 어느 정도 유연성이 필수적인 반면 그 유연성이 사이버 공격의 계기가 될 수 있다고 지적했다.
한편 제니티 팀은 강연 전 마이크로소프트에 연락했으며 이미 코파일럿 스튜디오로 만든 AI 챗봇이 기본적으로 웹상에 공개되는 문제는 수정됐다고 한다. 하지만 이 수정은 새로운 설치에만 적용되므로 이미 AI 챗봇을 만든 사용자는 직접 설정을 확인해야 한다고 한다.
마이크로소프트는 성명을 통해 자사는 협력적인 정보 공개를 통해 이런 방법을 식별하고 책임감 있게 보고해 준 것에 감사한다며 이런 보고를 조사하고 이런 종류 위협을 적극적으로 식별하고 완화해 고객 보호에 기여하기 위해 지속적으로 시스템을 개선하고 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.