챗GPT와 같은 채팅 AI는 입력된 프롬프트에 대응해 마치 인간이 쓴 것 같은 텍스트를 생성한다. 사이버 범죄자는 이런 기술을 이용해 수신자에게 맞게 최적화한 설득력 높은 가짜 이메일을 작성해 비즈니스 메일 사기 공격(BEC. Business Email Compromise) 성공률을 높이고 있다고 한다.
보안 기업 슬래시넥스트(SlashNext)에 따르면 사이버 범죄자는 모국어로 이메일을 작성한 뒤 번역하고 나서 챗GPT 등 채팅 AI에 문장을 세련하게 해 형식성을 높이고 있다고 한다. 이런 방법을 이용하면 특정 언어를 잘 조작할 수 없는 경우에도 피싱이나 BEC 공격을 할 때 설득력 있는 메일을 보낼 수 있다.
또 사이버 범죄자가 모이는 포럼에는 채팅 AI에서 기밀 정보 공개, 부적절한 콘텐츠 생성, 유해 콘드를 실행할 수 있는 출력을 실현하기 위해 만들어진 탈옥이라는 특수 프롬프트를 제공하는 스레드가 있다는 것.
더구나 사이버 범죄자는 악의적 목적으로 쉽게 사용할 수 있도록 사용자 정의된 자체 채팅 AI 모듈을 만들고 있다고 한다. 그 중 하나로 보고하는 건 웜GPT(WormGPT). 웜GPT는 2021년 개발된 GPTJ 언어 모델을 기반으로 한 AI 모듈로 무제한 문자 지원, 채팅 메모리 유지, 코드 포맷 기능 등을 갖추고 있다. 그 중에서도 악성코드 관련 데이터 소스에서 학습을 받은 것으로 보이지만 교육 절차에서 사용되는 데이터세트는 작성자가 비밀로 하고 있기 때문에 알 수 없다고 한다.
웜GPT에는 챗GPT와 같은 제한이 없으므로 설득력 있는 가짜 이메일을 쉽게 만들 수 있으며 초보자 수준 사이버 범죄자가 사용해도 위협이 될 수 있다는 경고다. 관련 내용은 이곳에서 확인할 수 있다.