오픈AI의 대화형 AI인 챗GPT(ChatGPT)는 질문이나 요구에 대해 마치 인간처럼 고정밀 답변을 해 화제를 모으고 있다. 이미 구글 코딩 시험에 합격했다거나 경영학 석사 과정 최종 시험에서 합격점을 받는 사례가 보고됐다. 이런 챗GPT에는 불법 콘텐츠 생성을 차단하는 기능이 탑재되어 있지만 사이버 보안 기업인 체크포인트 소프트웨어(Check Point Software) 연구팀에 따르면 해커가 챗GPT 제한을 회피하고 악성코드를 만들 수 있게 하는 서비스를 판매하고 있다고 보고했다.
챗GPT는 질문이나 요청에 대해 인간을 모방한 답변을 할 수 있으며 사용자는 문서와 프로그래밍 코드를 생성할 수 있다. 하지만 인터넷에서 사용할 수 있는 챗GPT는 잠재적으로 불법 콘텐츠 생성을 차단하는 제한이 있으며 장치를 해킹하고 데이터를 훔치기 위한 코드, 피싱 메일 문장 작성을 요청해도 이런 콘텐츠는 불법, 비윤리적, 유해로 판단해 경고하고 거부한다.
하지만 해커는 이런 챗GPT 제한을 회피하기 위해 앱을 구축하는 개발자 등에게 제공되는 오픈AI API를 이용하는 방법을 고안했다. 인터넷 버전 챗GPTQ에는 불법 콘텐츠 생성을 차단하는 기능이 탑재되어 있지만 API에는 거의 부정 행위 방지책이 실시되지 않고 챗GPT에서 피싱 메일이나 멀웨어 코드 등 악의적 콘텐츠를 생성할 수 있다고 한다.
체크포인트 측에 따르면 다크 포럼에선 오픈AI API 키를 메시징 앱인 텔레그램 등 외부 애플리케이션에 통합해 악의적 콘텐츠를 생성 가능하게 한 서비스가 판매되고 있다고 한다. 텔레그램봇을 통해 챗GPT를 이용해 피싱 메일 문면을 생성시킬 수 있고 멀웨어 코드 생성도 가능하다. 한 포럼에서 판매되는 서비스는 API와 텔레그램 앱을 결합한 것으로 처음 20개 쿼리까지는 무료로 이용할 수 있으며 이후에는 100개 쿼리당 5.5달러 요금이 필요하다.
체크포인트 측은 2022년 12월부터 2023년 1월 사이 챗GPT를 개입시켜 멀웨어나 피싱 메일을 생성하는 게 비교적 간단했지만 최근 챗GPT 악용 방지 메커니즘이 크게 개선되면서 사이버 범죄자는 규제가 훨씬 적은 API로 전환했을 것이라고 지적했다.
보도에선 악성코드와 피싱 메일을 만드는 건 챗GPT가 유해한 콘텐츠를 전 세계적으로 훼손하는 판도라 상자를 열고 있다는 것에 불과하다며 예를 들어 개인 정보 침해, 잘못된 정보 생성, 학교 과제 생성 등 문제를 지적하고 있다. 관련 내용은 이곳에서 확인할 수 있다.