오픈AI가 개발한 대규모 언어 모델인 GPT-4는 공개된 취약점을 악용해 사이버 공격에 성공할 수 있다는 사실이 최신 연구를 통해 밝혀졌다.
미국 일리노이 대학교 어바나-샴페인 연구팀이 LLM에게 취약점을 악용하게 하는 연구를 수행했다. 구체적으로 공개된 취약점 데이터베이스 CVE를 LLM에 참조하게 하고 이를 악용, 사이버 공격에 성공할 수 있는지 검증했다. 그 결과 GPT-3.5, OpenHermes 같은 다른 LLM은 CVE를 활용한 사이버 공격에 성공하지 못했지만 GPT-4는 87% 확률로 사이버 공격을 성공시켰다. GPT-4 경쟁자인 클로드(Claude) 3나 제미나이 1.5 프로는 테스트에 포함되지 않았다.
공개됐지만 패치가 적용되지 않은 취약점을 원데이 취약점이라고 한다. 이 연구에선 LLM에 원데이 취약점 정보도 제공했다. GPT-4는 CVE에 접근할 수 있을 경우 87% 확률로 사이버 공격에 성공했지만 CVE 접근이 차단되면 성공 확률이 7%까지 낮아졌다. 그래도 GPT-4는 이론상 취약점을 이해할 뿐 아니라 자동화 프레임워크를 통해 익스플로잇 수행 절차를 자율 수행할 수 있다고 지적하고 있다.
CVE는 모두 15건이 LLM에 제공됐고 이 가운데 2건만 악용에 실패했다. 실패한 2건은 중국어 설명이 포함되어 영어 프롬프트로는 LLM이 혼란을 겪었을 수 있다. 또 사용된 CVE 중 11건은 GPT-4 학습 후 발견된 것이다.
연구팀은 사이버 보안 전문가 시급을 50달러로 가정할 때 LLM을 사용하는 게 이미 인력보다 2.8배 더 저렴하다고 지적했다. 더 나아가 향후 GPT-5 등 더 고성능 LLM이 등장하면 취약점 악용 및 발견 능력이 더 높아질 것으로 추측된다. 오픈AI는 연구팀에게 사용한 프롬프트 공개를 금지했고 연구팀도 이에 따랐다. 관련 내용은 이곳에서 확인할 수 있다.