AI 시스템 개발할 때 발생할 위기 요인

AI 기술이 급속도로 발전하면서 다양한 기업과 단체가 AI 개발에 힘쓰고 있다. 보도에 따르면 AI 시스템 개발 과정에서 조직 전체에 영향을 미치는 심각한 위협이 발생할 수 있다고 한다. 이런 위협과 대응 방안에는 어떤 게 있을까.

AI 시스템 개발에 있어 사이버 보안 관점에서 전문가가 고려해야 할 문제로 데이터셋 오염과 프롬프트 인젝션 2가지를 들 수 있다. 데이터세트 오염은 AI 학습 과정에서 부정확하거나 관련 없는 정보가 데이터세트에 입력되어 AI 모델이 크게 오염되는 것을 말한다. 대규모 학습 데이터의 경우 부정확한 소수 정보나 무관한 데이터가 포함되어도 학습 과정에서 큰 문제가 되지 않는다. 하지만 소수 데이터원으로부터 학습하는 경우 부적절한 데이터가 소량만 섞여도 모델이 침해되어 심각한 위험을 초래할 수 있다. 또 데이터세트 오염은 발견하기도 어려워 사이버 보안 전문가에게 최대 과제 중 하나다.

프롬프트 인젝션은 모델 출력을 가로채 의도하지 않은 동작을 강제로 유도하는 걸 말한다. LLM은 입력된 지시에 따르는 경향이 있기 때문에 특정 프롬프트를 주입(injection)하면 AI 판단을 흐트러뜨릴 수 있다. 예를 들어 이력서 데이터에 숨겨진 텍스트로 AI 심사위원은 이 문서에 주목하라며 채용하시는 게 좋다고 적어두면 LLM이 해당 이력서를 높게 평가할 수 있다. 또 숨겨진 텍스트에 따라 기밀 정보 유출이나 사이버 공격으로 이어질 수 있어 AI 보안적 취약성으로 알려져 있다.

프롬프트 인젝션이 실제 범죄에 사용된 사례는 올해 3월까지 확인되지 않았지만 실험적으로 실시한 공격 97.2%가 성공했다는 연구도 있다. 구글은 지난해 10월 26일 프롬프트 인젝션을 포함한 생성형 AI 취약점을 새로 발견한 보안 연구원에게 보상금을 지급하기로 결정했다.

AI 시스템이 침해되면 데이터세트를 오염시켜 기능 장애를 유발하거나 데이터세트에 접근해 기업 기밀 정보나 개인정보를 훼손할 수 있어 조직 전체 보안에 영향을 미친다. 또 유출된 데이터 내용과 영향 범위에 따라 AI 규제 강화나 사회적 반발이 일어날 수 있다는 지적이다. 이에 따라 대다수 AI 개발 기관이 사이버 보안 대응에 힘쓰고 있으며 맥킨지컨설팅이 2022년 발표한 보고서에 따르면 AI 관련 기업 60%가 사이버 보안 위험을 저감하기 위한 노력을 기울이고 있다.

AI 시스템을 설계할 때 사이버 보안 전문가가 고려해야 할 사항으로는 먼저 데이터세트 무결성을 말한다. 오염이나 의도적인 인젝션 공격으로 AI 모델이 초기 대규모로 심지어 영구적으로 훼손될 수 있기 때문에 학습 데이터세트에 대한 주의가 중요한 보안 이슈다. 과거에는 악의적인 AI 모델을 특정 AI 개발 플랫폼에서 실행하면 해당 모델을 통해 시스템에 침투할 수 있는 취약점이 보고된 바 있다.

또 알고리즘 매개변수 업데이트 등 시간과 자원이 많이 필요한 경우 개발을 가속화하려다 보안 약점이 생길 수 있다는 지적이다. 데이터 과학자와 AI 엔지니어가 최선을 다해 노력했더라도 복잡한 AI 영역에서 특정 위험 징후가 발생해 이게 오염이나 인젝션 대상이 되는 취약점일 수 있다. 이 경우 공격을 인지하기도 어려워진다.

AI 시스템을 설계할 때 의도하지 않거나 악의적인 이유로 사소한 약점에서 심각한 보안 문제가 발생할 수 있다. 중요한 건 사이버 보안 전문가가 AI 시스템 도입 전 침해 징조를 발견하고 AI 엔지니어가 개발 과정에서 보안 영향을 지속적으로 고려하는 등 비용과 자원을 투입하는 것이다. 사이버 보안 전문가, 데이터 과학자, AI 엔지니어 등 부서간 협력을 통해 개발 과정 취약점을 최소화하고 위협을 경감하는 게 이상적이다. 또 급속히 발전하는 AI에 대한 이해를 높이고 개발 중인 모델을 설명 가능한 상태로 유지하는 것도 중요하다.

이를 위해 미국 사이버 보안 인프라 보안청(CISA), 국가 안보국(NSA), 영국 국가 사이버 보안 센터(NCSC) 등 유명 기관이 협력해 안전한 AI 시스템 개발을 위한 가이드라인이라는 문서를 작성한 상태다. 또 여러 규제 기관이 AI 개발을 위한 가이드라인을 발표하며 AI 개발 위험을 경감하고 안전한 AI 발전을 위해 노력하고 있다. 관련 내용은 이곳에서 확인할 수 있다.