인공지능으로 사진에 찍혀 있는 사람이나 사물을 자동 식별해 지금까지 인간 밖에 할 수 없던 다양한 작업을 기계로도 할 수 있게 됐다. 하지만 첨단 AI조차 필기 노트만으로 간단하게 속일 수 있다는 걸 발견하는 등 이미지 인식 AI에 있는 뜻밖의 약점을 지적하고 있다.
AI 개발 연구소인 오픈에이아이(OpenAI)는 이미지 분류 모델인 클립(CLIP)을 발표한 바 있다. 클립은 이미지 뿐 아니라 자연어에서 이미지 표현을 학습해 나가는 부분이 가장 큰 특징. 사과라는 문자를 보고 사과 이미지를 떠올리는 인간에게는 당연한 생각이 AI도 가능하다.
하지만 문자에서 이미지를 떠올리고 태그를 분류하는데 도움이 되는 건 문자 그대로 이미지에 직결되어 버리기 쉽다는 약점이 있다. 따라서 클립에는 필기로 쉽게 AI를 속일 수 있는 활판 인쇄 공격이 효과적이라는 점을 오픈에이아이도 인정하고 있다.
예를 들어 이미지 속 사과는 제대로 인식할 수 있지만 아이팟이라고 필기 메모를 더하면 사과는 거의 아이팟으로 인식되어 버린다. 오픈에이아이는 이 같은 오인식이 클립은 고급 추상을 통한 분류를 실시하기 때문에 일어난 것이라고 설명하고 있다.
AI 이미지 인식을 속이는 방법은 지금까지도 많이 연구되고 있다. 예를 들어 구글 연구원은 2018년 화상 인식 AI를 스티커 단 1장으로 혼동시키는 방법을 발표했다. 또 카메라로 촬영한 주변 영상에서 화상 인식을 하고 자동운전을 실행하는 테슬라 자율주행 시스템에 대해 백선을 본뜬 스티커를 도로에 붙이는 것만으로 차선을 마음대로 변경하는데 성공했다는 보고도 있다.
AI 이미지 인식을 속일 적대적 이미지 존재는 미래에는 그대로 이미지 인식을 응용하는 시스템 취약점이 될 수 있다. 또 구글 이미지 인식 AI가 흑인을 고릴라로 인식해 개발자가 사과하는 사건도 있었다. 이렇게 이미지에서 직접 태그하는 건 안이한 이미지 결합으로 이어져 AI가 편견을 내포할 가능성이 있다.
사실 클립에선 테러와 중동을 연결하는 신경이나 라틴아메리카와 이민을 연결하는 신경, 검은 피부 사람과 고릴라를 연결하는 신경이 발견되고 있다. 오픈에이아니는 이런 편견에 연결되는 연결은 거의 가시화되지 않기 때문에 사전 예측이 어렵고 수정이 어려울 수 있다고 말한다.
클립은 어디까지나 실험적 시스템이며 오픈에이아이는 클립에 대한 이해는 아직 개발 단계라고 밝히고 있다. 이런 점에서 삶을 AI에게 맡기기 전에 먼저 AI를 분해해 그 구조를 이해할 필요가 있다는 지적이 나온다. 관련 내용은 이곳에서 확인할 수 있다.