다양한 질문에 대해 정확한 답변을 제공하는 생성 AI가 등장하면서 학생이 AI를 사용해 과제를 수행할 가능성이 문제시되고 있다. 이런 문제에 대처하기 위해 채팅 AI인 챗GPT를 개발한 오픈AI가 챗GPT로 작성된 문장을 99.9% 정확도로 감지할 수 있는 도구를 개발 중이라는 사실이 보도를 통해 밝혀졌다.
챗GPT 같은 고정밀 문장을 출력할 수 있는 생성 AI가 등장하면서 문장 작성을 AI에 전적으로 맡기는 이들이 늘고 있다. 2023년 1월 기준으로 미국 스탠포드 대학 학생 중 17%가 과제나 시험에 챗GPT를 사용하고 있다는 사실도 밝혀졌으며 이런 문제에 대처하기 위해 AI가 작성한 문장을 감지하는 도구가 개발되고 있다.
챗GPT 개발사인 오픈AI도 2023년 1월 AI 생성 텍스트를 감지하기 위한 도구인 AI 텍스트 클래스파이어(AI Text Classifier)를 발표했다. 하지만 AI 생성 텍스트 감지 도구가 영어가 모국어가 아닌 사람이 쓴 글을 AI에 의해 작성된 것으로 오탐지한다는 지적이 있다. AI 생성 콘텐츠를 감지하기 위한 도구가 AI를 사용하지 않은 사람 콘텐츠를 AI 생성 콘텐츠로 오탐지해 부정행위 누명을 씌우는 사례도 보고되고 있다.
이에 오픈AI는 기존 AI 생성 텍스트 감지 기술과는 근본적으로 다른 텍스트에 워터마크를 삽입해 챗GPT로 작성된 문장을 감지하는 기술을 개발 중이라는 사실이 보도로 밝혀졌다. 이는 챗GPT가 단어를 선택하는 방식에 작은 변경을 가하는 것만으로 실현될 수 있다고 한다. 기본적으로 챗GPT 출력에 눈에 보이지 않는 워터마크를 추가하고 나중에 전용 도구로 감지할 수 있게 하는 것으로 감지 정확도는 99.9%로 매우 높다고 한다.
보도 이후 오픈AI는 자사의 AI 생성 콘텐츠를 감지하는 기술에 관한 연구를 전하는 블로그 글을 업데이트해 개발 중인 텍스트 워터마크 기술에 대해 설명했다. 오픈AI에 따르면 텍스트 워터마크는 지금까지 AI 생성 텍스트를 감지하기 위해 채택된 언어 바꾸기 등 지엽적인 조작에 대해 효과적임이 입증됐다고 한다. 하지만 번역 시스템을 사용하거나 다른 생성 모델을 사용해 언어를 바꾸거나 모델에 각 단어 사이에 특수 문자를 삽입한 뒤 해당 문자를 삭제하도록 요구하는 등 조작에 대해서는 그다지 견고하지 않다고 한다.
따라서 오픈AI에 따르면 텍스트 워터마크는 악의적인 사람에 의해 쉽게 회피될 가능성이 있다고 한다. 또 영어가 모국어가 아닌 이들이 챗GPT를 글쓰기 작업에 사용하는 경우가 많기 때문에 그런 사용자가 작성한 문서가 처음부터 AI가 작성한 것이라는 오해를 줄 수 있다는 우려도 있다.
오픈AI 측 관계자는 보도된 AI로 작성한 문장을 99.9% 정확도로 감지할 수 있는 텍스트 워터마크 기술을 개발 중이라는 사실을 인정했다. 하지만 자사가 개발 중인 텍스트 워터마크 방식은 기술적으로는 유망하지만 악의적인 이들에 의한 회피 가능성이나 비영어권 화자와 같은 그룹에 불이익을 줄 가능성이 있다며 도구 출시에 신중한 자세를 취하고 있음을 분명히 했다. 관련 내용은 이곳에서 확인할 수 있다.