고정밀 문장을 생성하는 GPT-3이나 챗GPT 등장으로 어떻게 하면 인간이 쓴 문장과 AI가 쓴 문장을 구별할 수 있는지 과제가 부상하고 있다. 이런 가운데 미국 프린스턴대학 연구자 에드워드 티안(Edward Tian)이 인간이 쓴 문장과 챗GPT가 쓴 문장을 구별하는 툴인 GPT제로(GPTZero)를 공개해 화제를 모았다. 이에 GPT제로 정확성이 얼마나 되는지 의학 논문에서 테스트한 결과를 보고해 눈길을 끈다.
GPT제로는 입력 문장이 인간이 쓴 것인지 아니면 챗GPT에 의해 작성된 것인지 판별하기 위해 작성된 툴이다. GPT제로는 챗GPT와 유사한 데이터 세트로 훈련되고 있으며 텍스트 복잡도와 변형을 검증해 챗GPT가 썼을 가능성이 높은 문장을 구분한다는 것.
에드워드 티안은 미국 미디어 뉴요커에 게재된 인간 라이터가 쓴 문장과 챗GPT로 생성한 문장을 GPT제로에 입력한 데모 영상으로 공개한 바 있다. GPT제로 공개 이후 그에게는 전 세계 교육 관계자로부터 연락이 있었다고 한다.
하지만 GPT제로는 100% 정확도로 인간이 쓴 문장과 챗GPT 문장을 구별할 수 있는 건 아니며 실제로는 어느 정도 정밀도인지 불분명하다. 여기에서 연구자는 2021년 발표된 코로나19 감염증에 대한 논문을 이용해 GPT제로가 어떻게 판단하는지 체크해봤다.
논문 첫 단락을 입력한 결과 GPT제로는 50% 이상이 AI로 쓰인 것이라고 판단을 내렸다고 한다. 하지만 해당 논문이 발표된 시점에선 챗GPT가 등장하지 않고 논문은 미국 질병예방관리센터 CDC 연구자 다수에 의해 쓰였기 때문에 이를 오검지했다는 지적이다.
이후 연구자는 미국국립의학도서관이 온라인으로 공개하고 있는 신경학 관련 논문 20건을 이용해 GPT제로에 입력했다. 그 결과 20건 중 논문 11건이 AI에 의해 작성됐을 가능성이 있다고 판단됐지만 이들 논문은 대부분 2020년 이전에 발표됐으며 GPT제로에 의한 오검지라는 주장이다.
또 GPT제로를 이용하려면 가중치 목록에 등록해야 하지만 처음에는 웹에서 무료로 이용할 수 있었기 때문에 시험에 영어 버전 위키피디아 시작 부분을 GPT제로에 입력하자 문장이 모두 AI에 의해 쓰였을 가능성이 높다고 판단됐다고 한다. 결국 상용 소프트웨어의 부정확성이 많은 문제를 일으킬 수 있다는 지적이다. 가장 큰 문제는 교육 현장에서 도용을 탐지하는 것이라고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.