인간이 AI 작성 문장 특정할 확률은?

오픈AI GPT-4 등 인간 수준 정밀도로 문장을 생성할 수 있는 대규모 언어 모델 LLM이 등장하면서 AI가 생성한 문장인지 인간이 만든 문장인지 구별하기 어려워졌다. 스탠포드대학 HAI 연구팀이 문장이 AI에 의해 작성됐는지 여부를 인간이 정확하게 특정할 수 있는 확률은 50%였다는 연구 결과를 발표했다.

보안 기업 맥아피 조사에 따르면 성인 31%가 데이팅 앱 프로필에 AI를 사용할 예정이거나 이미 사용 중이라고 답했다고 한다. 연구팀은 데이팅 앱 오케이큐피드(OKCupid), 민박 앱인 에어비앤비, 직업 찾기 앱인 구루닷컴 등을 이용해 인간이 쓴 문장인지 AI가 쓴 문장인지를 어느 정도 정밀도로 특정할 수 있는지 조사했다.

피험자 4,600명은 이곳에서 문장 샘플을 제시했으며 제시된 문장이 인간에 의해 생성됐는지 아니면 AI에 의해 생성됐는지를 결정했다. 그 결과 인간은 50∼52% 정밀도로밖에 문장 작성자를 특정할 수 없었다고 한다. 이는 던진 동전 뒷면이 나오는 것과 거의 같은 확률이다.

인간이 AI에 의한 문장과 인간에 의한 문장을 구분하는 건 어려운 것으로 밝혀졌지만 한편으로 인간이 단순히 맞는 것처럼 판단하고 있는 건 아닌 것으로 판명됐다. 예를 들면 문법이 정확하고 1인칭 대명사를 사용하는 특징을 갖는 경우 인간이 쓴 것이라고 오해를 받는 경우도 있었다고 한다. 그 밖에 가정 생활을 언급하거나 캐주얼한 구어문을 사용하거나 하는 경우도 인간이 쓴 것이라고 오해되는 일도 있었다고 한다.

인간보다 인간처럼 보이는 AI를 만들 수 있다는 건 우려 사항이라고 할 수 있다. 인간인 듯 인간을 속이는 위험을 낳을 수 있기 때문이라는 설명이다. 더구나 AI가 생성한 콘텐츠량은 불과 몇 년 만에 인간이 생성하는 콘텐츠를 추월할 가능성이 있어 이렇게 되면 정보 체계는 정말 붕괴되어 버릴지 모른다면서 전제가 되는 신뢰가 손실되고 서로에 대한 신뢰가 저하될 수 있다고 지적하고 있다.

연구팀은 인간과 AI 텍스트를 구별하기 위한 아이디어로 인공지능 문장에 버릇을 더해줄 걸 제안하고 있다. 예를 들어 인간의 경우에도 같은 말을 해도 태어나서 자란 지역에 따라 방언이 있고 단어 사용법이나 악센트가 다르기 때문에 말하는 방법에서 해당 출신지를 알 수 있는 경우가 자주 있다. 이를 응용해 AI 문장에 대한 디지털 워터마크로 AI에 독특한 말투를 도입해 AI 제품을 구분하기 쉽게 한다는 아이디어다. 관련 내용은 이곳에서 확인할 수 있다.