대화형 AI인 챗GPT는 자연스러운 문장을 생성할 수 있기 때문에 폭넓은 분야에서 활용할 수 있는 한편 교육 분야에서 챗GPT가 학습이나 연구를 침해할 수 있다는 우려로 뉴욕시가 학생과 교사에 의한 챗GPT 이용을 전면 금지하거나 챗GPT 등 AI로 과학 논문을 쓰는 게 국제회의에서 금지되는 것 같은 움직임을 볼 수 있다. 이런 가운데 에세이 과제에 대해 교사가 AI가 생성한 문장을 검출하는 도구를 사용했는데 100% 사람이 집필한 에세이가 AI를 이용해 쓰였다며 0점이 됐다는 학생 체험을 학부모가 올려 화제가 되고 있다.
이미 교육 현장에서 챗GPT를 이용하는 걸 묻는 조사에서 스탠포드대학 학생 중 17%가 과제나 시험에 챗GPT를 사용 중이라고 응답했다. 17% 중 다수는 아이디어 검토 등을 위해 챗GPT를 사용했지만 5%는 챗GPT가 출력한 걸 편집하지 않고 그대로 제출했다고 한다.
교육 현장에서 사용을 금지하려는 움직임도 있지만 챗GPT는 학습에 있어서도 유용한 도구라는 의견도 있다. 금지가 아니라 사용법을 가르쳐야 한다는 지적이나 학생 교육에 AI를 어떻게 이용할지 교육 분야에 받아들이려는 시도도 이뤄지고 있는 것.
하지만 이렇게 하려면 챗GPT 같은 AI 도구 사용에 대해서 올바른 사용법을 지도하든 과제나 논문에 그대로 사용했는지 여부 등을 확인할 필요가 있다. 문제는 인간이 AI가 쓴 문장을 특정할 수 있는 확률은 50%로 동전 던지기와 같은 수준에 불과하다는 연구 결과가 보고되고 있으며 챗GPT를 개발한 오픈AI가 내놓은 AI 문장 검증 툴(AI Text Classifier) 같은 것도 AI가 작성한 콘텐츠인지 확실하게 검출할 수 있는 수준이 아니라는 것이다.
또 검출 툴은 AI에 의한 문장을 검출할 수 없는 경우가 많고 인간에 의한 문장을 AI가 쓴 것이라고 오탐지해버리기도 한다. 지난 4월 11일 한 학부모가 올린 바에 따르면 학교 과제로 나온 에세이에 자신의 아들이 부모 조언을 받으면서 썼는데 담당 교사가 AI에 의해 생성된 문장으로 판단해버렸다는 것. 도구를 이용해 AI 문장이라고 검출된 뒤 교사 확인 없이 자신의 아들은 해명의 여지없이 0점이 됐다고 한다.
AI에 의한 문장으로 의심받은 원인으로는 제출된 에세이가 너무 잘 되어 있다는 것. 학생에 의한 게 아니라고 판단되어 AI를 사용했다고 의심됐을 가능성을 지적하는 의견도 있다. 하지만 학부모는 자신이 에세이를 쓰는 지원을 했지만 구체적으론 자신의 말로 전달하고 싶은 포인트를 올바른 구조로 쓸 수 있도록 지도하거나 인용을 많이 하는 걸 피하게 조언하고 좋은 습관을 익힐 수 있도록 지원했을 뿐 대필하는 일은 하지 않는다고 밝혔다.
이에 대해 이는 중요한 AI에 대한 윤리적 고려 사항 중 하나로 보인다는 지적이다. 툴을 사용하더라도 사람에 의한 문장인지 AI에 의한 문장인지 판단에 대한 완전 자동화는 불가능한 만큼 최종적으로 수동으로 확인할 필요가 있다는 의견도 나온다. 영국 주요 대학 일부에서 이뤄지는 시책 중에는 학생 측이 자신의 문장에 검출 툴을 이용해 AI에 의한 것인지 의심받지 않도록 확인하는 게 대학에서 장려되고 있다고 한다. 학생이 별 생각 없이 참고 문헌에서 복사 붙여넣기를 하거나 무의식적으로 문장이나 표현을 도용하는 걸 검지해 피하기 위한 프로세스지만 이를 AI 검출에 대해서도 실시해 AI 사용 의심 가능성을 낮출 수 있다는 것이다.
또 오픈AI 검출 도구로도 AI가 작성한 텍스트를 올바르게 식별할 수 있는 건 26% 정도이며 인간이 작성한 텍스트를 AI가 작성한 것으로 잘못 식별할 확률은 9% 있다고 지적되고 있다. 앞선 학부모에 따르면 담당 교사는 곧바로 잘못을 인정하고 아들 에세이를 올바르게 수리했다고 한다.