이석원 기자오픈AI가 발표한 대화형 AI인 챗GPT는 대학생 수준 기술 시험이나 경영학 석사 과정 MBA 최종 시험에서 합격점을 받거나 챗GPT가 쓴 논문 요지를 연구자가 찾지 못한다고 지적되는 등 문장 생성 능력으로 화제가 되고 있다. 2023년 1월 새로 보고된 바에 따르면 챗GPT가 로스쿨 선택 사항 문제와 소논문을 합친 시험에 반복 도전했는데 챗GPT는 모든 시험에서 합격점을 받은 것으로 나타났다고 한다.
1월 25일 사회과학연구네트워크 SSRN에 게재된 백서(ChatGPT goes to law school)에 따르면 미네소타대학 로스쿨 조나단 최 교수가 95개 다지선다 문제와 12개 논문 문제로 이뤄진 로스쿨 학생을 위한 시험 4건을 챗GPT에게 답하게 한 조사를 실시했다. 시험은 헌법에서 세제, 불법 행위까지 법률에 관한 폭넓은 테마에 걸쳐 있었지만 채점 결과 챗GPT는 모든 시험에서 종합 합격점인 C+를 획득했다고 보고됐다.
보고에 따르면 챗GPT 대답은 합격점으론 충분했지만 대부분 과목에서 클래스 최하위에 가까워 수학 문제를 포함한 다지 선택 문제에서도 마찬가지였다고 한다. 미국 의사 면허 시험인 USMLE(United States Medical Licensing Exam)에서 합격점을 획득한 연구에서도 합격점에 빠듯한 60%를 기록하거나 MBA 프로그램 최종 시험에서도 B에서 B- 평가를 얻었다. 합격 수준이지만 고득점을 취하지는 못한 것. 연구팀 역시 합격에는 충분하지만 우수한 학생은 아니라고 말한다. 챗GPT 응답에 대해 소논문을 쓸 때 챗GPT는 기본 법적 규칙을 확실히 파악하고 구성이나 작문도 일관되고 확고헀지만 로스쿨 시험에서 핵심 스킬인 문장 중에서 문제를 찾아내는 것에 서투르고 깊은 추론이나 분석을 진행할 수 없었다고 밝히고 있다.
챗GPT에 대해선 다양한 의견이 나온다. 교육 현장에서 사용을 금지하자는 움직임이나 챗GPT로 과학 논문을 쓰는 게 국제회의에서 금지되어 있지만 조나단 초이 교수는 챗GPT는 귀중한 교재가 될 수있다고 제안하고 있다. 챗GPT만으론 좋은 법학부생 답변은 만들 수 없지만 자력으로 작성한 응답을 챗GPT에게 읽어내는 것으로 더 좋은 답변으로 다듬을 수 있기 때문에 시험을 보는 법학부생이나 변호사를 개업할 때 도움이 될 것으로 기대할 수 있다는 것.
또 채점자 3명 중 2명은 봇이 쓴 소논문이라는 걸 알아챘다고 보고하고 있다. 챗GPT는 문법이 완벽하고 조금 반복적이었던 점에서 위화감이 있어 채점자가 직감적으로 봇에 의한 문장이라고 생각한 것으로 보인다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.
정용환 기자
