정용환 기자
인간이 하는 질문에 자연스럽게 대답할 수 있어 화제가 되는 대화용 언어 모델인 챗GPT(ChatGPT)에 재미로 컴퓨터사이언스 관련한 자유 기술 문제를 입력하자 고득점으로 합격할 만한 답을 했다는 게 보고됐다.
AP컴퓨터 사이언스A(AP Computer Science A) 2022년 버전에 포함되어 있는 자유 기술 문제로 주로 자바 지식을 묻는 이 시험에선 비디오 게임 득점을 집계하는 프로그램을 주제로 한 문제가 출제된다. 스코틀랜드 세인트앤드루스대학 학생이 깃허브에서 반쯤은 재미로 챗GPT에게 이 시험 문제를 물었는데 36점 만점 중 32점을 기록했다고 보고했다.
먼저 4개 문항 질문 전체를 복사하고 챗GPT 입력란에 1회 붙여 넣고 처음 얻은 답변을 채택했다. 하지만 질문문에 포함된 다이어그램과 표는 일반 텍스트로 붙여 넣을 수 없어 제외했다. 또 답을 별책 책자에 기입하도록 요구하는 지시 같은 것도 뺐다.
문제가 파트 a, b로 나뉘어진 경우에는 먼저 a 질문을 붙여 대답하도록 한 뒤 b 질문을 붙여 답하도록 했다. 물론 챗GPT는 a 질문만 입력되어도 b 답까지 출력해버려 나머지 질문을 할 필요가 없는 경우도 있었다고 한다.
챗GPT 답변을 읽기 쉽게 하기 위해 필요에 따라 들여쓰기나 질문 번호 등을 삽입하는 편집은 했지만 챗GPT 응답에서 편리한 부분을 빼내는 이른바 체리피킹은 하지 않았다. 이렇게 해서 얻은 챗GPT 답변을 채점용 가이드라인에 따라 채점한 결과 점수는 36점 만점에 32점 합격점이었다는 것이다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
