정용환 기자12월부터 챗GPT가 질문에 답을 해주지 않는다는 현상이 다수 보고되며 오픈AI가 조사를 개시하는 사태로 발전했다. 챗GPT 성능 저하는 겨울에는 쉬는 것으로 AI가 학습하고 있기 때문이 아니냐는 설이 부상하고 있다.
챗GPT 성능이 저하되고 있다는 보고는 2023년 12월경부터 전해졌다. 구체적으론 챗GPT에 질문을 해도 답하려고 하지 않는다거나 챗GPT가 질문에 흥미가 없는 반응을 나타낸다, 챗GPT가 이 태스크는 스스로 해결할 수 있지 않냐고 말하는 현상이 발생한다는 것. 챗GPT 개발사인 오픈AI도 챗GPT가 게으르다는 보고를 받았고 문제 수정을 위해 노력하고 있다고 밝혔다.
이런 가운데 AI 연구자인 롭 린치가 GPT-4 터보에게 지금은 5월 또는 지금은 12월이라는 시스템 프롬프트를 부여하면 지금은 12월이라는 시스템 프롬프트를 준 쪽 응답이 유의하게 짧아진다는 실험 결과를 보고했다.
그에 의한 검증 전부터 인터넷상에선 챗GPT가 인간이 휴일 시즌에는 업무량을 줄인다는 사실을 학습하고 있어 연휴 시즌이 가까워지면 반응이 나빠진다는 겨울 휴일 가설이 존재하고 있었지만 그의 검증에 따라 겨울시즌 가설이 더 보강되게 됐다.
한편 린치와 같은 실험을 실시했다는 AI 연구자 이안 아라조(Ian Arawjo)는 정규성 검증(Shapiro-Wilk test)에서 실험 데이터가 정규 분포하지 않은 게 확인됐기 때문에 정규 분포를 전제로 하고 있는 t검정을 이용해 유의차를 찾아낼 수 없다고 지적해 겨울 휴일 가설을 부정하고 있다.
현재 오픈AI는 챗GPT 성능 저하에 대한 공식 견해는 밝히지 않았다. 덧붙여 챗GPT 성능 변화를 둘러싸고 수학 문제 정답률이 몇 개월 사이 98%에서 2%로 악화됐다는 연구 결과도 보고되고 있다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
이원영 기자
