오픈AI는 3월 입력된 자언 언어로부터 자동으로 코드를 출력하는 AI 시스템인 코덱스(Codex) 지원을 종료한다고 발표했다. 이에 대해 미국 프린스턴대학 AI 연구자는 논문 100건에 사용되는 코덱스 지원이 종료되면서 연구 재현성이 손상되어 버린다고 주장해 눈길을 끈다.
오픈AI가 개발한 코덱스는 2021년 7월 깃허브와 제휴해 구축, 릴리스한 소스 코드 보완 AI 툴인 깃허브 코파일럿 강화 버전으로 자연 언어를 해석해 적절한 코드를 출력할 수 있다. 코덱스는 오픈AI가 출시하는 다른 AI 모델과 달리 오픈소스가 아니기 때문에 사용자는 오픈AI에 모델에 대한 액세스를 신청해야 했다.
그런데 3월 20일 오픈AI는 사용자에게 코덱스 지원을 3월 23일 종료한다는 통지 메일을 보냈다. 코덱스는 학술 논문 100건에서 사용되고 있기 때문에 오픈AI가 코덱스 지원을 종료하고 사용자는 액세스할 수 없게 되어 버리면 이런 학술 논문 재현성이 손실되어 버린다는 것이다. 또 통지에서 서비스 종료까지 기간이 일주일로 부족하다는 점도 일반 소프트웨어 관행보다 극단적으로 짧다고 할 수 있다.
연구팀은 독립 연구자가 논문 타당성을 평가하고 그 결과를 바탕으로 연구를 쌓을 수 없게 될 것이라며 오픈AI 모델을 사용한 애플리케이션을 만드는 개발자도 이 애플리케이션이 예상대로 작동하는 걸 보장할 수 없다고 지적한다.
언어 모델 연구에선 모델에서 작은 변경이 결과에 영향을 줄 수 있어 반복성을 보장하기 위해 연구에 사용된 정확한 모델에 액세스할 수 있어야 한다. 만일 새로운 모델에만 접근할 수 있는 상태에서 연구 결과를 재현할 수 없다면 이는 모델 차이에 의한 것인지 아니면 연구 자체에 결함이 있었는지 판단할 수 없게 되어 버린다.
연구 결과가 다른 사람에 의해 재현 가능하다는 건 과학 연구 정확성을 보장하는데 중요하지만 최근에는 과학 연구 재현성이 떨어지고 있다는 문제가 있다. 오픈AI는 의견에 따라 연구자에게 코덱스에 대한 액세스를 계속 지원하는 프로그램을 시작했다. 하지만 연구팀은 코덱스 액세스 프로그램 신청 과정이 불투명하다는 점과 언제까지 코덱스 액세스가 유지되는지 밝혀지지 않았다는 점을 문제시하고 있다. 또 오픈AI는 GPT-3.5, GPT-4와 같은 최신 모델을 정기 업데이트하고 있으며 과거 버전에 대한 액세스를 3개월 밖에 유지하지 않아 최신 모델을 이용한 연구 재현성도 손상된다. 이는 연구자 뿐 아니라 오픈AI 모델을 이용해 애플리케이션을 만드는 개발자에게도 향후 모델에서 애플리케이션 기능이 유지되는지 불투명하다는 걸 의미한다.
연구팀은 언어 모델은 이제 중요한 인프라가 되고 있으며 버전 관리된 모델을 제공하지 않는 오픈AI 정책은 연구 재현성에 타격을 준다고 지적한다. 대규모 언어 모델을 오픈소스화할 때 다양한 요소를 고려해야 하지만 오픈소스 언어 모델은 연구 재현성을 보장하는 중요한 단계가 될 것이라고 주장했다.
커뮤니티에선 오래된 모델 지원을 종료한다면 오픈소스화해야 한다는 의견과 오픈AI가 AI 위험성에 대해 우려하고 있으며 위험을 감안해 공개를 지연시킨 것이라는 등 다양한 의견이 나오고 있다. 관련 내용은 이곳에서 확인할 수 있다.