재피어(Zapier) 공동창업자인 마이크 눕(Mike Knoop)과 구글 소프트웨어 엔지니어인 프랑스와 숄레(François Chollet)가 공동으로 지능을 갖춘 오픈소스 AGI를 개발한 연구자에게 최대 50만 달러 이상 상금을 지급하는 콘테스트 ARC프라이즈(ARC Prize)를 실시하고 있다.
오픈AI GPT-4를 비롯한 최근 대규모 언어 모델은 학습한 데이터 내 패턴을 상세히 기억하고 해당 패턴을 다른 맥락에 적용해 AI가 마치 추론을 하는 것처럼 보인다. 하지만 이는 대규모 언어 모델에 의한 암기일 뿐이며 실제로는 추론이 아니다. 또 일반적인 대규모 언어 모델은 훈련하지 않은 새로운 상황에서 새로운 추론을 생성할 수 없다.
반면 범용 인공지능, AGI는 인간처럼 미지의 상황에서도 새로운 기술을 효율적으로 습득하고 적응할 수 있다. 눕 등은 AGI가 아니면 AI가 인간 지능을 뛰어넘을 수 없다며 인간과 함께 발견하고 발명하며 인류를 전진시킬 수 있는 AGI를 원한다고 말했다.
또 눕 등은 GPT-4 출시 이후 많은 고성능 대규모 언어 모델이 폐쇄적으로 개발되고 있다는 문제를 제기하며 폐쇄적으로 AI를 개발해 다른 기업의 새로운 아이디어 발명을 지연시키는 대신 오픈소스로 개발하는 기업에 인센티브를 줘야 한다며 그 결과 새로운 아이디어가 태어나기 쉬워지고 이 아이디어가 널리 퍼져 다양한 AI 기업 간에 더 공정한 경쟁의 장이 마련될 것이라고 주장했다.
이 이상을 실현하기 위해 눕 등은 오픈소스이면서 고성능 AGI를 개발한 연구자에게 100만 달러 규모 상금을 지급하는 콘테스트인 ARC프라이즈 개최를 발표했다.
제출된 AGI 성능을 측정하는 데 중요한 건 숄레가 발표한 논문(On the Measure of Intelligence)에서 소개된 ARC-AGI라는 지표다. ARC-AGI에서는 AI가 갖춘 암기력 외 성능을 테스트한다.
지금까지 ARC-AGI에서 가장 높은 점수를 기록한 AI조차 2024년 시점 ARC-AGI 점수가 34%에 불과했다. 반면 ARC-AGI 작업을 어린이가 수행했을 때는 85%에서 100% 점수를 기록할 수 있었다. 다시 말해 눕 등은 인간 ARC-AGI 점수에 가까운 결과를 내는 AGI를 개발한 연구자에게 상금을 수여하려는 것이다.
구체적으로는 2024년 6월 11일 접수 시작일부터 11월 10일 마감일까지 제출된 AGI 중에서 인간 평균 ARC-AGI 점수인 85% 이상을 기록한 AGI를 개발한 연구자 최대 5명에게 대상으로 50만 달러가 수여된다.
또 ARC-AGI 점수가 높았던 AGI 중 1위에게 2만 5,000달러, 2위 1만 달러, 3위부터 5위까지 각 5,000달러 상금이 주어진다.
더불어 ARC-AGI에서 높은 성능을 내는 방법에 대한 이해도가 가장 높은 논문에는 논문상으로 4만 5,000달러 상금이 수여된다. ARC프라이즈 결과는 2024년 12월 3일에 발표될 예정이다. 콘테스트에 응모하려면 재현 가능한 코드나 방법론을 공공 영역에 공개해야 한다. 관련 내용은 이곳에서 확인할 수 있다.