AI 안전성 강화 나선 앤트로픽‧오픈AI

채팅 AI 클로드 등을 개발하는 AI 기업 앤트로픽(Anthropic)이 오픈AI AI 연구원이었던 얀 레이커(Jan Leike)를 채용하고 AI 안전성과 보안에 초점을 맞춘 슈퍼얼라인먼트팀(superalignment)을 신설했다.

앤트로픽은 오픈AI보다 안전성을 더 중시한다는 목표를 내세우고 있으며 이번에 신설된 슈퍼얼라인먼트팀은 AI 안전성과 보안 여러 측면 그 중에서도 확장 가능한 모니터링, 약에서 강으로의 일반화, 자동 얼라인먼트 연구에 초점을 맞출 예정이다.

I’m excited to join @AnthropicAI to continue the superalignment mission!

My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.

If you’re interested in joining, my dms are open.

— Jan Leike (@janleike) May 28, 2024

관계자에 따르면 레이커는 앤트로픽 CSO인 제러드 캐플란 직속이 되며 현재 확장 가능한 모니터링에 전념하고 있는 앤트로픽 연구원은 팀 구성이 진행되면서 그의 팀에 합류하게 된다.

레이커는 과거 오픈AI에서 일리야 수츠케버와 함께 슈퍼얼라인먼트팀을 이끌었지만 오픈AI 리더십과 핵심 우선순위에 의견이 맞지 않는다며 2024년 5월 오픈AI를 퇴사했다. 관련 내용은 이곳에서 확인할 수 있다.

한편 오픈AI에는 범용인공지능(AGI)의 안전성과 통제를 연구하는 슈퍼얼라인먼트팀이 있었지만 일리야 수츠케버 전 수석연구원과 얀 레이커 등 연구원이 차례로 오픈AI를 퇴사하면서 해체됐다는 보도가 있었다. 퇴사한 레이커는 오픈AI에선 안전성보다 화려한 제품이 우선시되고 있다며 AGI 개발을 진행하는 오픈AI 내에서 안전성이 소홀히 되고 있음을 경고하기도 했다.

이에 대해 오픈AI에 새로 설치된 안전·보안위원회는 샘 알트만 CEO, 이사회 의장 브렛 테일러 등이 이끄는 조직으로 오픈AI 기술, 정책, 보안, 정렬 과학 등 부문 책임자로 구성된다. 또 오픈AI 고문인 롭 조이스, 존 카린 등도 위원회 자문 역할을 한다.

안전·보안위원회는 90일간 오픈AI 프로세스와 세이프가드를 평가하고 이사회 전체에 권고를 할 예정. 오픈AI는 안전성과 보안을 아동보호, 선거 공정성 유지 등 광범위한 의미로 해석하고 있다.

아울러 오픈AI는 GPT-4 이후 차세대 모델 트레이닝을 시작했다고 밝혔지만 이게 GPT-5를 의미하는지 아니면 그 이상 모델인지는 불확실하다. 일부에서는 GPT-4로 모델 규모 한계에 도달했다는 관측도 있다. 관련 내용은 이곳에서 확인할 수 있다.