오픈AI가 유해한 AI 위험과 위협으로부터 보호하기 위해 사내 안전 프로세스를 검토하고 안전자문그룹(Safety Advisory Group)을 기술팀 상위에 설립하겠다고 발표했다. 안전자문그룹은 지속적으로 AI 모델에 대한 테스트를 실시하고 위험이 있을 경우는 경영진과 이사회에 권고를 하게 된다.
오픈AI는 지난 10월 AI 치명적 위험을 분석해 인류를 보호하기 위한 준비팀(Preparedness)을 결성했다고 발표했다. 이 팀은 MIT공대 ML센터 소장을 맡은 알렉산더 마드리가 이끌며 치명적 위험을 추적, 평가, 예측한다. 오픈AI는 이 팀에 관한 페이지를 12월 18일 갱신했다. 개발 중인 AI 모델에 대한 조사를 실시하는 팀 외에도 현행 모델 위험을 조사하는 세이프티시스템(Safety Systems)팀, 미래에 실용화가 기대되는 범용인공지능 등 초지성 모델 위험을 조사하는 팀(Superalignment) 등 3개 팀으로 오픈AI 안전성을 확보하겠다고 발표한 것.
또 안전성 평가 레벨을 4단계(Low, Medium, High, Critical)로 나눠 개발 중인 AI 위험이 하이가 넘으면 개발 중단, 미디엄이 넘으면 릴리스 중지 등 임계값을 설정한다.
오픈AI는 또 안전에 관한 의사 결정을 위한 기술적 작업과 운영 구조를 감독하기 위한 부서인 안전자문그룹 설립을 발표했다. 이 그룹은 오픈AI 기술 부서를 포함한 부서를 포괄해 안전성을 평가하고 보고한다.
안전자문그룹은 오픈AI 기술 개발 상위에 존재하며 AI 모델에 관한 정기 보고서를 작성한다. 또 보고서를 경영진과 이사회에 제출한다. 경영진은 안전자문그룹 보고에 따라 AI 모델을 출시할지 여부를 결정할 수 있지만 이사회는 경영진 결정에 대해 거부권을 발동할 수 있다. 다시 말해 경영진이 만일 안전자문그룹 보고서를 무시하고 높은 위험을 가진 AI 모델을 독단적으로 출시해도 이사회는 같은 보고서를 이유로 이 결정을 뒤집을 수 있다는 것이다.
하지만 보도에선 2023년 11월 중순 발생한 샘 알트만 CEO 퇴임 복귀극 결과 알트만에 반대하던 멤버가 이사회에서 배제된 걸 지적한다. 안전자문그룹 권고에 근거해 CEO가 발표하는 결정을 내렸다면 알트만 CEO를 지지하는 이사회는 이에 대해 정말 제동을 걸 수 있겠냐는 것이다. 투명성에 대해선 오픈AI가 독립적인 제3자로부터 감사를 받는다는 것 외에는 거의 언급되지 않았다. 현실적으로 볼 때 안전자문그룹이 실제로 작동할지 에 대한 회의적 지적도 나오는 이유다. 관련 내용은 이곳에서 확인할 수 있다.