전현직 엔지니어 “AI 기업 폭주 경고하는 공개서한”

오픈AI와 구글 딥마인드 전현직 직원이 6월 4일 AI 기업의 폐쇄적인 체질과 내부 통제 부족을 고발하는 공개 서한을 발표했다. AI 개발 최전선에 서 있는 이들 엔지니어는 이 서한에서 AI 기술 위험을 회피하면서도 혜택을 받으려면 충분한 감시가 필요하다고 밝혔다. 하지만 현재 감시 체계에서는 내부 고발자 보호나 책임 소재 명확화가 부족하다고 주장했다.

마이크로소프트에서 지원하는 오픈AI와 알파벳 산하 구글 딥마인드는 모두 막대한 자본을 바탕으로 AI 개발을 주도하는 선구적 기업. 그 중에서도 오픈AI는 갑작스러운 샘 알트만 CEO 해임을 비롯한 내부 갈등, 퇴사 직원에 대한 회사 비판 금지 등 강압적 기업 문화로 내외부에서 비판받아 왔다.

오픈AI와 구글 딥마인드 전현직 직원이 서명한 고도 인공지능에 대해 경고할 권리 서한에 따르면 이런 AI 기업에는 기업 책임 추궁을 가로막는 광범위한 기밀유지계약이 있다고 한다. AI 기업은 자사 시스템 성능과 한계, 다양한 위험 등에 관한 비공개 정보를 대량으로 보유하고 있지만 정부나 다른 기업과 공유할 의무가 없어 자발적인 정보 공개를 기대하기 어렵다.

또 AI 기술 관련 법적 제도 마련이 지체되고 있어 기업 불법행위 고발을 상정한 일반적인 내부고발제도로는 고발자 보호가 부족하다는 지적도 있다.

AI 기업 직원은 자신들은 첨단 AI 기업 전현직 직원으로서 AI 기술이 인류에게 전례 없는 이익을 가져올 수 있다고 믿지만 또 AI 기술이 초래할 수 있는 중대한 위험도 인식하고 있으며 과학계, 정치권, 시민 사회의 충분한 감독이 있다면 그런 위험을 상당히 줄일 수 있을 것으로 기대한다고 밝혔다. 하지만 AI 기업에는 효과적인 감독을 회피할 강력한 경제적 인센티브가 있으며 개별 기업 차원 기업지배구조로는 현실 변화에 부족하다고 본다고 호소했다.

이를 개선하기 위해 서한에서는 AI 기업에 비판 금지 계약이나 보복 행위 자제, 직원이 경영진, 규제 당국, 외부 기관에 익명으로 우려를 표명할 수 있는 제도 마련, 기업 비밀과 지식재산권 침해 없는 한 직원이 AI 위험에 대한 우려를 공개할 수 있게 하기, 다른 방법으로 목적 달성이 어려울 경우 위험 관련 기밀 정보를 공개한 직원에 대한 보복 자제 등 4가지를 요구했다.

구글은 입장을 밝히지 않았다. 오픈AI 측은 가장 유능하고 안전한 AI 시스템을 제공해온 실적을 자랑스럽게 생각하며 위험 대처를 위한 과학적 접근법을 믿는다며 기술의 중요성을 감안할 때 엄밀한 논의가 필수적임에 동의하며 앞으로도 전 세계 정부, 시민사회, 다른 커뮤니티와 협력할 것이라고 밝혔다.

서한에는 오픈AI 전현직 직원 11명, 구글 딥마인드 전현직 직원 2명이 서명했으며 오픈AI를 떠난 다니엘 코코타일로나 AGI 잠재적 위험 파악을 담당했던 윌리엄 샌더스 등이 이름을 올렸다. 관련 내용은 이곳에서 확인할 수 있다.

한편 오픈AI 전직 직원인 레오폴드 애스첸브레너(Leopold Aschenbrenner)가 AI 관련 보안 우려 사항을 이사회에 전달했던 게 해고 사유였다고 밝혔다.

애스첸브레너는 2021년 19세에 콜롬비아 대학을 졸업생 대표로 졸업했고 2023년 오픈AI 슈퍼얼라인먼트 안전팀 초기 멤버로 합류해 공동 창립자인 일리야 수츠키버, 얀 레이크와 함께 일했다. 하지만 2024년 초 해고됐고 현재는 보안 연구원으로 활동 중이다. 수츠키버와 레이크는 2024년 5월 사임했고 이에 따라 슈퍼얼라인먼트 팀도 해산됐다.

한 팟캐스트에 출연한 애스첸브레너는 해고 사유에 대해 오픈AI 보안 우려 사항을 이사회에 전달했기 때문이라고 설명했다. 그의 말에 따르면 모델 가중치와 중요 알고리즘이 외국 해킹으로부터 심각하게 취약하다고 판단, 보안에 관한 메모를 동료와 상사 몇 명에게 공유했다. 몇 주 뒤 중대한 보안 사고가 발생하자 그는 이 메모를 임원 몇 명과도 공유했다.

하지만 며칠 뒤 경영진이 애스첸브레너가 메모를 이사회와 공유한 것에 대해 극도로 불만을 품고 있었던 것으로 드러났다. 이사회가 보안 문제에 대해 경영진을 압박했던 것으로 보인다.

이후 인사부에서는 애스첸브레너에게 공식적으로 메모를 이사회와 공유한 것에 대한 경고장을 보냈다. 애스첸브레너에 따르면 인사 담당자는 중국 공산당 스파이 활동을 걱정하는 건 인종차별적이며 건설적이지 않다고 말했다고 한다. 이런 일 이후 적절한 시점 애스첸브레너는 해고를 통보받았고 인사부는 보안 메모 때문이라고 해고 사유를 분명히 밝혔다고 한다.

공식 해고 사유는 보안 메모 공유였지만 오픈AI는 다른 직원에게 애스첸브레너가 정보 유출에 연루되었을 것으로 의심된다고 전했고 여러 보도매체에서도 이렇게 다뤘다. 애스첸브레너는 이 부분에 오해가 있다고 말하고 있다.

그에 따르면 오픈AI에서는 안전성에 관한 아이디어를 외부 연구자와 공유하는 문화가 있었고 외부 피드백을 얻는 게 일반적이었다고 한다. 물론 중요 정보는 삭제하거나 내부 링크는 데드링크로 수정해 공유했고 애스첸브레너 역시 기밀 사항이 없는지 꼼꼼히 확인했다고 한다.

어느 날 애스첸브레너는 AGI를 위해 미래에 필요한 준비, 안전, 보안 대책에 관한 브레인스토밍 문서를 작성해 외부 연구원 3명과 공유하며 피드백을 구했다. 그러자 경영진은 이를 정보 유출로 지적했다고 한다. 애스첸브레너가 어떤 기밀 정보가 포함됐는지 구체적으로 제시해달라고 요구하자 경영진은 내부 계획 일정이 포함되어 있다고 대답했다고 하지만 애스첸브레너에 따르면 당시 그 일정은 이미 공개된 정보였다.

또 애스첸브레너는 전 직원 90%가 서명한 샘 알트만 복귀와 이사회 전원 사임을 촉구하는 서한에는 서명하지 않았다. 그는 이사회가 직원 신뢰를 잃었다는 점에는 동의하지만 독립 사외이사를 구성하지 않는다는 내용에는 문제를 제기했다고 한다. 서명하지 않은 얀 레이크와 여러 직원 역시 나중에 회사를 떠났다. 이 외에도 애스첸브레너는 업무 일환으로 경영진에 공약 이행을 종용하는 등 경영진으로부터 반감을 샀을 수 있다고 추측하고 있다.

애스첸브레너는 미국은 자유로운 국가이고 이게 자신이 좋아하는 점이라며 경영진이 회사 방침이 바뀌어 당신의 견해에 동의하지 않는다고 말하는 것도 타당하지만 자신은 오픈AI 이념에 공감해 입사했지만 시간이 지나면서 이는 변했다고 밝혔다. 물론 그럼에도 오픈AI에는 훌륭한 이들이 많았고 그들과 함께 일할 수 있었던 건 영광스러운 일이었다고 덧붙였다.

오픈AI 발표나 보도 내용과는 다소 차이가 있지만 애스첸브레너 해고 사유는 결국 보안 우려 사항을 이사회에 전달했기 때문이었다. 그는 모델 가중치와 알고리즘 취약점을 지적하고 개선을 요구했으나 오히려 경영진 반발을 샀고 해고라는 조치를 받았다.

애스첸브레너는 외부 연구자와의 아이디어 공유 문화 속에서 기밀 정보 없이 공유했을 뿐이라고 해명했지만 경영진은 이를 정보 유출로 의심한 것으로 보인다. 또 이사회 전원 사임 요구 서한 미서명도 경영진과 갈등 요인 중 하나가 됐을 것으로 추측된다. 관련 내용은 이곳에서 확인할 수 있다.