최근에는 텍스트나 이미지, 음성 등을 생성하는 AI 기술이 급속히 발전하고 있으며 이런 AI가 범죄와 오정보 확산에 악용될 우려가 있다. 이런 가운데 오픈AI, 메타, 마이크로소프트, 구글, 아마존, 앤트로픽, 인플렉션 등 대형 AI 기업 7개사가 미국 정부 요구에 따라 AI 위험을 경감하기 위한 자발적 대처를 실시하겠다고 약속했다.
최근에는 AI가 생성하는 콘텐츠 정확도가 빠르게 높아지고 있다. 지난 3월에는 영국 조사 보고 기관 밸링캣 창업자인 앨리엇 히긴스가 이미지 생성 AI인 미드저니를 이용해 트럼프 전 대통령이 체포된 가짜 이미지를 생성해 트위터에 공개하기도 했다. 이 사태를 본 미드저니는 타인에게 공격적이거나 다른 학대적 이미지, 텍스트 프롬프트 사용을 금지한다며 이용 약관 위반으로 히긴스에게 이용 금지 처분을 부과했다.
또 이미 아는 사람을 가장해 전화를 걸어 돈을 갈취하는 AI 클론 음성 사례가 급증하고 있으며 채팅 AI를 통해 사이버 범죄자가 비즈니스 이메일 사기를 벌이는 것 등이 보도되고 있다. 이런 사례에서 알 수 있듯 AI 기술 발전은 인간 노동력을 크게 줄일 가능성을 갖고 있는 반면 딥페이크와 범죄에 악용될 위험도 있다. 이 때문에 각국 규제 기관은 AI를 관리 규제하기 위한 규칙 책정에 임하기 시작했으며 EU에선 AI 사용을 규제하는 법안을 올해 중 승인할 것으로 보인다. 미국 백악관 산하 OSTP는 2022년 AI에 의한 해나 차별로부터 시민을 지키기 위한 AI 권리장전을 내놓기도 했다.
여기에 7월 21일 백악관이 7개 AI 개발 기업을 소집해 AI 기술의 안전하고 투명성 높은 개발을 위한 자발적 대처에 대해 합의를 했다는 것이다. 백악관은 성명에서 관련 기업은 자사 제품 안전을 보장할 책임이 있다면서 AI 잠재력을 최대한 활용하려면 업계 혁신이 국민 권리와 안전을 희생하지 않도록 최선의 수준을 유지하도록 권장한다고 밝혔다.
대형 AI 기업 7곳은 이에 따라 첫째 AI 시스템을 출시하기 전 내외부 보안 테스트를 실시하고 다양한 AI 위험과 사회적 영향을 평가한다. 둘째 AI 위험 관리에 대해 업계 전체, 정부, 시민사회, 학술계와 정보를 공유한다. 셋째 모델 가중치를 보호하기 위해 사이버 보안에 투자하며 타사에 의한 AI 시스템 취약성을 발견, 보고하는 걸 촉진한다. 넷째 AI에 의해 생성된 콘텐츠를 사용자가 인식할 수 있도록 AI 생성 콘텐츠에 워터마크를 넣는 등 메커니즘을 개발한다. 다음으로 AI 시스템 기능과 제한, 적절하고 부적절한 사용 영역에 대해 공개적으로 발표한다. 또 AI 시스템이 일으킬 수 있는 차별이나 편견 조장, 프라이버시 침해 등 사회적 위험에 관한 연구를 우선 실시한다. 마지막으로 사회 큰 과제에 대처하기 위해 고도의 AI 시스템 개발을 실시한다.
보도에선 AI 개발 기업 7개사가 생성한 콘텐츠에 명확한 워터마크를 넣는 기술 개발에 임하고 있다며 이에 따라 AI가 생성한 텍스트, 영상, 음성, 이미지를 해당 콘텐츠 신뢰성에 대해 오해하지 않고 안전하게 공유할 수 있게 될 것으로 기대하고 있다. 오픈AI는 이번 합의에 대해 콘텐츠 출처를 나타내는 워터마크 시스템을 개발하는 동시에 콘텐츠가 AI에 의해 생성됐는지 여부를 판단하는 도구 또는 API 개발에도 임한다고 밝히고 있다. 물론 이번 합의는 어디까지나 자발적 체결이며 법적 구속력은 없다. 관련 내용은 이곳에서 확인할 수 있다.