7월 18일 미국 콜로라도주 아스펜에서 개최된 제15회 아스펜 보안 포럼에서 보안을 중시한 AI 개발을 위한 지침과 도구 제공을 목적으로 하는 오픈소스 이니셔티브 CoSAI(Coalition for Secure AI)가 발표됐다. 주최는 컴퓨터 및 통신 관련 표준화 단체(OASIS Open)다.
CoSAI는 오픈소스 방법론과 표준화된 프레임워크 및 도구를 공유하기 위한 공동 생태계를 촉진하기 위해 설립됐다. CoSAI는 업계 리더, 학자, 기타 전문가를 포함한 다양한 관계자를 모아 AI 보안의 파편화된 상황에 대처한다.
CoSAI 창립 프리미엄 스폰서에는 구글, IBM, 인텔, 마이크로소프트, 엔비디아, 페이팔이 포함된다. 기타 창립 스폰서로는 아마존, 앤트로픽, 시스코, 체인가드, 코히어, 젠히어, 젠랩, 오픈AI, 위즈 등이 있다.
CoSAI 주최 측은 OASIS 오픈은 CoSAI는 AI 사용과 배포에 있어 신뢰성 및 보안을 강화하기 위한 노력이라고 설명했다. CoSAI 활동 범위에는 AI 시스템의 안전한 구축, 통합, 배포, 운영이 포함되며 모델 도난, 데이터 오염, 프롬프트 인젝션, 대규모 악용, 추론 공격 등 위험 완화에 중점을 두고 있다.
OASIS 오픈은 CoSAI 목적으로 AI 시스템의 기존 및 고유한 위험에 대처하는 포괄적인 보안 대책을 개발하는 걸 언급했다. 또 CoSAI에 대해 전체적인 기술 아젠다를 추진 및 관리하는 프로젝트 관리 위원회와 그 작업 스트림을 감독하는 학계 및 업계의 AI 전문가로 구성된 기술 운영 위원회가 주도하는 오픈소스 커뮤니티라고 설명했다.
CoSAI 필요성에 대해 OASIS 오픈은 AI는 급속히 세계를 변화시키고 있으며 복잡한 문제를 해결할 큰 잠재력을 지니고 있다면서 AI에 대한 신뢰를 확보하고 책임 있는 개발을 추진하려면 보안을 최우선으로 고려하고 AI 시스템에 대한 잠재적 취약성을 식별 및 완화하며 설계 단계부터 보안이 확보된 시스템 구축으로 이어지는 방법론을 개발해 공유하는 게 중요하다고 설명했다.
기존 AI 업계에서는 AI와 AI 애플리케이션 및 서비스 보안 보호가 파편화되어 있다고 OASIS 오픈은 지적했다. 실제로 개발자로부터 일관성이 없고 사일로화되어 있다는 의견도 나오고 있다. AI 업계에는 명확한 베스트 프랙티스 및 표준화된 접근 방식이 없기 때문에 AI 특유의 일반적인 위험을 평가하고 완화하는 건 경험이 풍부한 조직에게도 큰 과제가 되고 있다고 한다. CoSAI는 이런 과제를 해결하기 위해 설립된 조직이다.
CoSAI는 3가지 작업 스트림을 형성하고 시간이 지남에 따라 추가적인 작업 스트림을 더할 예정이라고 설명했다. 첫째는 AI 시스템의 소프트웨어 공급망 보안. 구성과 출처 추적을 강화해 AI 애플리케이션을 보호하는 것이다. 둘째 변화하는 사이버보안 환경에 대한 방어 측 준비. AI와 기존 시스템에 대한 투자 및 통합에서의 과제 대처다. 셋째 AI 보안 거버넌스. AI 보안의 베스트 프랙티스와 위험 평가 프레임워크 개발이다. 관련 내용은 이곳에서 확인할 수 있다.