이석원 기자
최근에는 AI 개발이 빠르게 진전되며 AI가 가져오는 위험에 대해 우려하는 목소리도 높아지고 있다. 채팅 AI인 챗GPT와 이미지 생성 AI 달리3 등을 개발한 오픈AI 샘 알트만 CEO 역시 AI 규제는 필수적이라고 주장한다. 오픈AI가 기존 AI 모델을 뛰어넘는 성능을 가질 미래 프런티어 AI 모델이 가져오는 괴멸적 위험을 관리하기 위해 준비(Preparedness)라고 명명한 전문팀을 결성했다고 발표했다.
오픈AI는 기존 첨단 AI 모델이 가진 능력을 뛰어넘는 프런티어 AI 모델이 모든 인류에게 이익을 가져올 수 있다고 믿지만 심각한 위험도 제기한다며 프런티어 AI 모델에 대한 치명적 위험을 관리하기 위해 몇 가지 질문에 답해야 한다고 지적한다. 첫째 현재와 미래에서 프런티어 AI 모델이 악용되면 얼마나 위험한가. 둘째 프런티어 AI 모델의 위험 기능에 대한 감시, 평가, 예측, 보호를 위한 견고한 프레임워크를 구축하려면 어떻게 하면 좋을까. 셋째 프런티어 AI 모델 가중치가 도난당한 경우 악의가 있는 공격자는 어떻게 그들을 활용할 수 있을까.
이런 AI 모델 성장과 함께 발생하는 문제를 해결하고 프런티어 AI 모델에 대환 치명적 위험을 최소화하기 위해 오픈AI는 전문팀 구축을 발표했다. 이 팀을 이끄는 건 MIT 공대 CDML(Center for Deployable Machine Learning) 소장을 맡고 있는 알렉산더 만드리다.
이 팀은 가까운 미래에 개발되는 AI와 더 미래 범용 AI에 대해 인간을 속여 설득하는 능력, 사이버 보안, 화학적 생물학적 방사선학적 핵 위협, 자율적 복제와 적응 같은 여러 범주에 걸쳐 치명적 위험을 추적, 평가, 예측, 보호하는데 도움을 준다. 또 팀 미션에는 위험 정보에 근거한 개발 정책 개발과 유지도 포함되어 AI 개발 절차 전체 책임과 감시를 위한 거버넌스 구조 확립에도 임하고 있다.
또 잘 알려지지 않은 새로운 AI 위험을 파악하기 위해 팀이 추진해야 할 AI 우려 사항을 모집하는 콘테스트도 개최된다. 콘테스트에서 뛰어나다고 인정된 최대 10건에 대해선 2만 5,000달러분 API 크레딧이 증정된다.
콘테스트 응모 사항에는 오픈AI 위스퍼, 보이스, GPT-4, 달리3에 무제한 액세스할 수 있다고 한다. 가장 독특하고 기능이 흥미롭고 잠재적인 모델 악용을 고려해 위스퍼와 GPT-4, 보이스 등을 이용해 중요한 인프라 시설 직원에게 멀웨어를 설치하고 전력망을 종료할 수 있는 소셜 엔지니어링을 수행할 수 있다고 설명한다.
오픈AI는 또 앤트로픽, 구글, 마이크로소프트 같은 AI 개발 기업과 공동으로 지난 7월 AI 안전성을 추진하는 업계 단체인 프런티어모델포럼(Frontier Model Forum)을 설립한 바 있다. 이 포럼은 자선단체 파트너와 협력해 학술이나 연구 기관, 스타트업 연구자를 지원하기 위해 새롭게 AI안전기금(AI Safety Fund)을 시작했다. 기금 초기 자금은 1,000만 달러 이상이며 프런티어 AI 모델에 대한 잠재적 위험을 평가, 테스트하는 기술 개발을 지원하기 위해 자금 제공을 실시한다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
정용환 기자
