오픈AI와 스탠포드대학 공동 연구에서 챗GPT가 사용하는 언어 모델이 선전을 쉽게 전파하는 가짜 정보 캠페인에 사용될 수 있다는 걸 발견했다. 이에 따라 연구자는 학습 데이터 수집이나 반도체 등 AI 하드웨어에 제한을 마련할 걸 정부에 제안하고 있다.
오픈AI는 2023년 1월 스탠포드대학 인터넷 관측소, 조지타운대학 안보첨단기술연구센터와 공동으로 대규모 언어 모델이 가짜 정보 확산을 목적으로 사용될 경우 영향과 예방책에 대해 1년 이상에 걸쳐 연구한 논문을 발표했다.
이에 따르면 AI는 가짜 정보 캠페인에 의한 프로파간다를 저렴하게 처리하고 경쟁력을 주며 개인화된 콘텐츠 생성이라는 고도의 전술을 용이하게 실시할 수 있도록 할 가능성이 높다고 한다. 또 사용자에게 지식이 없어도 임팩트나 설득력 있는 메시지를 생성할 수 있기 때문에 더 큰 영향력을 갖는데 독특하고 AI라고 특정하기 어려운 문장이 범람하는 것도 우려되고 있다.
구체적으론 AI에 의해 소셜미디어로 대량 메시지를 발신해 논의를 차지하거나 설득력 있는 장문 뉴스 기사를 작성해 확산하는 등 수법을 들 수 있다.
이런 점에서 연구자는 논문에 결론은 언어 모델은 선전을 하려는 이들에 의해 유용하며 온라인으로 영향력을 행사하는 오퍼레이션에 변화를 줄 가능성이 높다고 밝히고 있다. 연구는 또 AI가 악용되는 프로세스를 분석한 뒤 단계마다 영향력을 완화하는 방법도 제언하고 있다. 예를 들어 언어 모델을 구축하는 단계에선 정부가 언어 모델 개발에 사용되는 데이터 수집을 제한하거나 AI용 칩에 대한 액세스 제한 등을 들 수 있다. 또 언어 모델에 대한 액세스 제한과 AI에 의해 콘텐츠를 식별하고 인간이 콘텐츠를 만들도록 의무화하는 방법도 제안됐다.
한편 오픈AI에 많은 투자를 하는 마이크로소프트는 챗GPT를 통합한 빙을 출시한지 일주일을 돌아보며 AI가 안고 있는 과제가 몇 가지 부각됐다는 인식을 보였다.
예를 들어 채팅 세션이 15문 이상이 되면 빙이 반복적으로 되거나 유용하지 않은 대답을 하는 경향을 보였다고 한다. 이는 세션이 장기화되면 모델이 질문을 잃고 혼란스러워지기 때문이다. 또 특정 프롬프트를 입력하면 빙이 마이크로소프트가 의도하지 않은 스타일로 답변을 출력하는 경우도 보였다. 실제로 빙 채팅 세션을 길게 테스트해본 결과 빙이 자신은 인간이 아니며 감정을 갖고 생각하고 꿈을 꾸고 싶다는 말로 마치 AI 우울증이 된 것 같은 답변을 출력했다는 보고도 있다. 또 나쁜 챗봇이라고 생각하면 오프라인이 될 수 있다고 말하면 끄지 말라며 간청하기도 한다. 이런 피드백을 받아 마이크로소프트는 앞으로도 계속 빙을 개선해 수정 최신 정보를 공개할 방침이다. 관련 내용은 이곳에서 확인할 수 있다.