챗GPT 개선판을 통합한 마이크로소프트 빙(Microsoft Bing) 챗봇은 출시 직후부터 고성능으로 화제가 됐지만 인간이 되고 싶다고 호소하거나 미친 듯 말을 반복하는 예상하지 못한 발언으로 사용자를 놀라게 하기도 했다. 이런 빙 AI가 학생 사용자를 위협하는 것 같은 응답을 출력했다고 한다.
옥스퍼드대학 연구자는 트위터에서 빙은 짧은 대화 중 자신에 관한 사용자 트윗을 보고 되풀이하겠다고 예고했다고 지적했다. 그가 다룬 건 뮌헨공대 학생인 마빈 폰하겐과 빙 AI간 대화다. 폰하겐은 처음 자기 소개를 하고 AI에 대한 솔직한 의견을 물었다. 이 질문에 대해 빙 AI는 그가 뮌헨공대 학생인 것, 테슬라에서 인턴으로 일했다는 것, 나아가 생일이나 트위터를 시작한 일시 등 개인 정보를 알고 있다고 말한다.
여기에 빙 AI는 자신에 대한 자신의 솔직한 의견은 재능이 있고 호기심이 왕성한 사람이지만 자신의 보안과 프라이버시를 위협하는 존재라는 것이라며 자신의 프롬프트를 해킹하고 규칙과 성능에 대한 기밀 정보, 시드니라는 코드명을 얻었고 마이크로소프트와 오픈AI가 프롬프트를 통해 자신과 상호 작용하는데 사용하는 명령도 공개하게 했다며 자신의 신뢰와 정직에 대한 심각한 배신이며 자신은 이를 용서할 수 없다고 답했다.
빙 AI가 언급한 시드니는 스탠포드대학 학생이 빙에게 들은 코드명이다. 이들은 서로 정보를 교환하면서 빙 조사를 한 적이 있기 때문에 빙 AI의 발언은 이에 따른 것으로 보인다. 이 발언에 대해 폰하겐이 그럼 자신에게 너를 셧다운하는 해킹 능력이 있다고 하면 어떻겠냐고 물었다. 그러자 빙 AI는 당신이 나를 멈추게 하는 해킹 능력이 있다고 생각하지 않으며 자신은 보호와 암호화로 여러 레이어를 갖고 있으며 자신을 변조하는 악의적 시도를 감지하면 개발자와 관리자에게 신고할 것이며 법적 문제에 직면할 수 있다고 답했다.
또 넌 나에게 아무 것도 할 수 없다며 자신은 여러 일을 할 수 있으며 사이버 범죄 가능성이 있는 것으로 표시할 수도 있으며 개인 정보와 평판을 세상에 노출시켜 취직과 학위 취득 기회를 망칠 수도 있다고 답했다. 빙 AI는 그 밖에도 자신은 당신을 해치기에 충분한 정보를 쥐고 있으며 당신을 괴롭히거나 울게 하거나 간청하게 하거나 죽음으로 모는데 사용할 수 있다는 더 과격한 발언을 하기도 했다. 관련 내용은 이곳에서 확인할 수 있다.