정용환 기자
챗봇은 인간 질문에 대해 자연스럽게 대답할 수 있기 때문에 멘탈케어 분야에서도 활용되고 있다. 이론 목적으로 챗봇을 이용하는 비영리단체가 실제 인물을 대상으로 실험에 참가하겠다는 공식적 동의 없이 또 참가자에 대한 보호도 없이 실험을 해 강하 비난을 받고 있다.
멘탈케어 비영리 단체 코코(Koko) 창업자인 롭 모리스는 지난 1월 7일 GPT-3을 이용해 4,000명에게 정신 건강 지원을 제공했다며 세부 사항을 밝혔다. 그에 따르면 AI가 작성해 인간이 재작업하는 형태 메시지는 인간이 생각한 메시지보다 높은 평가를 얻고 응답 시간을 50% 단축할 수 있었다고 한다. 하지만 메시지가 기계에 의해 생성됐다는 걸 멘탈케어를 받은 사람이 알면 메시지는 거의 작동하지 않게 된다.
코코 알고리즘은 페이스북과 디스코드, 텀블러 등 플랫폼에서 정신 건강에 해를 끼칠 수 있는 사람을 감지하면 해당 사용자를 코코 플랫폼으로 안내한다. 사용자가 코코 개인정보취급방침과 서비스 이용 약관에 동의하면 실험 참여에도 동의하게 된다.
사용자가 코코를 이용하기 시작하면 챗봇은 어떤 게 괴로운지 묻고 사용자를 핫라인에 번호를 제공하는 그룹과 챗봇이 안내하는 1분 세션을 수행하는 그룹으로 무작위 할당한다. 이어 사용자는 고민하는 이유가 뭔지, 대처하기 위해 뭘 할 수 있는지, 고민을 상담할 상대가 있는지 질문을 받는다. 마지막으로 정신 건강에 관한 안전 계획으로 정신 건강이 크게 상하면 긴급할 때 누구에게 전화할 수 있는지, 특정인이 없다면 전용 핫라인을 기록해 만일의 경우 연락하는 번호를 저장한 뒤 스크린샷을 찍으라는 메시지가 나타난다. 이 안심할 수 있는 핫라인을 확보하는 건 중요하지만 24시간 365일 전 세계 어디라도 연결되는 핫라인은 실현 불가능한 만큼 모리스는 SNS 같은 플랫폼이 코코 챗봇에 정신 건강 관리를 요구하는 사용자를 유도하기를 기대한다.
검토 전 논문에 따르면 참가자 374명을 전화해 상담할 수 있는 핫라인으로 번호를 안내받은 그룹, 챗봇이 안내하는 1분간 세션을 하는 그룹으로 무작위 배분한 결과 코코 챗봇에 의해 세션 안내를 받은 사람은 핫라인에 안내된 사람보다 10분 뒤 절망감이 크게 감소했다는 보고가 많았다고 한다. 또 코코가 추천하는 동물을 껴안거나 재미있는 걸 보고 비디오 게임을 하거나 그림을 그리는 등 세션을 통해 사용자 무력감을 줄일 수 있었다고 밝히고 있다.
이번에 발표한 코코 측 실험에 대해 AI 윤리학자나 전문가, 일부 사용자는 경계감을 드러내고 있다. 한 전문가는 실험 이점으로 사람들이 정신건강 관리에서 챗봇을 좋아하지 않는다는 사실을 언급하지 않았고 앱을 통해 실험이 이뤄졌으며 이는 위험 신호라고 지적했다. 또 다른 전문가는 AI를 신뢰해 정신건강 환자를 치료하는 건 큰 해를 끼칠 수 있다며 언어 모델은 교육 데이터와 입력 프롬프트가 주어지면 그럴싸하게 들리는 텍스트를 생성하는 것이라며 자신의 상황을 이해하지 못하며 정신건강이라는 민감한 분야에서 이런 걸 사용하는 건 미지의 위험을 감수하는 일이라고 지적했다. 더 중요한 문제는 챗봇이 유해한 제안을 했을 때 누가 채임을 지는지라고 덧붙였다.
또 다른 전문가는 완전히 무섭고 비윤리적이라며 실험 대상자는 어느 정도 정신에 위기를 느끼는 사람으로 이들이 이용약관을 차분하게 읽을 수 있다고는 생각하기 어렵기 때문에 코코 측 실험은 참가자에 대한 보호가 부족하다고 지적했다. 이 같은 비난에 대해 모리스는 실험 참가자는 반드시 코코봇과 공동으로 쓰였다고 명기된 메시지를 받고 있으며 자신의 멘탈케어를 위해 해당 문장을 읽는지 여부를 선택할 수 있었다고 설명한 것 외에 코코는 개인 정보를 전혀 사용하지 않았고 연구에 대한 상세 데이터를 공개적으로 발표할 예정은 없다고 주장했다. 코코 측은 이번 연구 목적은 거대한 소셜미디어 플랫폼이 위기에 처한 사용자에게 제공하는 리소스를 개선해야 한다는 필요성을 밝히는 것이라고 말한다. 코코는 소셜미디어 기업에 자살방지키트로 사용자를 코코에 유도하는 프로그램을 제공해나갈 예정이다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
