AI 자살 상담 채팅 데이터를 영리 기업에 공유?

자살 전문 상담 창구가 영리 목적 기업과 사용자 데이터를 공유하고 있는 게 밝혀졌다. 이 영리 기업은 사용자 데이터를 바탕으로 고객 서비스 소프트웨어를 제작, 판매하고 있으며 자살 상담 창구는 소프트웨어 수익 일부를 받고 있다는 것.

크라이시스텍스트라인(Crisis Text Line)은 전 세계에서 가장 유명한 정신 건강 지원 채팅 서비스 중 하나로 빅데이터와 인공지능을 이용해 자상 행위나 정신적 학대, 자살 등 트라우마에 대처하는 방법을 상담자에게 조언해주는 비영리단체다. 그런데 이곳이 사용자와의 온라인 텍스트 채팅 내용을 수집하고 이 정보를 영리 목적 기업인 로리스(Loris)에 공유하고 있다고 한다.

로리스는 크라이시스텍스트라인으로부터 얻은 데이터를 화용해 고객 서비스 소프트웨어를 제작한다. 또 크라이시스텍스트라인은 로리스와 수익 분배 계약을 체결했으며 고객 서비스 소프트웨어 판매로부터 일정 이익을 얻고 있다.

크라이시스텍스트라인은 로리스와 공유한 데이터에 대해 완전히 익명화됐으며 상담자를 식별하는데 도움이 되는 모든 정보가 삭제됐다며 각 텍스트 담당자는 사용자 동의를 하며 데이터 공유 관행에 대해선 이용 약관과 개인 정보 취급 방침에 명확하게 기재되어 있다고 주장하고 있다.

한편 프라이버시 전문가는 익명화된 데이터세트에서 개인을 식별하는 건 간단하다고 말하고 익명화되어 있다고 해서 사용자 식별에 연결되지 않는 건 아니라고 지적한다. 사실 웹브라우저 인터넷 사용 기록에서 개인을 식별하거나 익명 소스코드에서 저자를 식별할 수 있어 크라이시스텍스트라인 공유 데이터에서 사용자를 식별할 수 없다. 또 다른 전문가는 크라이시스텍스트라인은 법적 동의를 얻어 사용자 데이터를 공유하고 있는지 모르지만 실제로는 의미 있고 감정적인 완전히 이해된 동의를 사용자로부터 얻을 수 있겠냐고 되물었다.

참고로 크라이시스텍스트라인에서 과거에 자원봉사자로 일했던 한 인물은 이곳에서 데이터 공유 관행을 개선하기 위한 탄원을 체인지닷오알지에서 실시하기도 했다. 관련 내용은 이곳에서 확인할 수 있다.