메타는 미성년자가 SNS에서 성적 위협을 받는 섹스토션 피해 대책으로 DM으로 전송되는 누드 이미지를 감지해 흐리게 하고 추가로 경고 화면을 표시하는 기능을 인스타그램에 탑재하는 테스트를 실시할 것이라고 발표했다.
섹스토션은 성적 위협을 의미하며 가해자가 피해자와 SNS를 통해 친밀한 관계를 구축한 뒤 알몸 사진이나 동영상 등 사적인 이미지를 보내도록 요구하거나 온라인에서의 성적인 행위를 강요하고 획득한 이미지나 동영상을 이용해 협박해 금전이나 추가 성적 행위를 요구하는 행위다. 섹스토션은 청소년을 중심으로 심각한 문제가 되고 있으며 피해자 정신 건강에 큰 영향을 미치며 때론 자살에 이르게 하는 경우도 있다.
메타가 발표한 새로운 기능은 인스타그램 DM으로 전송된 이미지에 누드 콘텐츠가 포함되어 있는지를 머신러닝 알고리즘을 사용해 분석한다. 이 머신러닝 알고리즘은 사용자 기기에서 작동하기 때문에 엔드투엔드 암호화된 채팅에서도 기능한다.
전송하려는 이미지에 누드 콘텐츠가 포함되어 있다고 알고리즘이 판단하면 이미지는 자동으로 흐려지고 민감한 이미지를 공유할 때에는 주의하라는 경고 화면이 표시된다. 누드 이미지를 받은 경우에도 이미지에 자동으로 흐림 처리가 되고 경고 화면이 표시되며 이미지를 표시할지 여부를 선택할 수 있다. 받은 누드 이미지를 다른 사람에게 전송하려고 해도 경고 화면이 표시된다. 또 경고 화면에서 상대방을 차단하고 신고할 수도 있다.
메타에 따르면 18세 미만 사용자에 대해선 기본적으로 이 기능을 켜는 것을 고려하고 있으며 섹스토션을 시사하는 다양한 신호를 기반으로 섹스토션을 사전에 감지하는 시스템도 개발 중이라고 한다.
메타는 아동 안전 정책 위반 계정 및 행동을 공유하는 랜턴(Lantern) 프로그램 창립 회원사 중 하나다. 메타는 랜턴을 통해 섹스토션 관련 정보를 다른 기업과 공유하고 다른 SNS가 섹스토션 가해자로 의심되는 계정을 식별해 적절한 조치를 취할 수 있도록 지원할 것이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.