100만 명 이상 가입자 수를 자랑하는 체스 관련 유튜브 채널이 2020년 6월 갑자기 유해 위험 콘텐츠를 제공한다는 이유로 폐쇄되어 버렸다. 카네기멜론대학 컴퓨터 과학자 조사에선 이런 수수께끼 같은 채널 폐쇄는 AI가 체스 내 흑백 구조를 인종 차별로 오인한 결과라고 한다.
체스 해설 등을 맡으면서 유튜브 채널을 운영하던 안토니오 라딕(Antonio Radić)은 100만 명 이상 구독자를 보유하고 있었다. 2020년 6월 28일 그의 채널은 그랜드 마스터 해설 동영상을 게시한 직후 갑자기 유튜브에 의해 폐쇄됐다.
계정과 채널은 24시간 뒤에 부활했다. 그는 영상에서 체스 관련 얘기만 했지만 체스 흰색 말과 검은 말을 언급했던 게 폐쇄 이유가 됐을 것으로 추정했다. 유튜브에선 채널 폐쇄 관련한 이유는 설명하지 않았다.
이에 따라 카네기멜론대학 언어기술연구소 연구팀은 체스 관련 인기 유튜브 채널 5개 영상에서 추출한 68만 건 이상 댓글을 증오, 연설 관련 사항을 자동 선별할 수 있게 훈련한 2종류 AI를 이용해 선별했다.
연구팀은 헤이트 스피치로 판단된 댓글 1,000건을 무작위로 샘플링해 수동으로 해당 내용을 검토한 결과 82%에 악의적 표현이 포함되어 있지 않았다고 한다. 또 오판된 댓글에는 화이트와 블랙, 공격, 위협 등 체스에서도 자주 사용되는 용어가 포함된 걸 발견헀다.
연구팀에 따르면 이런 AI에 의한 오판은 그 박에도 보는 것 예를 들어 이미지 인식에서 AI가 게으른 개와 활동적인 개를 말할 때 활동적인 개 사진 대부분은 넓은 초원을 배경으로 하는 경우가 많기 때문에 녹색 잔디가 많이 찍혀 있을 경우 활동적인 개 사진이라고 판정하는 경우가 많은 사례도 있다고 한다.
연구팀은 유튜브에서 AI 학습에 사용되는 데이터세트에 체스의 경우 대부분 포함되어 있지 않기 때문에 이런 오분류가 발생할 수 있다며 인종 차별적 언어 감지 AI에 의존하는 경우 이런 사고가 발생할 수 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.