2018년 한 남성이 미국 뉴욕에 위치한 할인 스토어(TJ Maxx)에서 체포됐다. 결찰은 남성의 알리바이를 조사하지 않고 단 한 가지 증거에 근거해 수사를 진행했다. 보안 영상과 얼굴 인증 데이터베이스를 대조, 일치 가능성이 있는 얼굴을 찾아서 해당 얼굴을 목격자에게 보내고 목격자에게 이 남성이 맞다는 증언을 얻은 것. 결국 남성은 6개월 구류된 데다 무죄를 호소했음에도 유죄 판결을 받았다.
이 사건은 우연히 일어난 극단적 비극이 아니다. 증가하는 추세 중 예일 뿐이다. 조지타운법률센터 보고서는 사법기관이 사람을 잡는 단 한 가지 근거로 얼굴 인식을 이용하는 현상을 기록하고 있다. 하지만 얼굴 인식 기술은 정밀도와 바이어스라는 의미에서 아직 심각한 문제를 안고 있다. 미국 경찰은 얼굴 인식 기술이라는 신뢰할 수 있는 특정 툴이라는 인식 하에 20년 이상 계속 사용해왔다. 이런 경찰 인식은 지금까지 전혀 검증되지 않은 건 아니다. 얼굴 인식 기술이 신뢰할 수 있는 단서를 만들어내지 않고 오히려 착각이나 오인 체포 위험을 초래한다고 여겨지는 이유는 많다.
여러 연구에 따르면 얼굴 인식 기술은 여성과 유색 인종, 그 중에서도 피부색이 짙은 사람 특정에선 정확도가 떨어지는 것으로 나타났다 이 문제를 상당히 심각하며 일부 전문가는 얼굴 인식 기술을 완전히 금지해야 한다는 의견도 있다. 가장 좋은 조건에서도 얼굴 인식 기술을 사용하는 인간 자신이 문제가 될 수도 있다. 보고서에 따르면 알고리즘과 인간이 서로 실수를 증폭시킬 수 있다는 것. 사용자는 기술 정확성에 대해 잘못된 인식을 가질 수 있으며 얼굴 인식 스캔에 표시된 용의자 후보 목록을 본 사람은 인물 속성과 표정 같은 얼굴 특징에서 편견을 받을 수 있다. 보고서는 과거 20년 이상에 걸쳐 사용하면서 얼굴 인식 알고리즘은 개선됐지만 얼굴을 검색하는 인간은 전혀 개선되지 않고 있다는 지적이다. 경찰은 아직도 인지 바이어스와 악용, 오용을 막기 위한 정책이나 연수 프로그램을 의무화되어 있지 않다.
사법기관 상층부나 얼굴 인식 소프트웨어를 만드는 기업은 이 문제를 인정하고 얼굴 인식 기술은 어디까지나 단서로 사용하는데 머물러야 한다고 발언하는 경우도 자주 있다. 하지만 현장 수사관이 이 충고를 무시하고 있다는 걸 발견했다고 한다. 보고서는 경찰이 얼굴 인식 기술에 의한 증거를 체포하기 위한 확실한 증거로 사용했던 몇 가지 사례를 다룬다.
문제는 얼굴 인식 기술이 어떻게 사용되는지 명확한 지침이 없다는 것이다. 그 이유 중 하나는 얼굴 인식 기술이 여전히 새로운 것이다. 하지만 또 다른 이유는 얼굴 인식 기술의 단점을 완전히 이해하지 못하는 것이다. 가이드라인이 만일 만들어졌다면 이 때에는 무고한 사람을 기소했을 때에도 사용할 수 있을 것이라고 보고서는 밝히고 있다. 정보가 공개되지 않기 때문에 얼굴 인식 기술로 체포된 사람이 얼마나 있는지는 알 수 없다. 하지만 보고서에 따르면 숫자는 계속 증가하고 있다.
사법기관은 수사에 얼굴 인식 기술을 사용할 때 공개하지 않는 경우가 많지만 용의자 측에는 불리해진다. 불완전한 기술로부터 탄생한 증거가 사용되고 있어도 이를 모르면 이의를 제기할 수 없기 때문이다. 보고서에선 얼굴 인식 기술 결과는 그다지 신뢰할 수 없기 때문에 피의자가 불리하지 않게 되도록 검찰 측이 공개해야 하는 증거(Brady material)로 생각해선 안 된다고 밝히고 있다. 보고서에 따르면 형사 사건에서 얼굴 인식 기술 이용 세부 사항을 공개하지 않는 건 법적 권리 침해가 된다. 이는 당연한 절차 위반으로 2001년부터 계속 일어나고 있다는 것. 얼굴 인식 기술이 100% 완벽하지 않은 걸 모두 잘 알고 있음에도 경찰 등이 얼굴 인식 결과를 편리하게 이용해 버리고 있다는 것이다. 어려운 문제를 해결하려고 의사 결정에서 인적 오류를 제거하려고 하면 인공적, 중립적인 수학 기반 접근법을 필요 이상으로 믿어 버리는 경향이 아직도 있지만 이는 잘못된 접근법이라는 것이다. 관련 내용은 이곳에서 확인할 수 있다.