기계학습을 이용한 얼굴 인식 시스템은 지하철 요금이나 식당 지불을 자동 실시하는 시스템 외에 정부 감시망이나 범죄 수사에도 이용된다. 한편 얼굴 인식 시스템 정확성이나 프라이버시 면에 대해서도 논의되고 있다. 이탈리아 규제 당국이 일부 범죄 수사나 억지 목적 외에는 이용을 금지하거나 미국 대도시가 잇따라 당국에 의한 사용을 금지하고 있다. 그 중에서도 유색인종 인식으로 오인을 일으키기 쉽다는 게 확인되고 있으며 2022년 말 무고한 흑인 남성이 얼굴 인식 시스템 실수로 부당하게 체포된 경우를 변호사가 발표하고 있다.
미국 조지아주에 거주하는 렌델 리드라는 남성은 2022년 11월 조이아 고속도로를 차로 주행하는 동안 경찰에 멈춰지고 루이지애나주에서 일어난 연속 도둑 사건 범행 그룹 중 1명으로 체포됐다. 하지만 그는 절도 등에 관여하지 않았고 루이지애나주를 방문한 적도 없었다고 한다. 보도에 따르면 경찰은 얼굴 인식 시스템에 의해 그가 도둑 용의자라며 영장을 발부했고 얼굴 인식 시스템만을 근거로 그를 체포했다고 한다. 경찰은 오류를 인정했고 그는 일주일 뒤 석방됐다.
그의 변호사는 리드가 감시 카메라에 비친 범인보다 18kg 가량 가볍고 그의 얼굴은 영상 속 범인과 다른 사람이라는 걸 알 수 있음에도 불구하고 경찰은 이런 불일치를 묵인했다고 지적하며 얼굴만으로 판단하고 체포하는 게 위험하다는 걸 경찰도 깨달았을 것이라고 지적했다.
사실 얼굴 인식 시스템은 백인 남성 얼굴은 잘 식별하지만 유색인종과 여성을 식별할 때 부정확한 결과를 내는 게 많다는 걸 연구가 보여주고 있다. 일부 경찰 당국에선 얼굴 인식 시스템이 단서를 얻기 위해서만 사용하고 체포장을 발행하기 위한 유일한 근거로 사용해선 안 된다고 인정하고 있지만 명확하게 얼굴 인식 시스템 기술을 관리하는 규칙이 발행되는 경우는 많지 않다.
한 전문가는 얼굴 인식 시스템 에러로 무고한 인물이 감옥에 들어갈 수 있는 경우는 끊이지 않는다며 용의자를 고소하는 유일한 정당한 이유로 얼굴 인식을 사용하는 게 문제임에도 불구하고 확대하는 경향이 있다고 지적한다.
2020년부터 2021년에 걸쳐 미국 의회가 경찰에 얼굴 인증 금지를 결의하거나 미국 대도시가 잇따라 얼굴 인식 시스템 사용을 금지하는 조례를 통과하는 등 경찰이 얼굴 인식 시스템을 사용하는 걸 금지하는 움직임이 퍼졌다. 하지만 캘리포니아, 버지니아, 루이지애나 주 뉴올리언스 등 많은 주와 도시에서 얼굴 인식 시스템 금지를 철회하고 있으며 얼굴 인식 시스템을 제한하려는 움직임은 기세를 잃고 있다.
루이지애나주 뉴올리언스에선 경찰이 얼굴 인식 시스템을 어떻게 사용하는지에 대한 규칙이 있으며 얼굴 인식은 단서를 얻기 위해서만 사용되어야 하는 경찰 정책으로 정의된다. 하지만 바로 옆 문제가 발생한 지역인 메테리나 미국 내 대부분에선 법 집행 기관은 얼굴 인식을 제한 없이 사용할 수 있으며 대부분 얼굴 인식이 수사에 관여하는 걸 검찰이 공표할 필요조차 없다고 한다. 이는 피고의 헌법상 권리를 침해하는 것이라는 주장이다. 관련 내용은 이곳에서 확인할 수 있다.