영국 킹스칼리지런던 연구팀에 따르면 무인 자율주행 차량 시스템에는 바이어스 문제가 존재하는 것으로 알려졌다. 이 연구에선 자율주행에 사용하는 AI 탑재 보행자 검출 시스템 8개에 대한 조사가 이뤄졌다.
연구팀은 8,000장 이상 이미지를 분석했다. 그 결과 자율주행차 시스템은 어린이보다 성인 보행자를 20%, 어두운 피부색 보행자보다 밝은 피부색 보행자를 7.5% 이상 정확한 결과로 검출하는 능력이 있다고 한다. 그 뿐 아니라 AI는 어두운 조명이나 낮은 설정에선 짙은 피부색 사람을 검출하는 능력이 더 낮아져 그 결과 야간 안전성이 저하되어 버린다는 것도 확인했다고 한다.
자동화가 진행되는 가운데 미래에는 아이나 유색인종이 도로를 횡단할 때 더 위험해져버릴 가능성도 있는 셈이다. 연구팀은 AI 공정성은 특권을 가진 그룹과 갖지 못한 그룹을 동일하게 취급하는 것이어야 하지만 자율주행차에 관해선 이 같은 공정이 없는 상태라고 지적하고 있다.
자동차 제조업체는 보행자 탐지에 사용하는 소프트웨어 세부 사항을 공개하지 않지만 보통 소프트웨어는 일반 연구에서 사용한 것과 같은 동일 오픈소스 시스템을 기반으로 구축된다. 따라서 연구팀은 실제 자동차 제조사가 사용하는 보행자 검출도 이번 연구 결과와 같은 편견 문제에 직면하고 있을 가능성이 높다고 지적했다.
연구팀이 밝혔듯 시장에서 실제로 전개되는 자율주행차 기업이 사용하는 소프트웨어를 직접 검증한 건 아니지만 자율주행차가 앞으로 늘어나면 점점 증가할 안전상 우려를 보여주는 건 확실하다. 얼마 전 미국 캘리포니아주는 샌프란시스코에서 자율주행 택시에 대한 24시간 운행 허가를 웨이모와 크루즈에 낸 상태다. 하지만 이미 자율주행 택시를 사고를 일으키고 있어 샌프란시스코 시내에선 항의의 목소리도 나오고 있다. 웨이모 측은 이번 연구가 자율주행 차량에서 사용하는 모든 도구를 대표하는 건 아니라고 반박하고 있다. 웨이모는 보행자를 감지하기 위해 카메라 이미지만 사용하지 않는다. 카메라만으로 검출이 어려운 환경에선 더 적극적으로 감지하기 위해 라이다와 레이더를 포함한 센서를 이용하고 있다는 것.
연구팀에 따르면 아이나 어두운 피부색 사람 검출율이 떨어지는 큰 문제로 AI를 학습시키기 위해 사용하는 데이터 중 성인이나 밝은 피부색 인종이 많이 포함되어 있어 이 같은 바이어스가 발생하고 있다고 한다. 알고리즘은 데이터에 존재하는 바이어스와 알고리즘을 만든 이들의 마음을 반영한다고 할 수 있다. 일반 예로 얼굴 인식 소프트웨어는 여성, 어두운 피부색 인종, 아시아계 얼굴에 대해 일관되게 정확도가 낮다는 결과도 나온 바 있다. 관련 내용은 이곳에서 확인할 수 있다.