미국 뉴욕시가 AI에 구인 서류 심사를 맡기는 기업에 대한 자동 고용 결정 툴법(Automated Employment Decision Tools Law)을 조례화했다.
이 조례 하에선 AI 사용 전 기업은 인종, 성별 차별이 AI 도구에 포함되어 있지 않다는 걸 증명해야 한다. 이 조례는 2021년 제안되어 얼마 전 시행됐다. 뉴욕시는 이에 따라 AI 인사 관련 조례를 시행한 첫 도시가 됐다. AI 인사에선 응모 서류 체크, 승진 적합도 등을 알고리즘을 통해 AI가 심사하고 인간에 의한 최종 전형에 건네주는 형태다.
AI를 인사에 적용하려는 기업은 먼저 바이어스가 없는지 검사를 받아야 한다. 만일 검사 위반이 있으면 첫 번째는 500달러 벌금, 2번째와 3번째 계속 된다면 1,500달러까지 벌금이 올라간다.
조례에 준하지 않는 AI를 사용하는 기업은 AI당 하루 최대 1,500달러씩 벌금이 부과된다. 바이어스 검사는 남녀 범주, 인종 범주, 민족성이나 국가, 성별, 계급, 섹슈얼리티 등 교차성 범주 등으로 나눠 비율을 계산한다고 조례는 설명하고 있다. 엄격한 감사를 받기까지 AI 인사를 사용하는 이유로는 역시 이력서 수백 개를 봐야 하는 노동력 감축을 들 수 있지만 AI도 인간과 마찬가지로 후보자에 대해 스테레오타입이나 차별 위험도 있다.
한 전문가는 이런 위험은 모두에 있어 가능성이 있고 간과되고 있다며 인간은 알고리즘이 선택한 데이터가 뭔지 나타내고 있는지 설명할 수 없는 경우도 있다며 시간을 들여 제대로 추적하고 데이터를 모아 분석하고 보고하면 이런 조례에 변화를 가져올 수 있을 것이라고 밝히고 있다.
또 조례에선 기업은 응모자에게 다른 전형 프로세스나 다른 조례에 있어 합리적 배려를 낼 수 있다는 대체안이 있어야 한다고도 적고 있다. AI 전형을 사전에 응모자에게 알려 해당 전형 방법이 싫다고 하면 다른 전형 방법을 취하는 걸 선택할 수 있게 해야 한다는 것이다. 다만 기업이 다른 전형 방법을 나타내는 게 필수는 아니라고 한다.
앞으론 이 조례가 다른 도시, 다른 국가까지 퍼질 가능성도 있다. 다만 이 조례가 연령이나 신체 장애 등을 포함한 중요한 분야까지 커버하고 있다고는 할 수 없다. 전문가는 AI 인사에 룰리 생긴 건 다행이지만 빠진 것도 있다면서 예를 들어 연령에 대한 차별 카테고리가 없고 신체 장애에 대해서도 마찬가지로 지적했다. 현재 실제로 어떻게 AI 인사에 대한 감사가 이뤄질지는 불분명하지만 뉴욕 노동 당국은 AI 인사를 하는 기업에 대한 클레임을 모아 조사해나갈 것이라고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.