AI 신뢰도를 AI 자신이 평가하는 기술 개발된다

AI는 코로나19 기침 소리를 감지하고 인간과 같은 수준 텍스트를 생성하는 등 다양한 상황에서 활용되고 있다. 이런 AI가 산출한 계산 결과가 정확한지를 AI 자신에게 판단하게 하는 기술이 새롭게 개발됐다.

AI는 자율주행 차량 등 생명 위험에 관련된 분야에도 응용되고 있기 때문에 AI 계산 결과 신뢰성을 평가하는 건 중요하다. 이런 이유로 MIT 컴퓨터과학인공지능연구소 CSAIL 연구자가 AI 자신에 AI 계산 결과 신뢰도를 평가하는 시스템을 고안했다. 개발한 신뢰성 평가 시스템은 DER(Deep Evidential Regression)로 AI가 잘못된 판단을 하고 있는지 AI 자신에게 인식시키는 걸 목표로 했다. 1% 실수를 효율적으로 확실하게 검출하는 걸 목표로 하는 것.

지금까지 AI 신뢰성을 평가하는 시스템이 존재하고 있으며 시스템에 AI가 활용되는 사례도 존재했다. 하지만 어떤 기존 시스템에도 신뢰성을 평가하기 위해 엄청난 시간을 필요로 하고 있다. 한편 DER은 빠르게 신뢰성을 평가하는 게 가능하고 AI 계산 결과와 동시에 신뢰성을 평가할 수 있다.

DER은 연구 단계 테스트는 자율주행 기술에 이용되는 것으로 가정하고 이미지 깊이를 결정하는 AI를 이용한 결과와 동시에 신뢰성 판단 결과를 출력했다. 연구에 사용된 AI는 기존 AI와 같은 정도 정밀도로 판정하는 데 성공했다. 또 AI는 계산 결과가 잘못되면 동시에 AI는 그 계산 결과가 신뢰성이 가장 낮다고 출력하고 있었다고 한다. 다시 말해 AI는 게산 결과와 신뢰성 평가를 동시에 정밀하게 수행하는데 성공했다는 것.

또 DER을 탑재한 AI를 실내 이미지에서 학습을 야외에서 사용했는데 AI는 학습된 데이터를 적용할 수 있다고 경고하고 있다. 이는 AI가 평소와 다르다는 상태를 인식했다는 것으로 이 깃루을 의료 현장에서 이상을 발견하는 용도 등에 이용하는 것도 생각할 수 있다.

연구팀은 DER은 다양한 AI에 적용할 수 있고 학습 모델을 사용하는 AI 평가에 사용해 신뢰성을 평가해 AI를 이용했을 때 발생하는 오류량과 누락된 데이터를 밝힐 가능성이 있다고 설명하고 있다. AI는 의료 현장이나 자동차 자율주행 등 인간 생명에 관련되는 분야에서도 많이 사용되고 있다며 AI 자신이 계산 결과 신뢰성을 평가하는 게 중요하다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.