전문가와 클라우드 워커가 실시한 라벨링 작업과 GPT-4를 이용한 라벨링 작업을 비교한 결과 GPT-4 작업물은 클라우드 워커 평균 작업 내용보다 전문가 작업 내용에 가까웠다고 한다. GPT-4에 맡겨 절약 가능한 시간은 2만 시간이며 절약 가능한 비용은 50만 달러에 이른다.
57만 2,322건 텍스트 시나리오에 주석 달기라는 과제 달성에 있어 세계 최고 라벨링 플랫폼인 서지 AI(Surge AI)에서 톱클래스 작업자를 고용하면 1시간당 25달러가 든다고 한다. 2만 시간 작업을 하면 비용은 50만 달러로 상당히 큰 투자다.
연구자는 과제를 달성할 수 있는 비용 효율적인 방법을 찾아 맞춤 프롬프트를 사용한 GPT-4로 라벨링을 자동화하는 능력을 테스트했다. 전문가 3명과 클라우드 워커 3명이 작성한 2,000건 라벨링 데이터와 GPT-4에 의한 라벨링 내용을 비교했다.
그러자 GPT-4 라벨링은 클라우드 워커가 실시한 평균 라벨링보다 전문가에 의한 라벨링과 강한 상관성을 나타냈다고 한다. 이 과제를 달성할 때 GPT-4 도움을 받으면 비용은 5,000달러 미만으로 억제할 수 있으며 시간도 대폭 절약할 수 있다.
이 사실은 클라우드 워킹 선행이 그다지 밝지 않다는 걸 느끼게 하지만 클라우드 워커 권리를 지키는 NPO 관계자는 아직도 인간의 눈을 믿고 라이팅이라고 판단하는 게 그냥 문장을 만드는 게 아니라며 현재와 당분간 작업 판단을 위해 작업자와 같은 사람이 필요할 것이라며 여전히 인간 작업자보다 GPT 능력에 자신감을 갖기에는 미해결 문제가 너무 많다고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.