챗GPT는 자연 언어 처리에 큰 변화를 가져왔다고 해도 좋은 존재지만 팩트체크나 수학이라는 기본 태스크로 문제가 나오는 일이 있다. 메타 대규모 언어 모델인 툴포머(Toolformer)는 언어 모델 부분을 희생하지 않고 외부 도구를 API를 통해 사용하는 방법을 학습하고 있으며 검색엔진, 계산기, 캘린더 등을 사용할 수 있다.
툴포머는 어떤 API를 호출할지, 언제 호출할지, 어떤 인수를 전달할지 그리고 결과를 미래 토큰 예측을 최적으로 통합하는 방법을 결정하도록 훈련된 모델이라는 것. 교육에서 연구자는 각 API를 사용하는 방법을 보여주는 사람이 만든 소형 샘플 세트를 제공하고 잠재적 API 호출로 대규모 언어 모델 데이터세트에 주석 달기를 허용한다. 인간의 명시적 지도 없이도 학습할 수 있도록 한 결과 툴포머는 텍스트 기반 API 호출을 다른 형식 텍스트인 것처럼 예측하는 걸 학습했다고 한다.
지금까지 대규모 언어 모델은 수학에 어울리지 않았지만 툴포머는 API에서 계산기를 호출해 이 문제를 피할 수 있다. 보도에선 대규모 언어 모델이 API를 호출할 수 있도록 해 앱 내 사용자 데이터에 손해를 주거나 브라우저 등을 통해 외부에서 문제를 일으킬 수 있다고 지적하고 있다. 관련 내용은 이곳에서 확인할 수 있다.