인터넷상에는 AI로 생성된 데이터가 넘쳐나고 있지만 이를 훈련 데이터로 사용하면 AI 모델이 원래의 사물을 망각하는 모델 붕괴가 일어난다고 지적되고 있다.
지난 7월 25일 옥스퍼드 대학 연구팀이 AI 모델이 모델 붕괴라 불리는 현상에 대해 근본적으로 취약하다는 걸 보여주는 논문을 학술지 네이처에 발표했다. 논문에 따르면 다른 AI 모델에 의해 생성된 데이터로부터 무차별적으로 학습하면 AI 모델이 모델 붕괴를 일으킨다고 한다. 모델 붕괴는 시간이 지남에 따라 AI 모델이 기초가 되는 데이터 분포를 잊어버리는 퇴화 과정을 가리킨다.
AI 모델 본질은 패턴 매칭 시스템에 있다. 훈련 데이터 내의 패턴을 학습하고 입력된 프롬프트를 그 패턴과 대조해 가장 가능성이 높은 걸 출력하는 것이다. 맛있는 스니커두들 레시피는 뭐냐 또는 취임 시 나이순으로 미국 역대 대통령을 나열해달라 같은 질문에도 기본적으로 AI 모델은 일련의 단어 중 가장 가능성 높은 연속을 출력할 뿐이다.
하지만 AI 모델 출력은 가장 일반적인 것에 끌리는 성질을 갖고 있다. AI 모델은 논란의 여지가 있는 스니커두들 레시피가 아닌 가장 인기 있는 보통 레시피를 답변으로 출력하기 쉽다는 것이다. 이는 이미지 생성 AI에서도 마찬가지로 예를 들어 개 이미지를 생성해달라고 입력하면 훈련 데이터에 몇 장밖에 포함되지 않은 개 품종 이미지가 출력되는 일은 없다.
현재 인터넷상에는 다양한 AI 생성 콘텐츠가 넘쳐나고 있기 때문에 새로운 AI 모델이 등장할 때 AI 생성 콘텐츠를 훈련 데이터로 활용할 가능성이 충분하다. 하지만 AI 모델이 앞서 언급한 대로 가장 일반적인 걸 출력한다는 점을 고려하면 AI 생성 콘텐츠를 훈련 데이터로 활용한 새로운 AI 모델은 개 90% 이상이 골든 리트리버라고 생각하게 될 것이다. 이 사이클이 반복해서 일어나면 AI 모델은 개가 무엇인지를 근본적으로 잊어버리게 되며 이게 모델 붕괴라고 불리는 이유다.
이 프로세스를 알기 쉽게 4단계로 나눠보면 (a) 어떤 AI 모델(AI 모델 1)을 훈련할 때 다양한 개 품종 이미지를 사용했다고 가정한다. 다음으로 (b) 이 AI 모델 1이 출력하는 개 이미지는 훈련 데이터에 가장 많이 포함됐던 골든 리트리버 이미지가 많아진다. 이어 (c) AI 모델 1이 출력한 개 이미지를 훈련 데이터로 사용한 새로운 AI 모델(AI 모델 2)이 등장한다. 마지막으로 (d) 이 사이클을 반복하다 보면 AI 모델은 개 이미지가 어떤 것인지 잊어버리게 된다.
언어 모델이나 기타 모델이라도 기본적으로 AI 모델은 답변을 얻기 위해 훈련 데이터세트 중에서 가장 일반적인 데이터를 우선시한다. 따라서 AI 생성 콘텐츠를 훈련 데이터로 활용할 경우 모델 붕괴가 문제가 되는 것.
기본적으로 AI 모델이 서로의 데이터로 훈련을 계속하면 모르는 사이에 AI 모델이 어리석어지고 최종적으로 붕괴하게 된다. 연구팀은 여러 완화책을 제시하고 있지만 이론상으로는 모델 붕괴를 피할 수 없다고 기술했다.
연구팀은 웹에서 수집한 대규모 데이터세트로 AI 모델을 훈련하는 이점을 유지하려면 모델 붕괴 위기를 진지하게 받아들여야 한다며 인터넷에서 수집된 데이터에 대규모 언어 모델(LLM)이 생성한 콘텐츠가 포함되어 있다는 점을 고려하면 시스템과 인간간 진정한 상호작용에 대해 수집된 데이터 가치는 점점 더 높아질 것이라고 밝혔다. 또기술이 대규모로 채택되기 전에 인터넷에서 수집된 데이터에 접근하거나 인간이 대규모로 생성한 데이터에 직접 접근하지 않고 새로운 버전 LLM을 훈련하는 건 점점 더 어려워질 가능성이 있다고 기술하고 있다. 관련 내용은 이곳에서 확인할 수 있다.