AI가 예상 외 능력을 갖게 되는 걸 이머전트(emergent)라고 한다. 생물학에서 이머전트란 대량 물체가 하나가 되어 기능하는 자기 조직화나 집단행동을 의미하지만 AI 연구 세계에선 갑자기 지금까지 불가능하다고 생각되던 태스크를 해낼 수 있게 되는 걸 의미한다. 최근 대규모 언어 모델을 연구하는 전문가 사이에서 대규모 언어 모델의 이머전트가 화제가 되고 있다.
대규모 언어 모델은 규모가 커질수록 필요한 연산 리소스가 늘지만 더 복잡한 추론을 해낼 수 있게 되어 문장 생성 정밀도가 올라간다. 지금까지는 규모가 커지는 것으로 알려진 태스크 성능이 향상된다고 생각됐지만 이 뿐 아니라 지금까지 불가능하다고 여겨지던 태스크도 처리할 수 있는 일이 발생하는 게 밝혀졌다. 다만 이런 AI 이머전트가 왜 일어나고 있는지는 AI 연구자나 개발자도 아직 알 수 없다.
2017년 구글 연구팀은 트랜스포머(Transformer)라는 새로운 아키텍처를 자연어 처리 분야에 도입했다. 그때까지 도입된 회귀형 신경망 RNN은 긴 문장을 올바르게 처리하는 건 어렵다는 문제가 있었지만 트랜스포머는 모든 단어를 동시에 처리할 수 있기 때문에 긴 문장을 병렬로 처리할 수 있다.
트랜스포머를 도입하면 모델 파라미터 수 등을 늘려 언어 모델을 더 복잡하고 대규모로 만들 수 있었다. 모델 파라미터 수가 많을수록 단어와 단어 접속을 더 정확하게 실시하는 게 가능해져 인간에 가까운 정밀도로 자연스러운 문장을 만들 수 있게 된다.
대규모 언어 모델 파라미터 수는 매일 연구 개발이 진행되면서 점점 커지고 있으며 구글 PaLM은 파라미터 수 5,400억, 오픈AI GPT-4는 100조에 이른다. 하지만 그만큼 거대한 파라미터 수를 자랑하는 대규모 언어 모델은 더 정밀도가 높은 문장을 빠르게 생성할 수 있을 뿐 아니라 지금까지 불가능했던 태스크를 할 수 있게 된다는 이머전트를 보이게 되어 왔다는 것이다.
AI 기업인 딥마인드 엔지니어는 대화형 AI인 챗GPT를 이용해 리눅스 가상 머신을 구축하고 여기에 소수 처음 10개를 계산시키는 간단한 프로그램 실행에 성공했다고 보고했다. 챗GPT는 원래는 대화 형식으로 문장을 생성하는 AI이며 컴퓨터를 에뮬레이트하는 태스크를 해낸 건 바로 챗GPT의 이머전트락 할 수 있는 사건이라고 할 수 있다.
2020년 구글 리서치 연구원은 대규모 언어 모델이 큰 변화를 가져올 것으로 예측하고 프로젝트(Beyond the Imitation Game Benchmark)를 시작했다. 이 프로제트는 다양한 대규모 언어 모델에 204가지 과제를 부여하고 어떻게 지우는지 확인하는 것이었다.
또 파라미터 수가 수백만 정도로 비교적 소규모인 모델은 3자리 가산 또는 2자리 곱셈 문제를 올바르게 클리어할 수 없었지만 파라미터 수백억이라는 큰 모델에선 응답 정밀도가 급상승했다고 한다. 대규모 언어 모델 파라미터 수가 커지면 해답 정밀도가 급격하게 상승하는 현상은 국제 음성 기호 해독이나 힌디어, 영어를 조합한 문장 해독, 스와힐리어 속담 영역 등 다른 복잡한 태스크에서도 보였다고 한다.
모델 복잡성만이 이머전트 원인이 되는 건 아니라는 지적이다. 데이터 품질이 높으면 파라미터 수가 적은 작은 모델에서도 이머전트가 인정되기 때문이다. 또 쿼리 표현 방법도 모델 응답 정밀도에 영향이 보였다고 한다.
하지만 AI 예측 불가능성은 유해 콘텐츠를 생성할 가능성도 밝혀지지 않았다. AI 기업인 앤트로픽(Anthropic) 연구에선 모델 파라미터 수가 커지면 사회적 편견이 나타나는 것으로 보고됐다. 다만 스테레오 타입이나 사회적 편견을 포함하지 않도록 모델을 지시하면 모델 예측이나 반응으로부터 편향이 없어졌다는 것. 이 연구팀은 창의적 특성이 모델 편향을 줄이기 위해 일할 가능성을 시사한다고 보고한다. 앤트로픽 연구팀은 이 연구 결과에서 대규모 언어 모델에 도덕적 자기 수정 모드를 탑재하려는 시도를 언급했다. 관련 내용은 이곳에서 확인할 수 있다.