오픈AI의 대화형 AI인 챗GPT는 대규모 언어 모델인 GPT-3.5를 기반으로 하고 있으며 마치 인간이 쓴 것처럼 자연스러운 문장으로 대화할 수 있다. 챗GPT의 어떤 점이 획기적일까.
챗GPT에서 획기적인 부분은 지금까지 결정론적 처리를 하던 부분도 모두 확률론적으로 처리를 하고 있다는 점이다. 예를 들어 캡슐 장난감 기계에 1,000원을 넣고 핸들을 돌리면 항상 캡슐이 나온다. 1,000원이라는 입력에 대해 캡슐이라는 출력을 얻을 수 있다는 의미로 캡슐 토이 기계는 결정론적이라고 할 수 있다.
하지만 중요한 캡슐 내용은 같지 않다. 10종류 피규어가 들어간 캡슐 장난감이라면 원하는 피규어가 나올 확률은 10분의 1이다. 이 경우 1,000원이라는 일정한 입력에 대해 캡슐 내용이라는 출력이 다를 수 있다는 걸 생각하면 캡슐 토이 머신은 확률론적이라고 해석할 수 있다.
챗GPT도 이런 캡슐 토이와 마찬가지로 입력된 텍스트에 대해 확률 처리에 따라 단어를 선택하고 출력한다. 챗GPT를 원자가 가진 전자 궤도에 비유하면 수소 원자 전자를 시각화하면 색이 짙을수록 전자가 존재할 확률이 높다는 걸 보여줄 수 있다. 원자핵 주위를 동심원상으로 전자가 돌고 있다는 원자 모델을 학교에서 배우지만 실제로 전자 위치를 명확하게 특정하는 건 불가능하기 때문에 원자핵 주위에 확률적으로 존재한다고 설명할 수 있다. 다시 말해 전자 궤도는 어디까지나 확률 분포를 나타낸 것이다.
챗GPT도 이런 전자 궤도와 마찬가지로 말 확률 분포와 같은 것이다. 챗GPT라는 언어 모델이란 의미가 없는 문자 배열에서 세익스피어 한 구절에 이르기까지 토큰이라고 불리는 문자 집합체가 확률론적으로 존재한다. 그리고 챗GPT 입력란에 단어를 입력하면 토큰 관련성과 확률에 근거한 순위에 따라 문장이 조립되어 간다.
예를 들어 이미지 생성 AI인 스테이블 디퓨전에서 동일 프롬프트와 동일 시드값을 입력하고 동일 설정으로 생성하면 매번 같은 이미지가 생성된다. 스테이블 디퓨전에 특정 프롬프트와 시드값을 입력하면 학습한 내용 특징량이 분포하는 잠재 공간에 있는 특정 포인트를 픽업해 같은 출력을 생성하기 때문이다.
한편 챗GPT는 확률 처리로 문장을 만든다. 보통 가장 순위가 높은 토큰을 선택하도록 설정하지만 챗GPT는 굳이 순위가 낮은 토큰도 선택하도록 설정되어 있다고 한다. 더구나 스테이블 디퓨전이 말하는 시드값을 프롬프트를 입력할 때마다 강제적으로 바꾸는 구조로 되어 있다고 한다. 이 대문에 출력 결과에서 랜덤성이 생긴다는 것이다.
또 챗GPT는 대화를 실시하는 AI이기 때문에 직전에 입력한 프롬프트 뿐 아니라 지금까지의 대화 이력 전체를 취득해 사용하는 사양이다. 이 때문에 챗GPT와 대화를 거듭할수록 입력 프롬프트는 커져 출력량도 증가하는 것 외에 응답 정밀도가 올라간다.
참고로 챗GPT는 인간처럼 언어를 이해하는 게 아니라 확률적으로 문자를 늘어놓고 문장을 만들어내는 것이다. 이 때문에 챗GPT가 확률 처리를 실시해 출력한 문장이 외형은 인간이 쓴 것처럼 자연스러운 문장이더라도 내용은 상충하는 일이 생길 수 있다. 관련 내용은 이곳에서 확인할 수 있다.