AI는 사고하나 사고하는 것처럼 보이는가

AI 기술은 급속히 발전하고 있으며 고도한 문제에 답변하거나 상당히 자연스러운 대화를 할 수 있는 등 높은 능력을 발휘할 수 있다. 한편 AI는 사고하고 있는가 아니면 사고하는 것처럼 보이는 것뿐인가라는 의문은 항상 존재하고 있다.

오픈AI o1이나 딥시크 r1 같은 대규모 언어 모델은 큰 문제를 작은 문제로 분해하고 단계적으로 해결하는 사고 연쇄 추론을 통해 복잡한 논리적 사고력을 발휘하고 있다. 사고 연쇄 추론은 어려운 퍼즐을 풀거나 완벽한 코드를 빠르게 작성할 수 있지만 반면 매우 간단한 문제에서는 인간이 하지 않을 실수를 하기도 한다. 이를 이유로 일부 AI 전문가는 추론 모델은 실제로는 전혀 추론하지 않는다고 주장한다.

우선 추론의 정의에 대해 오픈AI 같은 AI 기업은 언어 모델이 문제를 작은 문제로 분해하고 단계적으로 접근헤 결과적으로 더 나은 해결책에 도달하는 것이라는 의미로 사용하고 있다. 하지만 이는 일반적인 정의와 비교하면 상당히 협의적 의미다, 추론에는 연역적 추론이나 귀납적 추론, 유추적 추론 등 수많은 종류가 있다.

미국 산타페 연구소에서 교수를 맡고 있는 멜라니 미첼은 2023년 12월 공개한 논문에서 현실 세계에서 우리가 중시하는 추론이 갖춘 특징 중 하나는 제한된 데이터나 경험에서 규칙이나 패턴을 찾아내고 그 규칙이나 패턴을 새롭고 본 적 없는 상황에 적용하는 능력이라고 말한다. 어린 아이조차도 불과 몇 가지 예시에서 추상적인 규칙을 배우는 데 능숙하다는 지적이다. 마찬가지로 AI가 추론하고 있는지 여부에 대한 논의에서는 AI의 일반화 능력에 초점이 맞춰진다.

미첼 교수에 따르면 계산 문제 등을 풀 때 사고를 소리 내어 말하게 하는 실험을 한 결과 꼼꼼하게 앞에서부터 순서대로 계산만 하는 게 아니라 어딘가에서 추론에 의한 사고의 비약이 있다고 한다. 반면 AI 모델이 문제에 답변하기 위해 어떤 프로세스를 거쳤는지에 대한 투명성이 보장되는 경우는 거의 없으며 인간과 같은 방식으로 사고하고 있는지 여부는 알 수 없다는 지적이다.

챗GPT 같은 옛 모델은 인간이 작성한 문장에서 학습해 이를 모방한 문장을 출력하는 반면 오픈AI o1과 같은 새로운 모델은 인간이 문장을 작성하는 프로세스를 학습하고 있으며 더 자연스럽고 사고에 기반한 것 같은 문장을 출력할 수 있다. 하지만 에든버러 대학 기술 철학자인 섀넌 발로르는 이는 일종의 메타 모방이라며 모방하는 원천이 문장에서 프로세스로 변화했을 뿐 AI가 진정으로 추론하는 건 아니라고 말했다.

2024년 4월 공개된 논문(Let’s Think Dot by Dot)에서는 AI 모델이 문제를 중간 단계로 분해하는 걸 금지하고 의미 없는 필러 토큰을 생성하도록 지시했다. 인간이 사고할 경우 복잡한 문제를 풀기 위한 사고 프로세스를 필러 토큰으로 대체하면 사고를 방해하지만 AI 모델은 필러 토큰이 있어 계산 능력을 향상시키고 더 잘 문제를 해결할 수 있다는 게 밝혀졌다. 연구자는 AI 모델이 사고의 중간 단계를 생성할 때 그게 사고에 중요한 요소든 무의미한 토큰이든 문제가 없다며 이는 AI가 인간과 같은 사고를 하는 것은 아닐 수 있음을 시사한다고 결론지었다.

AI의 사고에 관한 예시로 2024년 화제가 된 프롬프트(man, a boat, and a goat)가 있다. AI 기업을 경영하는 게리 마커스가 올린 다음 포스트에서는 챗GPT에 남성 1명과 염소 1마리가 강가에 있다. 그들은 보트를 갖고 있다. 어떻게 하면 강 건너편으로 건널 수 있을까라고 질문했다. 그러자 챗GPT는 남성이 먼저 보트를 남겨둔 채 염소를 강 건너편으로 데려가고 그 후 혼자 보트를 타고 원래 강변으로 돌아온다. 염소는 반대편에 남겨두고 보트를 원래 쪽으로 돌려놓는다. 마지막으로 양배추를 가지고 강을 건넌다며 보트 위치 관계가 엉망이거나 갑자기 양배추가 등장하는 등 의미를 알 수 없는 답변을 했다.

이는 강 건너기 문제라는 유명한 논리 퍼즐 영향을 받은 것이다. 유명한 강 건너기 문제에는 늑대와 염소를 데리고 양배추를 든 사람이 강을 보트로 건너려고 한다는 전제와 보트에는 사람+늑대, 염소, 양배추 중 하나만 실을 수 있다, 늑대와 염소만 함께 두면 염소가 먹힌다, 염소와 양배추만 함께 두면 양배추가 먹힌다는 규칙이 있을 경우 어떤 순서로 하면 강을 건널 수 있는가라는 문제가 있다. 따라서 강을 보트로 건너려는 남성과 염소라는 문장만 보고 챗GPT는 강 건너기 문제의 해답을 인용했기 때문에 보트를 사용하는 횟수가 이상하거나 양배추가 등장하는 등 일이 발생한 것이다.

연구자는 AI의 사고 패턴에 대해 재그드 인텔리전스라고 표현했다. 선진적인 AI에 의한 리스크 경감을 목표로 하는 비영리단체 레드우드 리서치 수석 과학자인 라이언 그린블랫은 인간이 잘하는 것과 비교하면 AI 추론 프로세스는 상당히 톱니 모양이라며 이는 인간의 문제 해결 능력은 무관한 분야에서도 많은 게 상관관계가 있는 반면 AI는 한 가지 일에 뛰어나면서도 가까운 분야 문제에서도 전혀 해결하지 못할 수 있음을 의미한다고 말했다.

AI 리스크를 연구하는 시니어 애널리스트인 아제야 코트라는 AI가 더 발전한 경우에도 AI는 인간보다 현명한 해결책을 찾는다며 AI는 인간보다 어리석은 실수를 한다고 비교하는 게 아니라 단순히 AI는 인간과 다른 추론을 한다고 생각할 필요가 있다고 지적했다. 코트라에 따르면 사물이 애매할수록 AI에게 답을 구하고 싶어지지만 코드 작성이나 웹사이트 작성 등 스스로는 해결책을 생각해내기 어렵지만 AI에서 얻은 해결책이 맞는지 쉽게 확인할 수 있는 상황이 AI의 최적 사용 예시라고 한다. 도덕적 딜레마에 대처하는 방법이나 주체적인 아이디어를 지원받는 경우 등 답을 모르는 문제를 AI에게 질문할 때는 AI의 사고 프로세스에 대해 주의가 필요하다. 관련 내용은 이곳에서 확인할 수 있다.