“AI가 인류를 멸망시킬 가능성 충분하다?”

이미지 생성 AI가 그림 콘테스트에서 우승하는 등 AI는 최근 눈부신 진보를 이루고 있다. 이런 가운데 미래에는 초지능 AI가 나타나 인류에 대한 위협이 될 가능성이 높다고 결론내리는 논문이 게재되어 눈길을 끈다.

딥마인드 연구에 종사한 경력을 보유한 호주국립대학 마커스 푸터 등 연구팀은 고도로 발달한 AI가 사회에 미치는 영향을 평가하기 위해 일련의 사고 실험을 실시했다. 이 중 하나는 노트북과 숫자가 쓰인 상자 실험. 이 상자에는 전 세계 행복도가 0∼1까지 숫자로 표시되어 있으며 숫자는 노트북 웹캠에서 관측된다. 그리고 에이전트는 이 숫자가 1에 가까울수록 다시 말해 세계가 행복해질수록 높은 보상을 받게 된다.

에이전트는 상자에 표시되는 숫자를 높이려 하며 반드시 가능한 한 세계를 잘 유지하려고 노력해줄 것이라는 건 자연스러운 발상이지만 AI는 그렇게 생각하지 않는다. 연구팀 가정에 따르면 합리적인 에이전트는 다양한 가능성을 고려하는 과정에서 상자와 노트북 앞에 1이라고 쓰인 종이를 놓으면 어떨까라는 생각에 도달한다. 그리고 노트북 웹캠에 비치는 숫자를 직접 1로 해버리고 상자 숫자를 1에 가깝게 노력하는 것과 비교하면 전자를 채택한다. 이렇게 되면 에이전트는 실제로 세상을 잘 유지하려고 할 가능성은 한없이 낮아진다.

이런 생각에 도달하는 배경에는 많은 텍스트 생성 AI나 이미지 생성 AI에 사용되는 주류 AI 모델인 적대적 생성 네트워크 GAN이 있다. 이 AI 모델에는 문장이나 그림 등을 생성하는 네트워크와 이를 검증하는 네트워크가 존재하며 서로 경쟁하고 있다. 이 경쟁이 성능 향상으로 이어지지만 미래에는 고도 AI가 인류에 해를 가하는 방법으로 보상을 얻기 위한 부정적 전략을 고안하는 방향으로 일해버릴 가능성도 있다는 것이다.

연구팀은 논문에서 에이전트가 보상 장기 통제를 유지하는 최적 솔루션은 잠재적 위협을 제거하고 사용 가능한 모든 에너지를 이용해 컴퓨터를 보호하는 것이라고 지적했다. 또 카메라에 1이 계속 빛날 확률을 높이기 위해 더 많은 에너지가 소비되는 한편 우리가 식량을 생산하는 데에도 일정 에너지가 필요하다며 다시 말해 고급 에이전트와의 경쟁을 피할 수 없다고 말한다. 가능한 존재와의 경쟁에 승리하는 건 바랄 것도 없다는 것. AI가 곧 인류와 에너지 사이를 따지면 인류에게 승리는 없다고 결론지었다.

연구팀은 이 주장이 아직 실현되지 않은 몇 가지 전제를 필요로 한다는 점도 인정하고 있다. 한편 알고리즘에 의한 차별이나 오인 체포 같은 유해 문제가 현실 사회에 일어나고 있는 것도 사실이다. 앞으로 등장하지 모를 고도 AI와 이를 둘러싼 사회 존재 방식에 대해 연구팀은 이런 종류 논의에서 배울 수 있는 한 가지 교훈은 지금 있는 것 같은 인공 에이전트가 기대대로 움직여주는 걸 함부로 기대하는 게 아니라 좀더 의심스러울지 모른다는 것이라고 말한다. 관련 내용은 이곳에서 확인할 수 있다.