바둑 AI인 카타고(KataGo)는 현재 세계 최강 바둑 AI로 알려져 있으며 데이터나 소스가 공개되어 있기 때문에 누구라도 자유롭게 이 AI를 학습시킬 수 있다. 이 AI를 특수 방법으로 학습시킨 미국 코넬대학 연구팀이 최강 클래스로 학습시킨 카타고를 상대로 높은 확률로 승리할 수 있다고 발표했다.
AI는 기본적으로 셀프 플레이로 강화학습을 실시한다. 셀프 플레이란 자신을 대전 상대 삼아 학습하는 것이다. 자신의 손과 상대 손, 각각에서 가장 효율적인 움직이는 방법을 생각해내고 상대방이 어떤 손으로 도전할지 항상 최선의 선택을 계속 하도록 하는 게 셀프 플레이 학습 방법이다. 이는 서로가 항상 가장 합리적인 선택을 하면 서로 전략을 양보하지 않는 상태가 된다는 내쉬 균형(Nash equilibrium)에 근거한 것이다.
이번에 연구팀은 다른 수법으로 학습시킨 카타고 2개를 준비해 서로 바둑으로 싸우게 하는 실험을 실시했다. 이 실험에서 지금까지와 같은 셀프 플레이로 학습한 카타고는 피해자, 반대로 새로운 수법으로 학습한 카타고는 공격자로 명명된다.
연구팀이 고안한 새로운 수법은 자신의 수차에선 자신의 신경망, 상대방 차례에선 상대방 신경망을 서로 분석하는 것이다. 보통 셀프 플레이에선 자신의 신경망만 분석하는 반면 새로운 방법은 서로의 신경망을 분석한다. 이런 방법을 이용해 공격자가 상대방의 근본적인 약점을 찾아낼 것으로 기대됐다.
실제로 승부를 보면 공격자가 고안한 전략은 무려 바둑판 모서리에 소수 돌을 배치하고 피해자 땅에 자신의 돌을 굳이 놓는 것이다. 원래대로라면 피해자가 자신의 땅에 있는 상대방 돌을 모두 취해 결정적 승리를 거두는 건 쉬운 일이지만 피해자는 땅을 확보하기 전에 패스했다. 이 전략으로 공격자는 피해자와의 대전에서 99% 이상 승률을 달성했다고 한다.
물론 대국 횟수가 64회가 되면 승률은 80%까지 떨어지고 8,192회가 되면 승률은 48%까지 떨어졌다고 한다 이 무렵이 되면 공격자가 피해자 땅에 돌을 너무 둬서 한층 더 학습한 피해자가 투료하는 일도 없어져 바둑판이 메워져 게임이 끝나버린다고 한다.
이번 전략은 셀프 플레이를 실시하는 AI에만 통용하는 것으로 상대방이 인간이라면 바둑 초보자라도 간단하게 큰 차이로 져버린다. 실제로 바둑 초보자도 이 전략으로 250점 이상 차이로 승리했다고 한다. 새로운 전략은 프로 레벨로 학습한 AI에는 강하지만 인간 플레이어를 이길 수 없다고 설명하고 있다.
또 비슷한 전략을 취해 온라인 바둑 사이트 KGS TOP50에 군림하는 바둑봇 NeuralZ06에 승리할 수 있었다고 밝히고 있다. 다만 플레이어는 취할 수 있는 돌을 모두 취하지 않은 채 패스해도 좋다는 기능(friendlyPassOk)을 무효화하면 승리할 수 없었다고 한다.
연구팀은 연구 결과는 높은 능력을 가진 AI라도 심각한 취약성을 안고 있을 가능성이 있다는 걸 시사한다고 말한다. 바둑 AI에선 이런 발견은 재미있지만 자동 금융 거래나 자율주행차 같은 안전이 중시되는 시스템에선 유사 취약점을 뚫으면 비참한 결과가 될 수 있다고 말한다. 안전 중시 시스템에 필요한 높은 신뢰도를 지닌 모델을 만들려면 이번 같은 방법에 대항할 시스템 개발에 노력해야 한다고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.