미래 예측 커뮤니티가 높은 적중률 보이는 비결

예측하기 어려운 미래를 확률로 점치는 슈퍼포캐스팅(Superforecasting)이라는 학문 분야가 있다. 역사적 경향이나 수학적‧통계적 모델, AI 트레이닝, 사망 위험의 척도로 사용되는 마이크로몰트 등 다양한 전문 영역과 접근법으로 미래를 분석하고 예측하는 학문이다. 그 중에서 분야를 가리지 않고 미래를 예측하는 능력이 뛰어난 사람을 슈퍼포캐스터(Superforecaster)라고 부른다. 포캐스터로서 미래 예측을 하는 그룹인 사츠모베티(Samotsvety)는 전문 연구를 하는 팀이 아님에도 불구하고 다양한 분야에서 높은 적중률을 자랑하고 있다.

슈퍼포캐스팅이란 개념은 캐나다 연구자 필립 E. 테트록이 2015년에 출판한 저서(Superforecasting: The Art and Science of Prediction)에서 제시한 것으로 널리 알려졌다. 정부가 미래예측에 능숙한 슈퍼포캐스터 의견을 정책 판단의 참고 자료로 삼는 경우도 있다. 또 미래 시나리오를 예측해 정확성을 겨루는 포캐스팅 컴페티션(Forecasting Competition)이라는 대회도 개최되고 있다.

이 대회에서 2020년, 2021년 연속 우승을 차지했고 2022년에는 러시아의 우크라이나 침공 가능성에 1만 4,000달러를 걸어 3만 2,000달러를 따낸 곳이 바로 포캐스터 그룹인 사모츠베티다. 사모츠베티라는 이름은 1971년 모스크바에서 결성된 소비에트 밴드 사모츠베티에서 유래했으며 주로 커뮤니케이션 툴 슬랙(Slack)으로 미팅한다.

보도에선 어느 날 슬랙에서 열린 사모츠베티 회의에 참석한 경험을 소개하고 있다. 당일 의제는 중국이 2030년까지 대만 영토 최소 절반을 지배할 가능성은 어느 정도인가다. 예일대 경제학 연구원은 8%라고 답했고 회의를 주도한 스페인 출신 독립 연구자 역시 동의했다. 시카고대 경영학 석사 과정 학생은 17%로 예측했고 신경과학 박사 연구원은 15~20%, 익명 중국인 멤버는 가장 높은 24%라고 예측했다.

보도에 따르면 사모츠베티 회의에 참여한 이들은 다양한 분야 연구자와 전문가들였지만 반드시 의제에 대한 전문 지식을 갖고 있는 것은 아니었다고 한다. 하지만 2022년 5월 발표된 연구에서는 미래를 예측할 때 전문가 의견을 종합한 것보다 비전문가 의견을 종합한 게 더 나은 미래 가이드가 된다는 점과 지정학적 사건에 대한 예측에서는 정부 기밀 정보에 접근할 수 있는 그룹보다 표준 방법으로 의견을 모은 그룹이 진실에 가까운 예측을 세울 수 있다는 논문이 종종 인용되는 등 정확한 미래 예측에는 전문 지식이 필수는 아니라는 견해도 있다.

사모츠베티가 우수한 예측을 내리는 경우 다른 이들이 잘 모르는 사실에 근거하는 일은 거의 없다고 한다. 그럼에도 다른 연구자나 그룹에 비해 정확성이 높은 이유에 대해 사모츠베티 공동 창설자인 미샤 야그딘은 사모츠베티라는 이름은 보석은 아니지만 반귀석 혹은 자체 발광 이나 착색하는 돌을 뜻한다며 예측이란 좋은 정보 덩어리를 찾는 것이라는 의미라고 말한다. 자신들은 다이아몬드는 아닐지라도 잘 빛내면 미래에 빛을 던질 수 있는 위대한 존재가 될 수 있다며 그룹명 유래를 설명하기도 했다.

사모츠베티 멤버 중 일부는 예측 능력이 뛰어나 그룹에 초대받았다. 정부 관련 기관에서 예측 업무를 했던 한 인물은 친구와 팀을 이뤄 미래예측 정확도를 겨루는 행사(Infer)에 도전했다. 팀 성적 자체는 좋지 않았지만 개인적으로는 뛰어난 성적을 거둔 그는 사모츠베티에서 합류 권유를 받았다. 주로 AI 진보에 관한 예측에 힘썼던 또 다른 인물 역시 코로나19 감염자 수 급증을 예측해 사모츠베티와 연락이 닿았다고 한다.

하지만 사모츠베티는 단순히 예측 능력자를 모은 그룹만은 아니다. 사모츠베티 토론이 뛰어난 이유로는 먼저 정량적 추론을 꼽는다. 어느 정도 있을 것 같다, 많이 없을 것 같다는 등 지표는 개별적인 예측에는 도움이 되지만 토론에서는 정량적 비교가 어렵다. 따라서 사모츠베티에서는 컴퓨터 과학, 경제학, 수학 등을 바탕으로 구체적인 수치로 논의할 수 있게 노력한다는 설명이다. 정량적 예측을 하지 않더라도 암묵적으로 계산은 하는데 이를 명확히 하면 실리 있는 토론이 가능해진다는 것이다.

사모츠베티는 또 기본율에 주목한다. 기본율이란 예를 들어 MLB 월드시리즈에서 뉴욕 양키스 우승 가능성을 과거 119개 대회 중 27회 우승 기록으로 계산하면 22.7%가 되는 것을 말한다. 실제로는 현재 팀 상황이나 최근 경향 등을 고려해 정확한 예측을 하지만 사모츠베티에서는 기본율을 높게 잡힌 수치로 여기고 실제로는 이보다 낮게 예측하는 경향이 있다고 한다.

그 밖에도 랜드연구소 CEO 제이슨 매서니는 사모츠베티 토론이 우수한 이유에 대해 사모츠베티는 주제에 대한 예측뿐 아니라 예측 정확성을 어떻게 채점할지에도 큰 관심을 기울인다고 말한다.

미래 예측은 확률 예측일 뿐 명확한 증거는 아니다. 하지만 전문가는 정확한 미래 예측 없이 무모하게 정책이나 비즈니스 결정을 내리는 것은 부끄러울 정도로 슬픈 일이라고 지적한다. “대부분 기관에서 사용하는 분석 방식은 충분히 평가받고 있다고 여겨지지만 수십억 달러 혹은 수조 원이 투입되는 중대한 국가안보 결정조차 실제로는 제대로 평가되지 않는다며 더 나은 예측을 위한 노력의 중요성을 강조하고 있다. 관련 내용은 이곳에서 확인할 수 있다.