"전문가 말만 믿었는데.." 예측 1000개 중 절반이 틀려

조회수 2021. 1. 16. 09:51 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

불확실성 시대 '현명한 여우'의 자세가 필요하다

신호와 소음》의 저자 네이트 실버는 미국의 유명 정치TV쇼 〈매크로플린 그룹〉에 나와 정치 논평으로 먹고사는 패널들이 실제 예측 기술이 있는지를 따져봤다. 그들이 했던 약 1,000개의 예측을 놓고 평가한 결과, 예측 결과의 절반은 틀린 것이었습니다.


물론 오락물에 가까운 TV프로그램 경우라고 치부할 수도 있다. 하지만, 오늘날처럼 미디어의 영향이 사람들에게 편향되어 도달하고, 서로 같은 의견을 증폭하고 반대 의견을 배척하는 경향이 크며, 무엇보다 가짜뉴스가 판을 치는 지금 시대에는 좀 더 믿을 만한 분석을 찾을 필요가 더 크지 않을까?


하지만 안타깝게도, 미디어나 대중은 ‘크고 대담한 예측’을 하는 사람을 ‘더 잘 예측하는 사람’으로 착각하고 선호하는 경향이 있다.


당신은 전문가의 예측을 얼마나 믿는가?

캘리포니아대학교 심리학・정치학 교수이자 와튼스쿨 교수였던 필립 테틀록(Philip Tetlock)은 걸프전쟁, 일본의 부동산 거품, 퀘벡이 캐나다에서 분리될 가능성 등 1980년대와 1990년대의 거의 모든 중요 사건을 대상으로 학계와 정부의 수많은 전문가들이 내놓은 전문가 의견을 모아 분석했다. 그 결과는 어땠을까? 


그가 살펴본 전문가들은 지나치게 자신만만했지만 직업, 경력, 전공 분야를 막론하고 경제, 정치, 국제관계 등의 확률을 계산하는 데는 참혹하리만치 엉터리였다. 하나같이 지극히 초보적인 통계방법론을 써서 예측한 것보다 못했다. 이들은 이 전문가들이 절대로 일어나지 않을 것이라고 주장한 사건 가운데 약 15퍼센트가 실제 현실에서 일어났다. 또 반드시 일어날 것이라고 예측한 사건의 약 25퍼센트는 일어나지 않았다.


테틀록은 이 ‘전문가들’ 중에 그래도 예측에 형편없는 부류비교적 예측을 잘하는 부류가 있다는 것을 알아차리고, 이들을 이른바 ‘고슴도치’와 ‘여우’라는 양극단 사이 스펙트럼으로 분류했다. (고슴도치와 여우는 이사야 벌린(Isaiah Berlin)이 톨스토이의 《전쟁과 평화》에 대해 쓴 에세이 《고슴도치와 여우》에서 따온 표현이다.)

  • 고슴도치는 거창한 생각, 곧 세상에 대한 지배적 원칙, 물리학 법칙이자 사회의 모든 상호작용을 실질적으로 뒷받침하는 것처럼 작동하는 거대한 원칙을 믿으며, 성급하며 경쟁적인 ‘A형 행동양식type A’ 유형에 속한다. 마르크스와 계급투쟁, 프로이트와 무의식, 말콤 글래드웰과 ‘티핑 포인트’를 생각하면 된다.
  • 여우는 이에 비해 수없이 사소한 생각들을 믿으며 또 문제를 해결하려면 다양한 접근이 필요하다고 여기는, 관심이 사방팔방으로 뻗치는 산만하기 짝이 없는 유형이다. 여우는 뉘앙스의 차이, 불확실성, 복잡성, 배치되는 의견 등에 좀 더 관대한 경향이 있다. 

테틀록은 여우가 고슴도치보다 예측을 상당히 잘한다는 사실을 발견했다. 여우는 정치적 상황이나 대상을 이념적인 용어로 표현하기보다 있는 그대로 보았다.


“미련한 고슴도치보다는 현명한 여우”

현실에서는 같은 예측이라도 크고 대담한 예측을 하는 고슴도치에게 텔레비전 출연 기회가 더 많이 돌아간다. 요즘 같아서는 십중팔구 SNS나 유튜브에서 더 많은 주목과 구독자를 끌 것이다. 완벽하게 빗나가는 예측을 하고도 발 빠르게 움직이며 자기 자신을 마케팅하는 데 성공한 고슴도치들이 많다.


여우는 때로 방송, 사업, 정치처럼 즉각적이고 단호한 순발력이 필요한 영역에서는 잘 적응하지 못한다. 여우는 세상의 많은 것들은 예측하기 어려우며 또한 이런 불확실성을 충분히 고려해야 한다고 믿기 때문에 자신감과 확신이 부족하다는 오해를 받기도 한다.


하지만 여우는 훨씬 나은 예측을 한다. 데이터가 소음에 얼마나 물들어 있는지 빠르게 간파하며 가짜 신호를 좇는 일도 적다. 여우는 자기가 알지 못하는 것에 대해 고슴도치보다 훨씬 더 많이 안다.

건강문제를 예측해줄 의사를 찾거나 퇴직금에 최고의 수익을 내줄 투자 전문가가 필요하다면, 당신이 찾아야 할 사람은 바로 여우다. 여우는 당신이 얻고자 하는 것과 자기가 달성할 수 있는 것에 대해 한결 겸손하게 얘기할 수도 있다. 하지만 여우는 자기가 한 약속을 확실하게 지킨다. 적어도 고슴도치보다는 더.


더 정확한 예측의 필수 자세:
여우의 원칙 3가지

여우의 원칙 1: 확률적으로 생각하라 

네이트 실버가 발표한 예측은 거의 모두 확률 형태로 표시된다. 달랑 수치 하나만 내놓고서 무엇이 일어날지 정확하게 안다고 주장하지 않고, 결과가 일어날 가능성을 범위로 제시한다.


정치인이나 정치 해설가들은 불분명한 상황을 못 참는다. 한쪽에 편향된 사람은 불확실성을 예측이 잘못될 경우에 들이댈 핑계일 뿐이라고 생각한다. 터무니없는 생각이다. 예를 들어 당신이 현직 의원인 한 후보가 선거에서 이길 확률이 90퍼센트라고 예측한다고 치자. 이는 그 후보가 낙선할 확률이 10퍼센트라고 예측한다는 말이기도 하다. 이들 확률 각각이 장기적으로 보아 대체로 옳다고 판명될 때, 이런 예측을 정확한 예측이라 말할 수 있다.

여우의 원칙 2: 날마다 새로운 예측을 하라 

‘정확한 예측은 바뀌지 않아야 한다’는 발상은 잘못된 발상이다. 


예측가로서 올바른 태도는 오늘은 오늘 할 수 있는 최선의 예측을 하겠다는 마음가짐이다. 한정된 정보를 최대한으로 활용하려면 더 새롭고 나은 정보가 나타날 때마다 자기가 한 예측을 업데이트해야 한다. 한 주 전이나 한 달 전, 1년 전에 자기가 했던 말은 머릿속에서 지워버려야 한다. 새로운 예측을 한다는 건 예전의 예측을 무조건 폐기한다는 뜻이 아니다. 하지만 우리는 보통 자기가 한 예측을 쉽게 바꾸지 못한다. 예측을 바꾸면 당혹스러움에 부닥치기 때문이다. 용기가 부족한 탓이다.

여우의 원칙 3: 합의를 구하라

집단적 예측이 개인이 혼자 하는 예측보다 더 정확하다는 사실을 입증하는 증거는 대단히 많다(통상 10~25퍼센트 더 정확하다). 그렇다고 집단 예측이 언제나 좋다는 뜻은 아니지만, 하나의 문제에 여러 개의 관점을 적용해서 이득을 얻을 수 있다는 사실만큼은 분명하다. 

◆ 여우는 어떻게 생각하는가?

1. 다양한 스펙트럼으로 생각한다.
2. 새로운 가설을 세우거나, 동시에 여러 개의 가설을 세워 접근한다.
3. 언제나 나의 예측이 틀릴수 있다는 것을 전제하는 자기비판적 태도
4. 완벽한 예측은 불가능하다. 예측이란 복잡한 것임을 관대하게 받아들인다.
5. 나의 예측을 수학적으로 표현하며, 단서를 명확하게 단다.
6. 이론에 따른 추론보다 관찰에 더 많이 의존한다.

전문가(예측가)들이 선입견과 의지를 배제하고 정확하고 진실한 예측을 하지 않으면, 바로 이것이 결국 진실(신호)를 덮어버리는 소음이 되어 세상을 혼돈에 빠뜨릴 수 있다.


이럴 때 우리는 한마디로 여우처럼 생각하는 법을 배워야 한다. 여우와 같은 예측가는 세상이 돌아가는 과정을 예측할 때 인간의 판단이 미칠 수 없는 한계가 있음을 인식하고 인정한다. 그 한계를 알 때 좀 더 정확하게 예측할 수 있다.

2021년, 《신호와 소음》을 읽어봐야 할 이유는 바로 여기에 있다.


당신이 만날 미래는
"예측의 질"에 달려 있다!

코로나19, 금융 위기, 부동산 등

빅이슈 시대에 다시 만나는

예측의 천재 네이트 실버의

슈퍼 베스트셀러!

이 콘텐츠에 대해 어떻게 생각하시나요?