이번 미국 대선에서 예상 밖으로 트럼프가 당선됐다. 이와 관련해 많은 언론매체가 기존의 선거예측방법이 문제점을 드러냈지만, 빅데이터를 바탕으로 하는 LA타임스와 인공지능(AI) 모그 만이 트럼프의 당선을 정확히 예측했다고 보도했다. 국내 한 대학 교수팀도 구글 트렌드를 이용하여 트럼프의 당선을 예측했다고 화제가 됐다.
과연 위의 매체들이 빅데이터와 인공지능을 이용하여 미국 대선을 제대로 예측한 걸까. 정답은 ‘아니다’ 이다. 먼저 미국 대선이 간접선거라는 걸 명심하고 실제 총유권자들 기준으로 했을 경우 클린턴(48%)이 트럼프(47%)를 투표율에서 약 1%, 유권자 수로는 130만표 이상 차이로 이겼다는 걸 생각한다면 지지율을 기준으로 봤을 때 가장 예측을 잘못한 여론조사 결과는 실제로 LA타임스라는 것을 알 수 있다. 선거예측이 얼마나 정확한지 여부는 사실 당선 여부로 판가름하는 것이 아니라 지지율 예측의 정확도로 판가름해야 할 것이다. 예를 들면 선거결과 트럼프의 지지율이 50.5%이고 클린턴의 지지율이 49.5%인 경우 A 여론 조사기관에서 트럼프의 지지율이 49.5%, 클린턴의 경우 50.5%라고 예측하고 B 여론조사 기관에서는 트럼프의 지지율이 70%, 클린턴은 30%라고 예측했다면 어떤 여론 조사기관이 더 정확하게 예측한 것일까. 후자의 경우 당선자는 맞추었지만 지지율의 경우 예측이라고 하기 창피할 정도로 실제 값에서 엄청나게 벗어나 있는 걸 알 수 있다.
그렇다면 미국 대선의 경우도 마찬가지로 각 50개 주에서 실제 후표 별 득표율과 각 예측기관의 예측치를 비교하는 것이 실제로 그 주에서 승리했는지보다 더 중요하다고 할 수 있다. 앞의 두 대선 선거에서 족집게 예측으로 명성을 얻은 네이트 실버의 경우 빅데이터를 바탕으로 한 게 아니라 여러 여론조사 결과를 효율적으로 합쳐서 분석한 결과를 토대로 예측하고 있는데 이번 선거에서도 주별 지지율 예측을 기준으로 하면 여전히 네이트 실버가 가장 잘 예측한 것으로 나타나고 있다. 실제로 네이트 실버는 선거 전날 트럼프의 예상 승률을 30% 정도 예측했으며 이 정도의 확률의 사건이 실제로 일어나는 것은 놀라운 일은 아니다.
20여 년 전 김일성이 사망했을 때 일부 언론에서 그해 김일성 사망을 예측한 점쟁이들을 족집게 점쟁이들이라고 소개한 적이 있다. 또한 9ㆍ11테러가 터졌을 때 미 연방수사국(FBI)이 사전징후를 포착한 보고서들을 무시했다고 미 언론에서 대서특필한 적이 있다. 이 두 가지 사례가 공통으로 간과하고 있는 것은 틀린 예측의 횟수이다. FBI에는 하루에도 엄청난 량의 테러징후 관련 보고서가 제출될 텐데, 여기서 보고서의 신빙성을 어떻게 결정할 수 있을까. 미 대선에서 빅데이터를 이용한 선거예측이 맞았다고 호들갑을 떠는 것은 실상은 김일성 사망을 예견한 점쟁이가 용하다고 말하는 것과 크게 다르지 않다.
빅데이터와 인공지능으로 대표되는 4차 산업혁명시대가 곧 도래한다. 빅데이터는 우리 앞에 성큼 와 있지만 무작정 맹신할 수는 없다. 기초가 튼튼하지 않으면 사상누각이 되어서 쉽게 무너지게 마련이다. 구글 트렌드를 이용한 독감 예측은 처음에는 빅데이터의 성공사례로, 이후에는 실패사례로 극과 극의 평가를 받았다. 하지만 조금의 보정을 통해서 그 원리는 여전히 예측을 잘 할 수 있다. 빅데이터에 대한 잘못된 이해는 소음(noise)을 신호(signal)로 간주하게 만든다. 머신러닝은 전산학과 통계학을 양 축으로 하는 학문분야로서 인공지능과 빅데이터에 중추적 역할을 담당한다. 이러한 분야에 대한 지식을 바탕으로 한 체계적 교육만이 4차 산업혁명시대가 요구하는 제대로 된 전문가를 양산할 수 있을 것이다.
장원철 서울대 통계학과 교수
기사 URL이 복사되었습니다.
댓글0