여론조사 공화국/ 여론조사 얼마나 믿을 수 있나

요즘 여론조사기관 사이에선 ARS(자동응답시스템) 조사가 도마 위에 올라 있다. ARS 조사는 전화여론조사에 비해 비용이 10~20분의 1수준. 학계나 국제규약은 이를 과학적 조사로 간주하지 않는다.

문제는 최근 들어 한 신생업체가 ARS조사를 마치 일반 전화 조사인 것처럼 일부 언론사에 제공해 보도되고 있다는 점이다. 업체 대표 L씨는 “ARS조사는 대부분 전화여론조사 결과와 일치한다”면서 “우리에게 가해지는 비난은 배후가 있을 것”이라고 주장했다.

그러나 이 업체는 자신의 조사가 ARS방식에 의한 것임을 밝히지 않고 보도자료를 내고 있어 분명히 일반인을 기만하고 있다는 지적을 받고 있다.

그렇다면 매출액 상위의 주요업체 들이 발표하는 조사결과는 선진국 수준의 기준에 따른 것일까. H업체의 K대표는 “한국 업계 모두의 아킬레스 건이 있다”고 전했다.

그 가운데 하나는 낮은 응답률(Response Rate)이다. 우리나라 조사에선 응답률이 매우 낮다. 다시 말해 응답을 거부하면 자꾸 다른 사람에게 물어 본다는 얘기다. 전화조사에서 미국의 경우 1,000명을 표본으로 할 경우 전화 거는 대상을 3,000명 정도로 한정한다.

그 이상이 넘을 경우 표본에 치우침(Bias)이 생긴 것으로 보고 표본을 줄이거나 파기한다. 그래서 응답률의 기준은 30% 이상, 보통 40~50%에 이른다.

그런데 우리나라의 경우 1,000명을 채울 때까지 계속 전화를 건다. 그래서 1만명 이상에게 전화를 걸 경우가 많다. 응답률은 정치조사의 경우 10~15% 수준이라고 한다.

결국 미국에 비해 설문에 잘 답하고 정치적으로 적극적인 층의 비율이 높아질 수밖에 없다. 더 큰 논란거리는 이 같은 응답률을 공표하지 않는다는 것이다.

법과 국제규약 등에는 공표하도록 규정돼 있지만 그동안 모든 업체들이 공표를 하지 않았기 때문에 문제가 되지 않았다.

또 한가지는 대부분이 사용하고 있는 할당 표집(Quota Sampling)의 문제다. 이는 지역과 연령, 학력 별로 미리 결정된 숫자만을 채우면 되는 전화조사 방식이다.

반면 선진국의 권위 있는 조사 기관들은 개인이 추출될 확률을 모두 같게 하는 확률 표집을 사용하고 있다. 일단 표본으로 선정된 대상자는 상담이 이뤄질 때까지 몇 번이고 접촉을 시도한다.

존 메이저 총리가 대처정권을 계승한 1992년 영국총선에서 갤럽과 해리스 등 조사기관 들은 일제히 보수당의 장기집권이 끝나고 노동당이 정권을 교체한다고 예측했다가 낭패를 당했다. 이후 할당 표집은 총선거에서 신뢰를 크게 잃었다.

고려대 허명회(통계학) 교수는 “2000~2003년 국내 메이저 3사의 여론조사를 분석한 결과 저학력 직장인의 응답비중이 너무 낮고 가정주부와 고학력자의 응답률이 너무 높았다”면서 “우리나라 전화여론조사의 표본오차는 실제보다 20%이상 크다고 봐야 한다”고 지적했다.

여론조사의 영향력이 강한 우리나라에서 업계의 선두 주자들까지 이런 조사방식을 쓰는 이유는 낮은 단가 때문이다.

유럽마케팅조사협회(ESOMAR)의 국제조사에 따르면 우리나라의 조사단가는 유럽이나 일본의 3분의1, 미국의 절반 수준으로 동남아국가들과 비슷하다. 결국 우리나라 여론조사 시장에서는 중저가품들이 한껏 위세를 떨치고 있는 셈이다.

미국 등에서 보편화한 CATI(컴퓨터를 이용한 전화면접) 시스템이 없다는 것도 문제다. CATI는 면접원의 성실도에 따라 조사결과가 달라지는 현상을 줄이고 조사과정을 자동으로 기록해 언제든지 검증할 수 있도록 한다.

보통 한대 당 500만원짜리 기계 수백대가 필요한데, 국내에서 이를 갖춘 업체는 5~6곳뿐이다. 고려대 김장수 연구교수는 “우리의 방식은 예를 들어, 30대 여성 가운데 주부층이 A후보에 대한 지지가 많다면, 조사기관이 마음만 먹을 경우 이들이 전화를 받는 시간에 집중적으로 설문을 실시해 지지율을 끌어올릴 수 있다는 뜻”이라고 설명했다.

중요한 선거에서 법조계의 쌍방수임과 같은 직업윤리 위반이 일어나고 있다는 점도 논란거리다. 현재 G업체는 유력한 대선후보의 조사업무를 위임 받아 수행하는 한편, 정기적으로 영향력 있는 신문매체와 여론조사를 실시해 공표하고 있다.

공신력을 중시하는 선진국 사회조사기관은 하지 않는 일이다. 그런데 이런 문제제기에 대한 업체들의 반응은 “우리를 믿어달라”는 식뿐이다. G업체 P대표는 “서로 다른 부서에서 하는 일이므로 전혀 문제될 게 없다”고 밝혔다.

역시 한 신문과 계약관계에 있는 H업체의 고위간부는 다른 대선후보의 핵심 측근 C씨다. 그는 “조사 실무에 일절 관여하지 않는 것으로 직업윤리를 지켜왔다”면서 “그러나 선거캠프가 공식 발족할 경우 회사에서 물러날 계획”이라고 밝혔다.

창원대 안병진(정치학) 교수는 “미국 정치사를 볼 때, 여론조사는 정치엘리트가 일반대중을 조작하기 위해 발전시킨 기술이기도 하다”면서 “조사의 옥석을 가리고 한계를 알 수 있도록 유권자의 수준을 높여야 한다”고 말했다.

그는 또 “싸구려 조사를 구별해내고 높은 직업윤리를 강제할 수 있는 제도가 여론조사산업의 발전을 위해서도 필요한 시점”이라고 지적했다.

기획취재팀= 유승우기자 swyoo@hk.co.kr 이희정기자jaylee@hk.co.kr 김광수기자 rolling@hk.co.kr 문준모기자 moonjm@hk.co.kr

■ 면접원들은…"응답률 채우려 답변지 몰래 고쳐"

주부 최모(43)씨는 지난해 여론조사 업체에서 전화 면접원으로 일하다 해고됐다. 표본으로 할당 받은 20대 여성 응답자 수가 적어 하루종일 전화를 걸어도 목표량을 채우지 못하자 40, 50대 여성을 상대로 한 설문지의 나이를 바꿨던 것이다.

최씨는 “다른 사람들도 어느 정도는 하는 방식인데 왜 나만 문제 삼느냐”고 따졌지만 결국 일자리를 뺏겼다.

면접원들의 근무시간은 오전 10시, 또는 오후 3시부터 시작해 밤9시까지. 외출이 잦은 20, 30대들의 응답을 얻는 게 고민거리다. 그래서 임의로 처리하는 편법사례가 잦다.

설문지당 1,300원~2,000원의 보수를 받는데, 하루 30여명 분량의 설문지를 모두 작성해야 돈을 받기 때문에 심리적 압박은 크다.

5년차 면접원 노모(50ㆍ여)씨는 “응답률을 높이기 위해 가정집 보다는 가게로 전화해서 물어보는 경우가 많다”고 했다. 20, 30대를 대상으로 한 설문은 이들이 근무할 만한 편의점, PC방, 카센터, 커피전문점 등으로 알아보는 식이다.

응답자가 해당 지역에 실제로 거주하지 않을 수도 있지만 어쩔 수 없다. 노 씨는 “설문 내용을 끝까지 들어주는 것만으로도 감지덕지한데 인적사항을 어떻게 꼬치꼬치 캐물을 수 있겠냐”고 말했다.

정치적 성향이 확연하게 드러나는 경우 오히려 설문을 진행하기 어렵다. 40, 50대 남성의 경우 조사 도중 버럭 소리를 지르거나 일방적으로 전화를 끊어버리는 경우가 많다.

그는 “한시간에 30여 통의 전화를 거는데 실제 받는 것은 10통이 채 안되고 제대로 응답해 주는 경우는 많아야 3, 4통이라 어떻게든 한번 연결이 되면 대화를 이어가야 한다”며 “어쩔 수 없이 설문지에 없는 말을 덧붙이는 경우가 있다”고 했다.

이에 대해 여론조사 A업체 관계자는 “정치 관련 여론조사는 통화내용을 녹음하지 않는 경우가 대부분이기 때문에 사후 검증이 쉽지 않다”며 “감독자 1명이 면접원 5~10명을 관리하는데 절차에서 벗어난 경우 현장에서 적발해야 하기 때문에 어려움이 많다”고 말했다.

기획취재팀= 유승우기자 swyoo@hk.co.kr 이희정기자 jaylee@hk.co.kr 김광수기자 rolling@hk.co.kr 문준모기자 moonjm@hk.co.kr

■ 문제 많았던 '여론조사 결투'

“차라리 가위 바위 보로 결정하는 것이 나았다.” 2002년 노무현-정몽준 대선 후보의 단일화 과정에 대한 한 여론조사 전문가의 평가다.

노무현 정몽준 캠프 관계자의 말과 조사내용을 분석한 결과, 참여정부의 출범을 가져온 ‘여론조사 결투’는 조사의 기본원칙을 무시한 것이었고, 우발적 요소로 결과가 갈린 것으로 드러났다.

몇 가지 조건을 달리했으면 승자와 패자가 바뀔 수 있었다는 얘기다. 2002년 후보 단일화에 대한 분석은 여론조사에 의한 후보선출이 얼마나 허망한 것인지를 보여주는 사례연구가 된다.

허용 오차마저 무시한 조사

두 후보는 “여론조사 결과 0.1%라도 뒤지면 패배를 수용한다”고 합의했다. 멋있어 보이기는 했으나, 여론조사의 표본오차가 ±2~3%에 달한다는 점을 감안하면 조사의 기초를 무시한 것이나 다름없었다.

이 무리한 조항은 주요 업체들이 조사를 기피한 원인 가운데 하나가 됐다. 양 후보는 당초 매출액 ‘빅5’ 중 3곳의 업체에 조사를 의뢰할 계획이지만 대부분 난색을 표해 G사 1곳으로 좁혀졌으나 이 업체도 하루 만에 약속을 번복했다.

노 후보측 협상 실무자였던 여론조사 전문가 홍석기씨는 “이회창 후보측에서 ‘우리가 되면 장사 그만 할 생각이냐’며 압력을 넣었기 때문”이라고 주장했다.

하지만 업체들은 “여론조사는 오차라는 본질적 한계를 갖고 있는데 이를 무시했기 때문”이라고 입을 모았다. TNS는 국민에게 여론조사 결과에 대한 그릇된 인식을 심어줄 수 있다”는 성명을 내기도 했다.

양측은 결국 단일화 합의 1주일 이상이 지난 11월 24일 새벽 리서치 앤 리서치, 월드리서치 2곳을 조사기관으로 선정했다.

조사, 발표까지 하루 만에 뚝딱

정 후보측 김민석 의원은 이날 새벽 6시께 두 회사 대표들을 면담한 뒤 기관 선정을 최종 수락했다. 대선 후보등록일 (11월27, 28일)을 불과 사흘 앞둔 시점이었다. 두 업체는 바로 이날 오후 여론조사를 실시했다.

양 후보측은 기자회견장인 라마다 르네상스 호텔에 대기하고 있다가 25일 0시 정각 결과를 전달 받자마자 노 후보의 승리를 공식 발표했다. 업체 선정에서 여론조사 실시, 결과 발표까지 20시간이 채 걸리지 않았다.

여론조사 전문가들은 늦은 여론조사 시점, 짧은 조사기간이 모두 노 후보 측에 유리하게 작용했다고 지적했다. 추세는 정 후보 지지율이 조정국면, 노 후보 지지율이 회복 국면이었으므로 조사시점이 늦어질수록 정 후보에게 불리했다.

더욱이 시간에 쫓기다 보니 통상 조사원들이 전화설문을 모두 마치면 응답자의 10~20%에게 다시 전화를 걸어 답변이 정확하게 기록됐는지 확인하는 절차를 제대로 거치지 않았다.

신뢰도에 의문을 제기할 수 있는 대목이다. 정 후보측 협상실무자였던 여론조사 전문가 김행씨는 “검증이고 뭐고 할 여유가 없었다”고 말했다.

홍석기씨도 “조사원들이 몇 장만 임의로 체크해도 결과가 바뀔 수 있다”면서 “(검증을 간과해) 결과적으로 정 후보측이 실수를 한 셈”이라고 말했다.

홍 씨는 또 “당시 객관적으로 정 후보의 지지율이 2, 3% 앞섰다”면서 “5개 업체 정도에서 샘플 수를 늘려 정밀하게 조사했다면 결과가 달라졌을 수 있다”고 말하기도 했다.

역선택 방지는 또 다른 자충수

정 후보를 사로잡았던 것은 한나라당 지지자들이 손 쉬운 상대를 고르기 위해 의도적으로 자신을 탈락시키고 노 후보를 선택할지도 모른다는 우려였다.

이에 따라 정 후보는 이른바 ‘역선택 방지책’을 끈질기게 요구했고, 양측은 이회창 후보 지지율이 최근 2주간 언론사가 조사한 지지율 가운데 최저치(30.4%) 이하로 나오면 그 조사를 무효 처리키로 했다.

조사는 모든 후보를 놓고 지지자를 묻는 예비설문을 거쳐 노ㆍ정 두 후보를 꼽은 응답자들만 대상으로 “이회창 후보와 경쟁할 후보로 누구를 지지하느냐”고 묻는 방식으로 진행됐다.

조사 결과는 리서치 앤 리서치(노 46.8%, 정 42.2%), 월드리서치(노 38.8%, 정 37.0%) 모두 노 후보가 앞섰지만, 월드리서치는 이 후보 지지율이 기준치 이하여서 무효 처리됐다.

전문가들은 정 후보가 조사에 큰 영향을 미치지 않는 역선택 방지에 집착해 조사 시기가 늦어지는 바람에 결국 불리한 상황을 자초한 셈이 됐다고 지적했다.

대구경북 정몽준 지지율 0% 미스터리

여론조사기관 폴 앤 폴 대표로 홍석기씨와 함께 노 후보측 실무자로 참가한 조용휴 청와대 여론조사비서관은 “디자인 자체가 말이 안 되는 조사였다는 게 개인적인 판단”이라고 말했다.

김행씨는 “단일화 자체가 무산되는 것을 막기 위한 불가피한 결정이었지만 여론조사 기법상막灌？솔직히 말도 안 되는 얘기”라고 말했다. 정 후보측 다른 관계자 사이에선 “여론조사에 노사모가 동원됐다”는 등 조작설이 끈질기게 제기됐다.

조작설의 근거 가운데 하나는 정 후보가 우세를 확신한 대구ㆍ경북에서 정 후보 지지율이 0%로 나왔다는 것이다. 조상 대상은 전국 2,500명으로 인구비례를 따지면 대구ㆍ경북이 400명인데, 이 중 정 후보 지지자가 단 1명도 없었다는 것이 과연 가능한 얘기냐는 것이다.

양 후보 지지율 격차가 비슷한 시기에 언론사들이 실시한 조사 결과(대부분 1% 포인트 안팎)와 큰 차이를 보인 것도 논란이 됐다. 조사를 담당한 리서치 앤 리서치 노규형 대표는 “샘플 수가 적고 이회창 지지자들이 빠져 그런 결과가 나왔을 것”이라면서 “이것만 놓고 전체 결과의 신뢰성에 의문을 제기할 수 없다”고 말했다.

기획취재팀 = 유승우 팀장 이희정 기자 김광수 기자 문준모 기자 swyoo@hk.co.kr

■ 최초의 여론조사 1824년 美 대선서

여론조사는 미국에서 대통령선거 결과를 예측하려는 언론사들의 경쟁으로 비롯됐다.

최초의 여론조사는 1824년 미국 지방지인 해리스버그 펜실베이니언과 롤리 스타가 퀸시 애덤스와 앤드류 잭슨 등 대선후보를 놓고 실시한 지상투표(紙上投票ㆍstraw poll)였다. 독자에게 우편엽서를 보내 답장을 집계하는 방식이다.

이후 미국의 신문과 잡지들은 보다 많은 응답을 얻기 위해 대대적인 경쟁을 벌인다. 1932년 잡지 ‘리터러리 다이제스트’는 무려 2,000만 가구에게 엽서를 보내 300만장의 응답을 얻었고, 승리한 프랭클린 루스벨트 대통령의 득표율을 불과 1% 오차로 맞췄다.

1936년 미 대선은 과학적 조사기법이 개가를 올린 분수령이었다. 투표 전날 ‘리터러리 다이제스트’는 57% 대 43%로 공화당 후보인 알프레드 랜든이 루스벨트 대통령을 꺾을 것이라고 전망했다.

유권자 1,000만 명에게 엽서를 보내 받은 237만 통의 응답을 집계한 결과였다. 반면 조사기관 갤럽, 엘모 로퍼, 아치볼드 크로스리는 44% 대 56%로 루즈벨트의 당선을 예측했다.

갤럽 등은 전국의 유권자 가운데 할당표집법(quota sampling)으로 표본을 선택해 면접조사를 실시했다. 조사한 표본은 1,500명에 불과했다. 결과는 37.5% 대 62.5%로 루즈벨트의 승리였다.

1960년에는 여론조사 전문가 루이스 해리스가 존 케네디 후보의 선거캠프에 참가했다. 그는 역사상 가장 다양하고 많은 조사를 실시해 선거전략을 건의했다. 정치인이 조사전문가를 고용해 대중을 조작한 최초의 사례였다.

한국에서는 해방직후 우익 성향의 선구회라는 단체가 1945년 10월10일부터 한달간 서울에 있는 105개 정치ㆍ사회ㆍ문화단체와 학교에 3,914장의 설문지를 배포해 바람직한 대통령상 등 3개항을 물었다.

1946년과 1948년 조선여론협회도 초대 대통령으로 적합한 인물에 대해 서울 거리에서 여론조사를 실시했다.

여론조사 보도는 1980년 한국일보가 사회전반의 이슈에 대한 조사 결과를 지면에 게재한 것이 처음이다.

1983년 문화공보부는 공공정책 및 대국민 홍보전략 수립을 위한 여론조사를 의뢰했고, 이후 정부 공공기관에서도 정책에 반영하기 위해 여론조사를 실시했다.

선거조사는 군사독재의 억압에 눌려 빛을 보지 못하다 1987년 13대 대통령 선거를 앞두고 본격적으로 실시됐다.

기획취재팀 = 유승우 팀장 이희정 기자 김광수 기자 문준모 기자 swyoo@hk.co.kr