◎조사기관·언론사 명성 신뢰도와 관련없어/결과에 대한 해석보다 질문별 수치에 관심을여론조사는 품질이 다양하다. 미국에서 실시한 선거 여론조사중 423개를 보면 1/3은 선거결과를 3% 이내로 맞추었지만 6.5%이상 벌어진 경우도 1/3이나 되었고 30% 정도나 차이가 난 것도 있다. 품질이 좋기만 하다면 여론조사 결과는 유용하다. 문제는 품질 등급이 표시된 것도 아니고 정보도 충분치 않아서 언론에 보도되는 조사결과의 품질을 쉽게 알 수 없다는 점이다. 그래서 몇가지 여론조사 보도를 읽는 원칙을 설정해 보았다.
첫째, 언론사를 보고 조사결과의 품질을 판단하지 않아야 한다. 우리나라 언론은 대체로 전문조사회사에 위탁해서 조사를 실시한다. 그런데 언론사는 조사결과의 품질을 나름대로 판단해 선별 보도하거나 그 품질을 표시해 주지 않는다. 그냥 조사기관에 의뢰해서 결과가 나오는 대로 보도하는 것이니까 언론사를 보고 그 조사의 품질을 판단할 수는 없다.
둘째, 조사회사의 명성도 품질 판단에 고려하지 않아야 한다. 물론 조사회사에 따라 품질에 차이가 있겠지만 96년 총선때 주요 조사회사의 조사결과를 보면 특별히 믿음을 주는 회사는 없다. 외국의 경우를 보아도 조사회사가 조사결과의 품질을 보증해 주지는 못한다. 영국 총선의 경우 갤럽, NOP 등 조사회사들이 83년과 87년에는 비교적 정확하게 결과를 예측했지만 92년선거에서는 현저하게 틀렸다.
셋째, 그래서 각각의 조사마다 품질을 판단한다. 이 때 중요한 것은 조사대상으로 선정된 사람들이 과연 전국민을 대표한다고 할 수 있느냐는 것이다. 대상자를 뽑을 때 지역이나 연령은 전국민을 대표할 수 있도록 할당하므로 소득수준이나 학력 직업 종교 등의 측면에서도 전국민을 대표할 수 있는지 보면 될 것이다. 그런데 조사의 품질판단에서 가장 중요하다고 할 수 있는 이러한 사항이 언론보도에 언급되지 않는 경우가 많다. 그래서 아쉬운대로 조사시기 등을 가지고 짐작해 볼 수 밖에 없다. 일요일에 했다면 등산 낚시 등을 취미로 하는 층이나 종교활동이 많은 층이 적게 포함되었을 것이다. 또 낮에 조사했다고 하면 직장인이 적게 포함되었을 것이다.
넷째, 조사결과를 볼 때 기자의 해석은 되도록 보지 않고 각 질문별로 숫자만을 골라 본다. 때로는 여론조사의 품질이 문제가 아니라 기자들의 해석이 더 문제라고 느낄 때가 많다. 다소 품질이 떨어지더라도 제대로 해석만 한다면 나름대로 가치가 있을 텐데, 조사의 품질은 평가해 보지도 않고 대단히 과학적으로 이루어진 조사인 것처럼 주장한다. 그리고 차이가 없다고 보아야 할 경우에도 대단한 차이가 있는 것처럼 강조한다든가, 정작 중요한 무응답 비율 같은 것은 언급도 안할 때도 있다. 조사결과만을 표로 제시해 주는 것이 차라리 낫겠다는 생각이 든다.
다섯째, 여론조사가 아무리 정확하다 해도 틀릴 가능성이 있다는 점을 염두에 둔다. 얼마나 틀리냐가 문제인데 품질이 좋을 경우 실제 투표결과와 1, 2%정도 차이밖에 안날 수도 있다. 언론들이 조사결과를 보도할 때 오차한계라고 해서 +/-2.5% 등과 같이 제시하는 것이 바로 그 범위다. 그런데 한국의 언론은 실제 조사의 오차를 밝히는 것이 아니라 같은 규모의 조사를 이상적으로 했을 때 나올 수 있는 오차를 말하고 있다. 이는 조사의 정확성을 과장하니까 대단히 나쁜 관행이다. 미국의 경우를 보면 실제 오차는 이상적인 경우의 3배 정도로 나타났다. 한국의 여론조사는 미국보다 조금 나을 것이라고 본다면, 조사결과를 해석할 때 지지도 차이 5%포인트 이내는 대체로 별 차이가 없는 것으로, 10%포인트 정도면 차이가 확실한 것으로 볼 수 있을 것이다.
여섯째, 조사인원이 많다고 해서 더 정확하다고 보지는 않는다. 이론에 따르면 조사인원이 많을수록 정확할 것이다. 그렇지만 조사의 정확성은 표본 크기 뿐만 아니라 질문방법, 조사대상자 선정방법 등도 중요한 역할을 한다. 우리나라 언론은 대체로 1,500명이나 2,000명 정도를 조사하는데 품질만 좋다면 이 정도 인원으로도 1∼3% 이내로 맞출 수도 있다. 물론 품질이 나쁘면 100만명을 조사해도 틀린다. 92년 미국대통령 선거때 실시된 56개의 전국조사의 경우를 보면 표본 크기가 600명에서 2,000명으로 다양했는데 각 조사의 정확도는 표본크기와 관계가 없었다.
언론의 여론조사 보도는 그대로 믿기에는 미심쩍은 부분이 많고 그 해석도 정확하지 않다. 그렇다고 해서 여론조사 결과를 무시해 버릴 수도 없다. 언론의 여론조사 보도가 보다 책임있게 이루어질 때 까지 우리 스스로 여론조사의 품질을 나름대로 가늠하면서 읽을 수 밖에 없을 것이다.
기사 URL이 복사되었습니다.
댓글0