By Christopher Harper (journalism professor at Temple University)

s U.S. voters face 18 months of constant bombardment from pollsters, it’s time to revisit the serious problem with political prognostication. Polls have become click-bait ― and erroneous click-bait at that. Here’s how bad it has become:

In the British election, the polls said the race between the Conservative Party and the Labor Party was too close to call. In fact, the Conservatives won a majority of seats in Parliament and defeated Labor by more than 6 percentage points.

In the Israeli election, the average of pre-election polls showed Prime Minister Benjamin Netanyahu winning only 21 seats in the Knesset, while the primary opposition party, Zionist Union, would get 25 seats. Mr. Netanyahu’s party earned 30 seats, while the Zionist Union won 24.

In the U.S. midterm elections, the pollsters missed a huge change in the U.S. Senate, including errors in Alaska, Virginia and elsewhere, and mistakes in key gubernatorial selections, such as Illinois and Maryland.

Polls have gotten the vote wrong in past elections. The worst example of a botched result occurred in 1936 when Literary Digest asked its readers about the presidential race between former Kansas Gov. Alf Landon and incumbent Franklin Roosevelt. Two million people answered the straw poll, which forecasted that Mr. Landon would win with 57 percent of the vote. A young, rival pollster, George Gallup, questioned 50,000 voters, who said Mr. Roosevelt would sweep to victory by a sizable margin.

n fact, Mr. Landon won only two states, Maine and Vermont, while Mr. Roosevelt received nearly 61 percent of the popular vote. The magazine poll had a poor demographic mix of people, which skewed toward the upper classes. Similar sampling errors continue.

So what should voters do? I think people should ignore polls because news organizations have created stories of little value based on the results. If people still want to look at the predictions, make sure to read only those of likely voters. Moreover, look at the polls as trends rather than actual results. Make sure to see whether the sample represents the voting public. Review the margin of error, which is usually 2 to 3 percentage points.

The manner in which questions have been phrased also provides a good assessment of whether the poll gives a valid snapshot. The National Council on Public Polling provides some advice. “Does the question seem fair and unbiased? Does it present a balanced set of choices? Would most people be able to answer the question?”

여론조사 예측이 틀리는 이유

크리스토퍼 하퍼(美 템플大 저널리즘 교수)

미국 유권자들이 여론 조사자들로부터 18개월 동안 계속 난타를 당하는 상황에 직면함에 따라 정치적인 예측의 심각한 문제를 재고할 때가 되었다. 여론조사는 클릭을 유도하는 낚시질이 되었고 낚시질 면에서도 잘못되었다. 그것이 얼마나 잘못되었는지 보여 주는 다음의 사례를 보자.

영국 총선에서 각종 여론조사는 보수당과 노동당의 경합이 백중세를 이룰 것이라고 말했다. 실제로는 보수당이 의회의 과반수 의석을 획득하여 6퍼센트포인트 이상의 격차로 노동당을 패배시켰다.

이스라엘 총선 전 각종 여론조사의 평균에는 베냐민 네타냐후가 크네세트에서 불과 21석밖에 얻지 못하는 반면에 제1야당인 시온연맹당은 25석을 획득할 것으로 나타났다. 네타냐후의 여당은 30석을 얻은 반면 시온연맹당은 24석을 얻었다.

미국 중간선거에서 여론 조사자들은 알래스카와 버지니아 등에서 오판한 것을 포함하여 미 상원의 거대한 변화를 놓쳤고 일리노이 및 메릴랜드 같은 주요 주지사 선거에서도 예측에 실패했다.

여론조사는 과거의 여러 선거에서 투표를 잘못 예측했다. 리터러리다이제스트가 독자들에게 캔자스 주지사 앨프 랜든과 현직인 프랭클린 루스벨트의 대통령 선거에 관해 질문했던 1936년에 예측 실패의 최악의 사례가 발생했다. 랜든이 득표율 57%로 승리한다고 예측한 이 여론조사에 200만명이 답변을 했다. 경쟁 여론 조사자인 젊은 조지 갤럽은 5만명에게 질문했는데 응답자들은 루스벨트가 상당한 격차로 압승할 것이라고 말했다.

실제로 랜든은 메인과 버몬트 2개 주에서만 승리한 반면 루스벨트는 투표의 61%를 얻었다. 잡지 여론조사는 인구 혼합을 서툴게 하여 조사대상이 상류층에 편중되었다. 비슷한 표본 오류가 계속되고 있다.

그렇다면 유권자들은 어떻게 대처해야 할까. 뉴스 기관들이 여러 가지 결과에 바탕을 둔, 별 가치가 없는 기사를 만들어냈기 때문에 사람들이 여론조사를 무시하는 것이 마땅하다고 필자는 생각한다. 만약 사람들이 그래도 각종 예측에 기대를 걸고 싶다면 투표할 것으로 예상되는 유권자들의 예측만을 읽도록 만전을 기하도록 한다. 거기에 덧붙여서, 여론조사를 실제 결과로서가 아니라 추세로 간주한다. 표본이 투표하는 유권자들을 대표하는지 여부를 반드시 확인한다. 일반적으로 2퍼센트포인트 내지 3퍼센트포인트 수준인 오차의 폭을 살핀다.

설문의 표현방식 또한 해당 여론조사가 상황을 간략하고 타당하게 파악했는지 여부를 평가하는 좋은 기준이 된다. 전국여론조사협회는 몇 가지 조언을 한다. “질문은 공정하여 편향되지 않은 것으로 보이는가. 질문은 각종 선택의 형평을 이루고 있는가. 대부분의 사람들이 그 질문에 대답할 수 있는가.”

역주=오성환 외신전문위원 [e-mail]