2008年11月3日 星期一

合格的民調應該要公布哪些資料?

分享

  常常從新聞媒體,甚至網路上看到民調,一份合格(不代表正確或準確,請看「存活者偏差」的例子)的民調應該要公布哪些資料,好讓民眾檢驗是否有披著科學研究外衣、實際上人為操縱各項調查數字的嫌疑?

  美國民意調查協會在1968年建議公開發表之調查結果應公布的資料包括:贊助與調查單位、問卷的設計、是否有人向訪問者與受訪者解釋問卷的設計、調查的人口範圍及樣本的設定、取樣的方式、樣本的大小,調查結果的精確程度、哪些結果係根據部分(而非全部)樣本、蒐集資料的時間地點與方式。事實上,電視上的民調報告完全忽略這些資料,報紙則是任意選擇少數幾項報導。

  在偏商業性的民調方面,美國民調組織也提出四項自律準則:受訪者身份保密、尊重隱私、對客戶負責、向客戶及大眾公布結果時要負責。如果調查單位與媒體都遵守組織會的建議,調查結果的良窳自然較容易判斷。組織會的建議包括:

‧公布問卷的確切用語,包括對訪問者的指示及問卷以外的展示品。
‧嘗試訪問的總人數。
‧未能訪問到的總人數。(請看「存活者偏差」的例子)
‧拒絕回答的總人數。(請看「存活者偏差」的例子)
‧總計訪問人數。
‧不合格人數。
‧完成訪問的人數。

  一般大眾很少能得知上述細節。(《真實的謊言:揭開民調與統計的黑盒子Tainted Truth: The Manipulation of Fact In America》頁251)

  你可以簡單地從哪些地方來初步檢視民調?

  首先最重要的,業者設計問題時不應讓人覺得答案只有贊成與反對,民眾的意見是很豐富的,民調不應把它縮減成二選一的是非題。此外,業者應放慢腳步,倉促的意見價值不高,且只會使民調的根本缺點更形惡化。最重要的,業者與民眾都應通過惠勒(Michael Wheeler)發明的試驗,惠勒認為,要知道某個問題是否為公意的理想指標,只需要看你回答起來是否自在。如果你的回答是「我贊成,但是……」或是「我反對,不過……」就表示這個問題不恰當,如果你是受訪者,根本不需理會。……

  比如說,「你贊成金泰希嫁給Ming-Tsung嗎?1.是,人家在做白日夢,不要打擾,當作日行一善;2.否,金泰希會講中文嗎?」,這就是很爛的民調題目。

  民調業者應停止在購物中心進行調查,除非他們調查的對象就是購物的人。來電或來函式的調查也很值得懷疑,因為受訪的對象並非隨機取樣,而是自行決定參與的。……

  Call-in民調、Google Insights for Search都有這方面的問題。(請參閱「為什麼網路民調跟部落格blog上的意見調查不能輕信?」)

  惠勒認為民眾評估民調的可信度時應考慮下列問題:數據是否正確,代表的是何種意義?數據是否經過調查?調查是如何進行?是單選題嗎?如果是問答題,你是否能回答那些問題?其他調查結果如何?調查者真正要問的是什麼?調查由誰贊助?你對這項調查了解多少?你可基於上述任何一項考量而拒絕接受或閱讀調查。大體而言,你能取得的關於調查方式的資訊越少,表示調查越不可信。(《真實的謊言:揭開民調與統計的黑盒子》頁258)


相關文章:
  為什麼網路民調跟部落格blog上的意見調查不能輕信?
  數字可以怎樣「詐」我們
  學習觀察力,培養分析力,擁有判斷力
  為什麼不要跟人爭論政治、宗教議題?——我們先用情緒下決定,再用理性找理由
  你被洗腦了嗎?—脅迫憲章Chart of Coercion(上)
  假如…—心智之眼的盲點
  明顯的事實,合理的推論,但……

1 意見:

zuyan 提到...

原則上我對民調(市調)這個東西是不認同的,實際上誤差是很大的,尤其是台灣做的民調,取樣有很大的問題。所以看看就好。