為什麼網路民調跟部落格blog上的意見調查不能輕信？

　　義和團宣揚「神功附體，刀槍不入」的口號很久了，為了把他們的神蹟宣揚到全世界，他們決定在網路弄個網站跟部落格。

　　於是信徒們天天上義和團的網站跟部落格，有的人還一天好幾次，深怕錯失了可以讓自己功力大增的機遇，有些人則是寫起了部落格，並且互相串連，在部落格上貼了「義和團」的貼紙。

　　不到一個月的時間，義和團的網站跟部落格瀏覽頁數都雙雙破了百萬，甚至幾個信徒的部落格每天也有近萬的page views（因為我不是義和團成員，所以寫洋文）。

　　所有義和團的人都情緒高昂，認為不用多久，所有愛國的人都會加入義和團了。

　　為了確認「神功附體，刀槍不入」的口號有多麼深入人心，於是義和團在自家網站跟部落格做網路民調。「你認為義和團能神功附體，刀槍不入嗎？　○是　　○否」

　　網路民調做了一星期後結束，超過50萬次的投票，比同一時間裡30萬的瀏覽頁數(page views)，15萬的瀏覽人次(visitors)還多。

　　結果有99.99％的投票意見認為義和團能神功附體，刀槍不入。

　　一開始信徒們還群情激憤地想找出是誰投了否，準備去示威抗議丟汽油彈。最後才知道，原來是叫做十傻的信徒認為應該是神功附體，槍砲不入，於是按了十次「否」。

　　網路民調結束後，義和團立刻在自家網站跟部落格發佈了一篇新聞稿。

　　根據最新的一份民意調查顯示，有99%的人認為義和團能神功附體，刀槍不入。趕快加入義和團練神功，就能讓你刀槍不入。

　　問題出在哪裡？

　　每個網站或部落格都有特定性質的網友去瀏覽，這些人不能代表其他更多沒去瀏覽的人（包括不會上網的人），請參考「存活者偏差(survivorship bias)與騙術」（在《黑天鵝效應（擴充新版）The Black Swan: The Impact of the Highly Improbable》一書中稱此為「沈沒證據的問題the problem of silent evidence」）。

　　另一個問題出在，大多數的網路民調不能夠解決（甚至是存心不想解決）一個人可能投很多次票的問題，十傻就是其中的一個例子。

　　下次若看到有人在部落格或網站上做民調，請先想想義和團的這個例子。至於拿Google Insights for Search做民意調查，除了上面的兩個問題外，更不用說還有其他問題了。


相關文章：
　　為什麼不要跟人爭論政治、宗教議題？——我們先用情緒下決定，再用理性找理由
　　數字可以怎樣「詐」我們
　　合格的民調應該要公布哪些資料？
　　存活者偏差(survivorship bias)與騙術
　　用道德掩護不道德——重讀《黑暗聖經》
　　你被洗腦了嗎？—脅迫憲章Chart of Coercion（上）
　　明顯的事實，合理的推論，但……
　　為什麼學歷高的人照樣(有時更容易？)會被詐騙？

繼續閱讀...

合格的民調應該要公布哪些資料？

　　常常從新聞媒體，甚至網路上看到民調，一份合格（不代表正確或準確，請看「存活者偏差」的例子）的民調應該要公布哪些資料，好讓民眾檢驗是否有披著科學研究外衣、實際上人為操縱各項調查數字的嫌疑？

　　美國民意調查協會在1968年建議公開發表之調查結果應公布的資料包括：贊助與調查單位、問卷的設計、是否有人向訪問者與受訪者解釋問卷的設計、調查的人口範圍及樣本的設定、取樣的方式、樣本的大小，調查結果的精確程度、哪些結果係根據部分（而非全部）樣本、蒐集資料的時間地點與方式。事實上，電視上的民調報告完全忽略這些資料，報紙則是任意選擇少數幾項報導。

　　在偏商業性的民調方面，美國民調組織也提出四項自律準則：受訪者身份保密、尊重隱私、對客戶負責、向客戶及大眾公布結果時要負責。如果調查單位與媒體都遵守組織會的建議，調查結果的良窳自然較容易判斷。組織會的建議包括：

‧公布問卷的確切用語，包括對訪問者的指示及問卷以外的展示品。
‧嘗試訪問的總人數。
‧未能訪問到的總人數。（請看「存活者偏差」的例子）
‧拒絕回答的總人數。（請看「存活者偏差」的例子）
‧總計訪問人數。
‧不合格人數。
‧完成訪問的人數。

　　一般大眾很少能得知上述細節。（《真實的謊言：揭開民調與統計的黑盒子Tainted Truth: The Manipulation of Fact In America》頁251）

　　你可以簡單地從哪些地方來初步檢視民調？

　　首先最重要的，業者設計問題時不應讓人覺得答案只有贊成與反對，民眾的意見是很豐富的，民調不應把它縮減成二選一的是非題。此外，業者應放慢腳步，倉促的意見價值不高，且只會使民調的根本缺點更形惡化。最重要的，業者與民眾都應通過惠勒(Michael Wheeler)發明的試驗，惠勒認為，要知道某個問題是否為公意的理想指標，只需要看你回答起來是否自在。如果你的回答是「我贊成，但是……」或是「我反對，不過……」就表示這個問題不恰當，如果你是受訪者，根本不需理會。……

　　比如說，「你贊成金泰希嫁給Ming-Tsung嗎？1.是，人家在做白日夢，不要打擾，當作日行一善；2.否，金泰希會講中文嗎？」，這就是很爛的民調題目。

　　民調業者應停止在購物中心進行調查，除非他們調查的對象就是購物的人。來電或來函式的調查也很值得懷疑，因為受訪的對象並非隨機取樣，而是自行決定參與的。……

　　Call-in民調、Google Insights for Search都有這方面的問題。（請參閱「為什麼網路民調跟部落格blog上的意見調查不能輕信？」）

　　惠勒認為民眾評估民調的可信度時應考慮下列問題：數據是否正確，代表的是何種意義？數據是否經過調查？調查是如何進行？是單選題嗎？如果是問答題，你是否能回答那些問題？其他調查結果如何？調查者真正要問的是什麼？調查由誰贊助？你對這項調查了解多少？你可基於上述任何一項考量而拒絕接受或閱讀調查。大體而言，你能取得的關於調查方式的資訊越少，表示調查越不可信。（《真實的謊言：揭開民調與統計的黑盒子》頁258）


相關文章：
　　為什麼網路民調跟部落格blog上的意見調查不能輕信？
　　數字可以怎樣「詐」我們
　　學習觀察力，培養分析力，擁有判斷力
　　為什麼不要跟人爭論政治、宗教議題？——我們先用情緒下決定，再用理性找理由
　　你被洗腦了嗎？—脅迫憲章Chart of Coercion（上）
　　假如…—心智之眼的盲點
　　明顯的事實，合理的推論，但……

繼續閱讀...