批評民調嚴謹度有極大爭議 《菱傳媒》整理六大質疑回應
(菱傳媒/綜合報導)《菱傳媒》日前公布新北市相關民調,市長侯友宜滿意度較前一年腰斬,更有超過六成民眾認為他應該先請辭再參選總統,侯友宜競選辦公室回應民調嚴謹度有很大爭議。《菱傳媒》今(8日)回應,委託的皮爾森數據是採網路主動發放問卷調查方式,針對使用者的性別等的準確性採用網路行為和資料庫標籤比對,結合問卷題目設計做雙重認證,確保資料的正確性與可靠性。
侯友宜競選辦公室認為一般民調會有20%至30%選民不表態,質疑《菱傳媒》「強烈意見者的意見」與「強制表態的題型」,也使得整份問卷的公信力與意義打上一個大問號。《菱傳媒》回應,「一般民調會有 20% 至 30% 選民不表態」是奠定在市話通訊調查上產生的經驗值,並非絕對值。由於家裡市話安裝數量逐年嚴重下降,各種其他的新興調查方法,如簡訊抽樣調查、會員資料庫配額調查、網路分層隨機抽樣調查等新興調查方法,也是所有市調從業人員正積極努力投入發展的方向。市話通訊調查的經驗,並不能拿來套用在不同調查方法上。
Q1. 「網路調查」並非一般認定的「民意調查」,可信度與效度在學術界與實務界都有非常多的爭議與討論,參考性有待商榷。
以實績回應「參考性」
| 菱傳媒新聞與維基百科並列紀錄各家調查結果 |
2021 四大公投 | |
2022 中二補選 | |
2022 萬華林昶佐罷免案 | |
2022 縣市長選舉 (本島19縣市) |
Q2.《菱傳媒》該民調調查方法為網路投遞廣告,團隊收到民眾反映,戶籍非新北仍收到此調查廣告,卻可以完成該民調,因此嚴謹度有非常大的爭議。
委託的皮爾森數據,係採網路主動發放問卷調查方式,透過資料管理平台(DMP),在性別、年齡與居住地比例分層隨機抽樣進行調查,並輔以網路行為分析帶入使用者輪廓標籤,確保符合調查對象的唯一性。同時針對使用者的性別、年齡與居住地的準確性採用網路行為與資料庫標籤比對方式,結合問卷題目設計做雙重認證,確保資料的正確性與可靠性。
在實際操作上,網路問卷採主動發放,由填答者自由填寫;填答者在不同的網路資訊版位上(包括簡訊、E-mail、網站、社群媒體、搜尋引擎等)都有可能看到問卷,並自行選擇是否填答。之後根據調查所需之抽樣架構目標,依性別、年齡與居住地比例進行分層隨機抽樣根據調查條件建立符合性別、年齡等樣本架構並提供抽樣名單,藉由透過資料管理平台(DMP)技術,進行分層隨機抽樣。
此外,為確保問卷填答的唯一性,在資料分析上,除了以網路行為分析帶入使用者輪廓標籤,藉以確保符合調查對象的唯一性外,對使用者的性別、年齡與居住地的準確性,也採用網路行為與資料庫標籤比對方式,結合問卷題目設計做雙重認證,進一步確保資料的正確性與可靠性。
Q3.不論從主題或題目都充滿「針對性」與「誘導性」,例如「幼兒園餵藥事件」、「市長滿意度」與「是否應辭職參選」,就充滿題組間的相互干擾因素,所得到的答案恐怕也會受到相當程度的誘導。
本次調查針對六都時事題的蒐集步驟為:
透過輿情分析工具,先行爬梳自從縣市長上任以後半年的主要議題。
確認是民眾較有感的題目,避免出現民眾沒有印象的題目,以此作為主要題目設計的參考。
再交由問卷設計顧問進行審查,以了解群眾的政治態度、施政感受,作為本次研究問題之核心。
Q4.該民調政黨支持度顯然已經偏離現實,此次皮爾森數據調查結果,新北市民進黨的政黨支持度為29.3%,國民黨為20.5%,民眾黨為9.46%,但2020年立委政黨票,在新北民進黨為33.8%、國民黨為33.2%、民眾黨為12.0%,2020政黨票已經是「藍軍最低迷的時刻」,顯然這是一份樣本嚴重偏綠的調查結果,更嚴重低估國民黨與民眾黨的支持者。
以下比對2022年(調查時間:2022.02.22~2022.02.26,有效樣本:3,532 份)與2023年(調查時間:2023.06.27~2022.07.02,有效樣本:1,086 份)菱傳媒新北市長滿意度調查中的政黨傾向,提供各界參考。
比較二年的調查結果變化,隨著局勢與氛圍轉變,2023 年民進黨的政黨認同度確實略微增加,但民眾黨也有增加,且不同年齡的族群反應亦有所不同,兩次調查的比較可以反應不同性別年齡群體的政黨傾向變化,因此並不建議直接推定本次調查結果為「偏綠」。
2022 年與 2023 年的新北市調查,調查方法一致、施政滿意度題項、政黨傾向題項完全一樣,在系統誤差可以相沖的情況下,可以反應出社會真實的變化。試提出二次調查經資料清理後的統計分析結果。施政滿意度變動較劇烈如前述,但不同性別年齡群體的政黨傾向架則較穩定,顯示整體樣本結構具穩定性。
如若侯友宜競選辦公室仍認為,2020 年的國民黨政黨票是藍軍最低迷的時刻,那麼建議可參照所有近期市面上與內參的國民黨政黨認同的調查結果比例。
Q5.「網路調查」最為人所詬病的就是忽視中間選民,由於是網路主動填答,回覆者都是意見強烈者,以侯友宜市長的滿意度為例,非常不滿意為48.90%,不滿意為20.15%,滿意為11.56%,非常滿意為19.39%,4個選項加起來已經是100%,完全排除沒有意見或是不表態的選民。
中間選民在政黨認同度上比較模糊,但仍是對時事及整體社會氛圍有感受的台灣人。為了解群眾真實的感受,題目設計採用四分量表,本身就是量測上的考量。不論是新北市滿意度,又或者是其他縣市的施政滿意度調查,連續二年均以四分量表設計執行,在相同的前提下進行研究比較,探索各族群的意向具一定參考性。
Q6.一般民調會有20%至30%選民不表態,這種「強烈意見者的意見」與「強制表態的題型」,也使得整份問卷的公信力與意義上,必須打上一個大問號。
「一般民調會有 20% 至 30% 選民不表態」,是奠定在市話通訊調查上產生的經驗值,並非絕對值。由於家裡市話安裝數量逐年嚴重下降,各種其他的新興調查方法,如簡訊抽樣調查、會員資料庫配額調查、網路分層隨機抽樣調查等新興調查方法,也是所有市調從業人員正積極努力投入發展的方向。市話通訊調查的經驗,並不能拿來套用在不同調查方法上。
目前已有外國政府,將不同的網路抽樣調查方法,使用在大型國家調查計畫上,並正式納入成國家統計的一部份。若持續被過去的經驗束縛或限制,而非持續長期觀察、研究各種數字的趨勢變化,那麼就極有可能加速跟社會脫節。
最後,《菱傳媒》縣市長施政滿意度調查,為菱傳媒例行的調查計畫,已連續執行二年,忠實記錄下台灣地方政壇與民意現況,並非針對侯友宜市長,除了六都已經按進度先行公開,其他縣市的施政滿意度調查也將陸續公開,歡迎持續鎖定《菱傳媒》。
菱傳媒原始網址:批評民調嚴謹度有極大爭議 《菱傳媒》整理六大質疑回應