當AI加入事實查核 美國杜克記者實驗室：人工判斷仍是關鍵

記者何蕙安／編譯

研究以人工智慧（Artificial Intelligence，AI）進行事實查核的權威機構、美國杜克記者實驗室表示，儘管人工智慧很聰明，但仍不足以成為最終決策者與避免機器特有的重複性錯誤，人類在「自動化新聞學」（Automated journalism）中仍扮演關鍵角色。

美國杜克記者實驗室共同創辦人比爾・亞德爾（Bill Adair）與馬克．史丹瑟（Mark Stencel）近日在哈佛大學尼曼新聞實驗室（Nieman Lab）發文，細數該團隊過去兩年以AI即時查核演說內容與偵測不實訊息的成果與挑戰。

無獨有偶，英國查核組織《Full Fact》、南非查核組織《Africa Check》與阿根廷查核組織《Chequeado》在2019年中贏得「Google AI Impact Challenge」200萬美元（約新台幣5870萬元）獎助金，研究AI如何運用於事實查核。《Full Fact》在近日分享其進展，強調希望透過AI讓事實查核記者的工作更有效率、更精準，而非取而代之。

圖1：英國查核組織《Full Fact》自動事實查核部門主管安迪．達菲爾德（Andy Dudfield）今年3月在Google人工智慧挑戰峰會上分享該組織的AI聯合研究。擷自Google.org影片

美國杜克記者實驗室：AI很聰明，但仍需要人工輔助

美國杜克記者實驗室2017年9月在奈特基金會（Knight Foundation）、Facebook新聞計畫（Facebook Journalism Project）與克雷格·紐馬克慈善基金會（Craig Newmark Philanthropies）的資助下，成立「杜克科技與查核」團隊（Duke Tech & Check），目標是以AI發展事實查核工具。

亞德爾與史丹瑟表示，該團隊迄今打造了彙整電視與網路上可疑訊息的「科技與查核警報」，與即時查核政治演說與辯論的APP程式「Squash」，但兩者的發展都面臨了挑戰，目前的解決方式不約而同—以人工查核輔助。

Squash的原理主要是透過將聲音轉譯成文字，再將文字與ClaimReview事實查核資料庫中的事實查核報告比對，判斷談話內容是否涉及曾在過去被查證為錯誤的內容。但Squash的工作結果取決於音檔品質與發言人過去被事實查核的頻率，有時候可能完全找不到結果，也可能一找就是一大串搜尋結果。

此外，也有時發生比對錯誤的情況，例如美國總統川普正大談太空旅行，Squash卻顯示有關建設馬路官僚主義的內容。

從「單獨決策」到「初步建議」 研究團隊修正AI工具

為了改善Squash的運作，研究團隊決定，與其讓Squash的人工智慧單獨做所有決策，不如透過Squash建議可能的比對結果，讓人類作最後決定。目前團隊開發出一個新介面「Gardener」，讓人類可以刪除不佳、不相關的比對，目前正在測試當中。

另個AI工具、「科技與查核警報」則是使用ClaimBuster演算法，每天把成千上萬的有線電視新聞與推特上的新聞轉譯成文字、分類、彙整成電子信，發給華盛頓郵報、紐約時報、美聯社與其他事實查核組織。

不過，杜克團隊發現，該電子報的使用情況並不如預期，原因可能是因為這些電子報看起來很制式，而且塞了一些對記者來說不實用、不有趣的資訊。

團隊最後決定結合「自動化」與「客製化」，請來杜克學生Andrew Donohue進一步挑選機器人選出的名單，並且加入其他來源的內容， 製作成內容更細緻的「機器人精選」（Best of the Bot）。杜克團隊統計，「機器人精選」從2019年9月13日首發至今，已經成功幫助了至少8個事實查核團隊中的20多個記者展開查核工作。

「機器事實查核領域迄今已有大幅進展，但相關的成效也愈來愈清晰：他們仍需要人類的幫助。」亞德爾與史丹瑟在文章裡說。

三大查核組織目標三年內實現AI事實查核

除了杜克團隊，英國查核組織《Full Fact》、南非查核組織《Africa Check》與阿根廷查核組織《Chequeado》正在進行的自動查核專案也備受矚目。跨越三大洲的三家組織在2019年中聯手拿下Google人工智慧挑戰競賽200萬美元獎助金，目標在三年之內以機器學習大幅改善並擴張事實查核的範圍。

圖2：英國查核組織《Full Fact》、南非查核組織《Africa Check》與阿根廷查核組織《Chequeado》在2019年中聯手拿下Google人工智慧項目200萬美元獎助金，研究以AI改善與加速事實查核。擷自Google.org影片

《Full Fact》自動事實查核部門主管安迪．達菲爾德（Andy Dudfield）近日撰文分享該項目的成果。他強調，事實查核相當耗時，其研究目標是透過AI找出最需優先查核的主題、找到過去已被查證過的言論、盡可能即時查核，確保記者將珍貴的時間花在適當的主題上。

《Full Fact》的「傳言分類器」主要使用Google Research的工具BERT，分析搜集自電視新聞字幕、新聞網站、社群平台上的資訊後，將偵測到的內容主張依數據、因果、預測等類型分類，標示出可供事實查核記者進一步查核的內容。

達菲爾德強調，AI可以從龐大數據去蕪存菁，找出一個有意義的集合，讓事實查核者得以快速判斷哪些內容必須優先查證，不只節省時間，甚至能夠挖掘出一些較隱晦、帶有不實主張的內容。

一旦電腦彙整出待查核的傳言後，就能比對當中的句子是否曾在過去被查核過。團隊的目標是訓練分類器進一步預測句子的匹配情況，如當兩句子使用不同的詞彙，但含有相同的數字、人名、組織等資訊，AI仍能判斷是否與資料庫內容相符。

「AI使記者更強大！」 疫情期間偵測50萬則訊息

專案的下一步是透過偵測傳言的重點，抓出主題、趨勢、價值、日期、地點等資訊後，自動比對相關的外部數據（例如英國統計局的數據），判斷待查證內容是否正確；另一計畫是擴充AI辨識詞彙的能力，盡可能偵測出看似不同、但文意或本質相同的詞彙組，例如「英國首相」與「強生（Boris Johnson）」，以達到更精確的比對。

達菲爾德強調，儘管不少功能仍在實驗階段，但三組織皆已經將目前成果運用在查核上，包括《Full Fact》在2019年底大選用來查核各政黨政見；《Africa Check》在AI幫助下成功偵測到一個政治人物誤引用世衛組織關於婦女剖腹產的數據；至於《Chequeado》目前每週有一半的事實查核報告都來自AI的偵測。

他也透露，自從疫情爆發，Full Fact利用AI成功偵測了超過50萬則來自英國媒體的疫情相關內容。

「AI計畫並不打算取代事實查核記者，而是希望讓事實查核記者因為擁有AI工具而變得更強大。」達菲爾德在日前的Google AI影響力挑戰峰會上也指出，AI工具主要是減輕事實查核工作面臨的「痛點」，但目前諸如內容上的細微差異、語境的轉移等，皆仍有賴人類的介入判斷。

圖3：包括杜克記者實驗室、英國查核組織《Full Fact》都強調AI是協助事實查核工作，而非取代人類記者。事實上，杜克記者實驗室認為迄今的研究成果顯示人類的介入仍不可或缺。擷自Google.org影片

參考資料

Nieman Lab〈A lesson in automated journalism: Bring back the humans〉
Full Fact〈How we’re using AI to scale up global fact checking〉
Full Fact〈How we use AI to help fact check party manifestos〉
Google.org〈Using AI to Fight Misinformation〉