AI虛假信息帶來的困擾爲何越來越嚴重了？

今年十一期間，抖音、B站等平臺大量涌現了“雷軍AI配音” 的惡搞視頻，給雷軍本人和小米帶來了很大困擾。

在這些惡搞視頻中，“雷軍”銳評了堵車、假期等熱門話題，還有一些不雅謾罵。一些惡搞短視頻的播放量幾天之內就達到上億。對此，雷軍本人在10月底發佈短視頻迴應稱，希望大家都不要再玩了，“有網友投訴說國慶期間被我連續罵了7天，的確讓我自己也挺困擾，讓我挺不舒服的，這個事不太好。”

談及上述事件，Gartner研究副總裁高挺告訴界面新聞，虛假信息本質上還是僞造的信息，但它的危害在大模型時代被放大了。

在一位信息安全從業者看來，“雷軍AI配音” 的惡搞視頻變多，主要是外站一家AI公司在宣傳其聲音克隆功能。這類玩梗，公衆知道是AI模仿，傳播虛假信息的風險不大。平臺在治理中的難點是，因爲無法判斷名人、明星對於這種網友玩梗是反對，還是出於營銷目的樂見其成，在當事人明確提出贊同或反對的意見前，平臺難以制定治理策略。

相比之下，新聞類的AI謠言往往帶來的社會危害性更大。界面新聞搜索發現，類似的事件今年也多次發生。

近期，一篇題爲《山東大媽擺攤賣水果被罰16萬，監管局迴應不交罰145萬，法院判了》的文章在微信公衆號等平臺流傳非常廣，也引發了很多網友的爭論。但經有關部門覈實，這篇文章系長沙一家MCN公司爲了增加公衆號的閱讀量與公司收益，利用AI生成的內容來博眼球。在此之前，多個短視頻平臺還出現過利用AI編造“地震”“運鈔車搶劫”等新聞，這些內容給不明真相的網友帶來了一定程度的恐慌。

對於生成式AI帶來的虛假新聞，各個內容類平臺都明確表示會進行打擊。抖音安全中心相關負責人稱，對於虛假信息，無論是否由AI生成，一經發現平臺均會嚴厲處置。同時，對於AI生成內容，在符合社區內容規則的前提下，抖音要求發佈者對內容進行顯著標識，幫助其他用戶區分虛擬與現實，特別是易混淆場景。

但據界面新聞了解，治理AI生成虛假新聞的難點在於面臨很高的核驗成本，平臺很難完全以一己之力判斷信息的真實性，很多情況下需要監管部門介入，但相關信息在覈驗過程中已經進行了快速傳播。

虛假信息給企業聲譽以及社會正常生活秩序造成負面影響之外，還帶來了諸如“網絡釣魚”，或者“賬戶接管”等企業網絡安全的影響。此前，行業中曾經發生過詐騙分子通過AI技術仿造一家能源公司CEO聲音，詐騙該公司高管上百萬元錢財的事。AI生成的音色、音調和口音都非常逼真，導致這名高管根本沒意識到是詐騙。

高挺表示，生成式AI導致了更高破壞性、更逼真的攻擊，這些攻擊更難被人類識別以及被傳統技術阻止，會對企業造成更大的損失。

虛假信息生產成本越來越低，但負面影響卻越來越顯性，只通過傳統的人工覈驗手段已經很難完全解決問題。上述技術安全專家表示，我們需要有更多新興的技術去解決虛假信息治理的問題。有些人利用技術手段來製造虛假信息，技術安全專家就應該能夠識別這些虛假信息的特徵，通過技術手段與之對抗，真正從源頭解決問題。

在信息安全領域，很多技術專家已經對虛假信息治理有了一些初步共識，並把“虛假信息安全”作爲一個新的技術研究方向。

具體來講，“虛假信息安全”包含了在信息傳播中能夠確保完整性、評估真實性以及防止冒充和追蹤有害信息傳播的一系列技術。背後的原理是，通過大語言模型來跟蹤社交媒體上的內容，驗證實時通信的完整性，確保第三方媒體的真實性等。

Gartner在其預測的2025年十大戰略技術趨勢中，把“虛假信息安全”列爲重要的技術趨勢之一。該機構認爲，未來1到3年，“虛假信息安全”技術將會產生明顯的商業收益。

從研究實踐來看，一些技術被證明是有效的。加利福尼亞大學的一項研究表明，通過上下文標籤向用戶提供背景介紹、針對錯誤的解釋以及相關權威內容等細節信息，可以有助於減少虛假內容擴散。而Facebook、X等海外內容類平臺正通過人工智能等技術手段，訓練系統自動對海量信息進行檢測和標記，以克服人工覈查的侷限性。這些研究和實踐，對國內的內容類平臺也有較強的借鑑意義。

而針對通過生成式AI帶來的釣魚詐騙等問題，企業和組織可以通過一套完整的技術解決方案來應對。界面新聞了解到，360、螞蟻金服等多家國內互聯網公司已經在基於大模型研發解決方案，試圖通過數據接入及解析、分析研判與溯源調查等手段識別出更多風險。