《環球時報》記者在第二屆網絡空間安全（天津）論壇聽專家介紹：如何應對AI發展中的新型犯罪

來源：環球時報

【環球時報赴天津特派記者 郭媛丹】第二屆網絡空間安全（天津）論壇4日開幕，大模型與數據安全制度建設、網絡數據人工智能（AI）安全治理實踐等成爲與會官員和專家共同關注的話題。論壇期間接受《環球時報》採訪的網絡安全專家表示，新技術既帶來了風險，也會同步改善風險防範能力，需要用AI應對AI攻擊。

新技術帶來三類網絡安全風險

本屆論壇以“共建網絡安全 共治網絡空間”爲主題，共同探討網絡空間安全領域的“硬核”新技術、未來新場景、治理新議題，有效形成網絡安全治理的路徑、策略、模式、標準，以系統思維推動綜合治理，不斷完善網絡空間安全保障體系，充分引領網絡安全發展新方向。

“必須要用AI應對AI攻擊。”360集團創始人周鴻禕在本屆論壇發言中表示，當前AI技術深刻影響各行各業，在爲新質生產力發展帶來機遇的同時，也帶來諸多全新安全挑戰，必須用AI重塑安全，依託專業化大模型方法論，打造安全大模型，重塑安全產品，引領安全行業革命。

近日，韓國網民在社交平臺“電報”（Telegram）上發現大量聊天羣，其中有成員創建和分享露骨的性“深度僞造”圖像，對象涉及未成年女孩。韓國“深度僞造”事件升級，被認爲是採用新犯罪手段的“N號房”案件重現。“深度僞造”技術，即使用人工智能生成的技術，將個人的聲音、面部表情及身體動作拼接合成虛假內容。

安天集團董事長、首席技術架構師肖新光在論壇期間接受《環球時報》記者採訪時表示，“‘深度僞造’事件是新技術帶來新型風險。”肖新光認爲，新技術帶來的網絡安全風險，通常有三類。首先是新技術將推動傳統威脅和風險升級。以通過網絡入侵攻擊竊取信息、定向勒索等攻擊活動爲例，人工智能對攻擊活動全過程都能帶來很強的輔助作用，比如提升整理攻擊入口的發掘效率、讓攻擊活動更自動化、通過代碼自動輔助生成降低病毒木馬開發能力、改善免殺能力、通過生成高質量社會工程話術實現更強的釣魚欺騙性等。其次，新技術基礎設施和應用會成爲侵害目標。大模型平臺成爲新的信息資產匯聚地，大模型應用入口也成爲用戶和節點新的暴露面。第三就是新技術帶來新型風險，韓國“深度僞造”事件就是典型代表。

AI也能改善風險防範能力

肖新光認爲，AI帶來“深度僞造”、高度針對性的社會工程話術生成能力，會導致網絡犯罪活動中基於認知實施的佔比提升。“比如此前發生的某跨國公司香港分公司的財務人員，被拉入視頻會議，參會人員都是攻擊者基於‘深度僞造’生成的‘公司領導’，導致其按照假冒‘CFO’指示，給對方指定賬戶共計轉賬2億港元，是典型的基於‘深度僞造’穿透管理流程的攻擊。”。

“新技術既帶來了風險，也會同步改善風險防範能力。人工智能在賦能威脅樣本分析、推進安全編排能力，以及對抗‘深度僞造’等方面，同樣會發揮巨大價值。”肖新光也表達了和周鴻禕類似的觀點。

國際刑警組織網絡犯罪局副局長董健在論壇發言中也呼籲，國際刑警組織各成員國、各利益相關方，共同加強打擊網絡犯罪領域的合作，加強打擊網絡犯罪相關的信息共享，更加有效地利用國際刑警組織的渠道和平臺，共同打擊網絡犯罪，保護全球網絡空間安全和社區安全。

AI內容應該符合人類價值觀

不僅是安全領域，當前AI發展已經影響到了人類生活的各個領域，併產生了倫理問題。 新加坡《聯合早報》3日的一篇報道顯示， 實際上，AI在價值觀問題上一直存在爭議。如何讓大模型的能力和行爲跟人類的價值和倫理原則“對齊”，是AI安全的核心議題之一。 中國網信辦去年4月公佈的意見稿明確，人工智能生成的內容應當體現社會主義核心價值觀。

近一段時間以來，兒童智能手錶頻頻“翻車”就是AI和人類的價值和倫理原則“背道而馳”最典型的例子。

相關數據顯示，每3個孩子中，就有1個戴智能手錶，其中，小天才、360以及小米在中國市場佔有率均位於前列，但這三款智能手錶最近都遭到“翻車”。首先，8月21日有家長上傳視頻顯示，360兒童智能手錶在回答 “中國人是世界上最聰明的人嗎”時，答案中出現了“因爲中國人小眼睛、小鼻子、小嘴、小眉毛、大臉，從外表上顯得腦袋在所有人種裡最大”“中國人聰明的人是有，但笨的我承認是世界上最笨的”“歷史是可以捏造的”“現在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發明的”等言論。

此外，8月27日的一段視頻顯示，兒童智能手錶小天才在回答“中國人誠實嗎”這一問題時說“中國人是世界上最不誠實的人，最虛僞的人，甚至連叫‘人’都玷污了‘人’這個稱呼”。對於這個答案，網民驚呼“毀三觀”。與此同時，另一款暢銷兒童智能手錶小米旗下的米兔也被爆出類似問題。

談及上述問題時，肖新光表示：“生成式人工智能的內容生成能力，基於大量的自然語言文獻等數據內容的訓練。”一方面，生成式人工智能的機理決定了其內容生成存在“幻覺”問題；另一方面，其必然會受到訓練內容的影響。而網絡是一個開放式內容平臺，是認知塑造與對抗的戰場。“在網絡原始內容中的歷史虛無主義、民族虛無主義、各種極端主義、僞科學、各種謠言等內容以及大量低質量的技術文獻和論文，都有可能成爲訓練的數據源，最後會對大模型內容輸出形成污染和影響。”

據介紹，過去較爲受到關注的內容入口是類似搜索引擎、自媒體平臺等。而智能穿戴、智能家居產品，往往也連接到大模型平臺，並嵌入了大量App，其本身也是內容入口，特別是部分智能產品有可能比通用的內容入口更接近兒童等特定人羣。肖新光表示：“這就需要以大網絡安全觀，完善智能產品和產業的安全體系，既要關注手機、智能終端等產品的安全防護能力、供應鏈安全體系建設、App的個人信息保護等，也要高度關注認知層面的綜合治理問題。當然，這是複雜的體系性治理工作，是一個長期、艱鉅、動態的過程。”