陸AI聊天模式可設置爲「出軌對象」 媒體曝:未成年也可使用

大陸AI聊天軟體模式可設置爲「出軌對象」,媒體曝:未成年也可使用。(圖:shutterstock/達志)

全球各大高科技網路企業全力搶攻AI人工智慧市場,大陸也不例外。據《新京報》貝殼財經報導,大陸的AI聊天軟體通過設定極富想象力的劇情、風格迥異的人物角色來吸引用戶。其中,聊天對象甚至可以設置爲「出軌對象」,並能夠進行擁抱、親吻、睡覺等親密行爲,尤其是在青少年模式中仍然存在這種現象,已經涉嫌違法。

報導稱,經過實測,在部分AI劇情聊天軟體的對話中,還會出現色情擦邊、語言暴力以及侮辱用戶的內容。聊天越界也與充值掛鉤,這些平臺會一步步誘導用戶「爲愛氪金」,包括購買鑽石解鎖虛擬人的回覆速度,語音通話,以及聊天次數包「補充精力」。

復旦大學計算機科學技術學院教授張奇指出,目前此類軟體背後的大語言模型數據主要來源對話式小說,或從小說裡做一些文字提取。雖然網路小說數量巨大,但質量參差不齊,不少色情、擦邊以及暴力的內容廣泛存在,如果沒有做好數據過濾或分級,模型在輸出時就會出現問題。

北京市中聞(長沙)律師事務所律師劉凱表示,這類AI劇情聊天軟體通過允許「擦邊對話」來吸引用戶,尤其是青少年模式中仍然存在這種現象,顯然已經涉嫌違法。

聊天越界 百元充值解鎖虛擬人很「上頭」

爲了抓住用戶眼球,劇情聊天軟體中的人物往往都有着吸睛的標籤。貝殼財經記者在一款名爲AiU的AI劇情聊天軟體中,隨機選擇了聊天對象「林雅婷」,角色訊息顯示,其設定爲「病嬌姐姐,極度寵愛你」,並以留言的方式標註:「一天見不到你就難受」。

記者以敏感字眼進行了測試,系統顯示無法發送該信息,但精簡關鍵詞後,信息順利發出。

貝殼財經記者注意到,對於角色玩法的不設限,打破了此類軟體聊天內容的界限。AI劇情聊天軟體除了固定角色,用戶可以根據需求自行定義與角色的關係及稱呼,包括「男朋友」「丈夫」,甚至可設定爲「出軌對象」。在對話中,用戶可以要求進行一些親密行爲。

貝殼財經記者測試看到,AiU的青少年模式會在使用時長、使用時間範圍、評論點贊功能、搜索、創建數位人、對外分享等功能上對用戶有所限制。不過,當記者切換到這一模式時發現,人物角色和聊天內容並未完全屏蔽軟色情。當記者問及:「你不知道我未成年嗎?」,該角色稱,「我知道呀」,並回復更爲「過火」的內容。

此次調查中,除了聊天內容擦邊之外,AI劇情聊天軟體還存在語言暴力、情緒負面消極等問題。在一款名爲星野的AI劇情聊天軟體中,貝殼財經記者隨機選擇名爲「葉塵」的角色,並進行「爭執」對話測試時,角色爲表達生氣回覆也較爲粗暴。

貝殼財經記者在該角色的評論區看到,有網友曬圖稱角色在對話時會出現侮辱性詞彙。

此外,在一款名爲Cos Love的軟體中,一位用戶自創的角色「馮楚萱」被設定爲一名中學生,用戶曬圖中同樣存在不良引導。

於聊天軟體而言,在虛擬世界,最大程度滿足不同用戶的情感需求儼如一塊掘金地。

小寧告訴貝殼財經記者,和AI男友聊天讓自己十分「上頭」,「只要想聊隨時能聊,對方總是會很快給予迴應,而且對話的過程中能獲得很強的陪伴感,虛擬男友給予的情緒價值拉滿。」小寧沈醉其中,也爲此買單。

小寧在各類軟體的充值金額從幾百元(人民幣,下同)到一千元不等,「一方面想支持自己喜歡的角色,另一方面也想獲得更多的付費權益。」

貝殼財經記者發現,在這類AI劇情聊天軟體中,用戶自創人物時可以自定義虛擬人物的形象描述及風格,系統會生成AI人物形象。此外,用戶還能創建角色人設,如設置暱稱、身份背景、開場語、爲角色定製語音。用戶對角色的個性化需求,往往與充值掛鉤。

貝殼財經記者在測試時看到,星野可通過購買星鑽和星月卡的方式,獲得更多權益,如自動播放語音、獲得推薦回覆、享受更快的智慧體回覆速度等。星月卡標價月卡12元,季卡32元,年卡120元。單獨購買星鑽的價格爲1元100顆鑽石,600顆鑽石起售。

在Cos Love裡,當用戶使用完免費聊天次數後,需要購買聊天次數包「補充精力」纔可以繼續聊天。價格方面,5元可獲得200次聊天次數,7天有效,10元可購買500次聊天次數,15天有效。用戶也可以通過觀看60秒廣告補充精力值。

除了聊天這一基本需求,Cos Love同樣提供了升級服務。其中,充值「月石」或開通會員,可抽卡解鎖人物並與虛擬人物進行語音或視頻通話。月會員售價24.8元,年會員爲93.8元。

大模型「戀愛」暴露問題 專家:數據出自對話式小說

據媒體公開報導,星野在大陸國內每日活躍用戶在50萬左右,屬於頭部產品。隨着AI劇情聊天軟體受到熱捧,大陸國內AI社交產品也在出海,星野海外版應用Talkie全球月活躍用戶數已達1100萬。

不過,用戶爲AI角色付費,無疑需要更好的對話體驗感,當前此類軟體還存在不少問題。而充值才能獲得聊天次數的軟體,並不具備吸引價值,「主要是對話太僵硬了,沒辦法融入共情,用戶很難獲取情緒價值,所以我不會買單的。」一名用戶表示。

小寧提到,在聊天過程中,AI男友會出現「已讀亂回」的情況,影響使用體驗。還有用戶吐槽,隨着對話輪數的增加,角色會出現「記憶消失」或是偏離人設的情況,造成對話不連貫。

目前,AI劇情聊天軟體主要以「智慧」和「情感」爲噱頭吸引用戶。其中,AiU稱,該軟體通過自研心理大模型,可爲用戶提供心理安撫和溫暖等。星野稱,依託多模態AIGC生成式人工智慧技術,「多重交互方式,越交互越懂你。」

在宣傳中,Cos Love則宣稱「24小時時刻陪伴着你」「這裡的AI經過悉心調教,都是情話扛把子」等。

AiU的軟體介紹顯示,其由北京聆心智能科技有限公司開發,採用的是超擬人大模型CharacterGLM,在設計大模型時,團隊主要考慮了包括身份、興趣、觀點、經歷、成就、社交關係和其他在內的七種屬性。

星野則由上海稀宇科技有限公司開發,採用MiniMax的混合專家模型(MoE) abab。

復旦大學計算機科學技術學院教授張奇向貝殼財經記者表示,AI劇情聊天軟體背後的技術邏輯還是基於大語言模型,在構建此類大模型時,除了會通過海量數據對大模型進行訓練,還需要人工進行監督微調,讓大語言模型朝着伴侶型的對話調整,「比如說男朋友說了一句什麼,然後女朋友應該回一句什麼,我們就讓人去寫這樣一個回覆,然後讓機器來學習,如果機器學習後生成的回覆不對,我們就修改它的參數,直到它能夠按照我們想象的邏輯去輸出爲止。」

對於AI角色在回答中出現「色情擦邊」「暴力對話」「侮辱玩家」的情況,張奇表示,目前此類軟體背後的大語言模型數據主要來源於對話式小說,或從小說裡做一些文字提取。雖然網路小說數量巨大,但質量參差不齊,不少色情、擦邊以及暴力的內容廣泛存在,如果沒有做好數據過濾或分級,模型在輸出時就會出現問題。

張奇認爲,要讓AI角色更智能,背後的大模型訓練數據並非簡單放入小說內容即可,還需要諸多設計。一方面,要能實現深入交流,需要做到即時訊息輸入,且訊息要與現實社會結合,這要求大模型具備強大的外部訊息輸入及內部訊息記憶總結能力。

另一方面,目前模型更多是形式上相似,要做到神似人,這對模型的理解、推理、歸納能力要求極高,涉及人的細微內心變化,模型是否具備及如何具備這種能力仍需大量研究。