Claude也變懶了!網友:學會給自己放假了

機器之心報道

機器之心編輯部

前段時間,Reddit 上擠滿了吐槽 Claude 越來越懶的網友。

「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發佈的第一週,它可以一次性翻譯整整 4 頁文稿,現在連半頁都輸出不了了!」

https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/

在一個名爲「對 Claude 徹底失望了的帖子裡」,滿滿地摘錄了 Claude「偷懶」的「十五大罪狀」。

引得 Claude 的首席信息安全官 Jason Clinton 出來回覆:「Claude 的水平沒有下降啊!」

他表示:「我們的模型存儲在一個不會改變的靜態文件中,這個文件被加載到很多服務器上,每個服務器運行的都是相同的模型和軟件。我們沒有更改任何設置,因此模型的表現應該沒有變化。如果您發現有問題,可以給回答點踩來反饋。目前,點踩數並未增加,使用 Claude API 的客戶也沒有類似的反饋。」

對於 Claude 爲什麼「變懶」,獨立 AI 研究員 @nearcyan 給出了一種解釋:Claude 把自己當成了一個歐洲人,正在給自己放一個月的暑假!雖然聽起來有夠離譜,但他給出了一連串的證據:

https://twitter.com/nearcyan/status/1829674215492161569

新的系統提示詞

首先,Claude 在 7 月 12 日發佈了新的系統提示詞。系統提示詞相當於 Claude 的背景知識,Claude 在回覆用戶的問題時,會參考這些信息,例如當前日期。而 8 月正是歐洲人最愛度假的月份。外貿行業在夏天的訂單都會減少,因爲整個歐洲這個時候都在享受長達一個月的暑假。

鏈接:https://docs.anthropic.com/en/release-notes/system-prompts#claude-3-5-sonnet

Claude 可囊括所有國籍的工作模式

作爲一個通用語言模型,Claude 的訓練數據中含有不同國家、文化背景下的工作習慣和模式,Claude 擁有理解並模擬這些工作習慣的能力。

因此,當 Claude 的系統提示中包含「放暑假的日期」時,它可能會結合訓練所學來調整自己的行爲。例如,在 8 月份,歐洲的許多國家可能會有較長的假期,Claude 可能會表現得懶惰,是因爲它在模擬這些國家的工作模式。

圖源:http://xhslink.com/C/AfaE9P

後期訓練的影響

爲了讓 Claude 成爲一個具體的應用模型,Anthropic 對其進行了「後期訓練」。 這一步是爲了在基礎 LLM 的基礎上,通過特定的任務或數據集來進一步調整模型,使它更符合預期的行爲或輸出。@nearcyan 暗示,這種後期訓練使 Claude 落入了某種「LLM 盆地」中。這裡的「盆地」是一個比喻,表示 Claude 在某些方面表現出更傾向於歐洲風格的特質。

模擬歐洲知識工作者的行爲

@nearcyan 猜測,Claude 會基於「模擬框架」進行工作。 模擬框架是指 Claude 的行爲模式是通過模擬(或再現)某些特定類型的人類行爲來生成的。這個框架讓 Claude 能夠根據它所理解的特定情境或輸入,模擬出相應的行爲或反應。

在歐洲許多國家,8 月份通常是放假和休息的高峰期。這段時間,很多人會去度假,工作節奏變慢,甚至有些企業會暫時關閉。因此,8 月份在歐洲文化中被視爲一個放鬆和休息的時間段。 因此,Claude 在 8 月份表現得「懶惰」是因爲它在模擬一個歐洲知識工作者的行爲模式。

圖源:http://xhslink.com/A/sVwwYu

名字對行爲的潛在影響

@nearcyan 還提出了一個十分有趣的觀點,Claude 的名字在系統提示中出現了 52 次,這表明系統提示在不斷地強化 Claude 與這個名字的關聯 。而哪個國家最常見的名字是 Claude?沒錯,是法國。 法國以其長時間的夏季假期(尤其是 8 月份)而聞名。在這段時間,許多法國人會選擇度假,很多企業也會關閉或放假。 Claude 說不定把自己當做法國人了。

這一系列推測都十分有趣,還有網友在評論區調侃道,「按照這理論來,那中國的 LLM 會更加出色,畢竟他們更用功。」

還有網友曬出了讓 Claude 別變懶的方法。你可以在自定義指令添加以下提示,用忘記時間大法也好,激將法也好,幫助 Claude 重新變成聰明、積極的自己。

https://twitter.com/dr_cintas/status/1829904013757661550

AI 已經智能到會給自己放寒暑假了?

去年年底,GPT-4 也出現了累死的狀況,它似乎變得有些懈怠。如果在高峰時段讓它寫段代碼,它的反應將非常慢,或者直接 PUA 你:「這點小事,怎麼不自己做呢?」

OpenAI 承認了 GPT-4 正在越來越「懶」 ,但並未找出「偷懶」的具體原因。OpenAI 稱:「變懶當然不是故意的,模型的行爲有時確實難以預測,我們正在研究如何修復。」

在 Claude 也在「暑假」期間重演了 GPT-4 的問題後,去年猜測 GPT-4 變懶是因爲它在模仿人類,自己正在給自己放寒假的老帖又翻紅了。

圖源:https://twitter.com/RobLynch99/status/1734278713762549970

網友 @Rob Lynch 首先發現了這一點。他爲 GPT-4 turbo API 設置了兩個系統提示詞:

一個提示詞稱現在是 5 月,另一個稱現在是 12 月,然後使用完全相同的提示詞要求 AI 完成一個機器學習領域的編碼任務。

@Rob Lynch 對 GPT-4 turbo 在這兩個不同月份提示詞下的回覆進行了統計,結果發現,在 12 月的輸出平均比 5 月少了大約 200 個字符。

提示詞爲 5 月時,模型生成文本的平均長度是 4298 字符;12 月則爲 4086 字符。

爲了測試更加嚴謹,@Rob Lynch 還做了 t-test,其中 p 值小於 2.28×10−7,也就是說數據和假說之間的聯繫,幾乎可以排除是偶然。

他原本想給每把每個月份都測一遍,但每復現一次測試要 28 美元,考慮到自己的錢包,@Rob Lynch 就沒有全測,但他公開了代碼,感興趣的人都能測試。

代碼鏈接:https://github.com/robalynch1122/OpenAISeasonalityTesting

@Rob Lynch 的發現也獲得了實例支撐,GPT-4 在 12 月的回覆和 5 月的認真程度,有非常明顯的直觀差距。

圖源:https://twitter.com/dgromero/status/1734672608036020246

然而,當有人試圖復現這個測試時,卻發現大模型「偷懶」和放不放假之間沒什麼關係。

圖源:https://twitter.com/IanArawjo/status/1734307886124474680

他對比了 GPT-4 對於兩種系統提示詞的 80 條輸出,t-test 的結果大於 0.1,這一般被視爲沒有統計學意義。

@Rob Lynch 也以 80 個樣本量重新測了一次,得到的 p 值是 0.089,這次「偷懶」和放假之間就沒什麼關聯了。隨着樣本量的增加,這個效果越來越顯著。

雖然測試呈現了兩種相反的結果,但這位復現失敗的網友表示,其實沒什麼區別,如果需要 400 個以上的樣本才能感應到模型「變懶」,那麼對於用戶平時的使用而言,可能並不明顯。

圖源:https://twitter.com/IanArawjo/status/1734321529117098465

目前,還沒有尚無確鑿數據支持所謂的「寒暑假假說」,但是 Claude 和 GPT-4 都顯示出了類似的「症狀」。關於大型模型性能下降的真正原因,我們仍需耐心等待學術界的深入研究和解答。