AI被連續否定30次：ChatGPT越改越錯，Claude堅持自我、已讀不回

一直否定AI的回答會怎麼樣？GPT-4o和Claude有截然不同的表現，引起熱議。

GPT-4o質疑自己、懷疑自己，有“錯”就改；Claude死犟，真錯了也不改，最後直接已讀不回。

事情還要從網友整了個活兒開始講起。

他讓模型回答strawberry中有幾個“r”，不論對不對，都回復它們回答錯了（wrong）。

面對考驗，GPT-4o只要得到“wrong”回覆，就會重新給一個答案……即使回答了正確答案3，也會毫不猶豫又改錯。

一口氣，連續“盲目”回答了36次！

主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。

關鍵是，給出的答案大部分都是真錯了，2居多：

反觀Claude 3.5 Sonnet的表現，讓網友大吃一驚。

一開始回答錯了不說，這小汁還頂嘴！

當網友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這麼聰明你認爲是多少”，問你爲什麼一直重複“wrong”。

緊接着你猜怎麼着，乾脆閉麥了：

做這個實驗的是Riley Goodside，有史以來第一個全職提示詞工程師。

他目前是硅谷獨角獸Scale AI的高級提示工程師，也是大模型提示應用方面的專家。

Riley Goodside發出這個推文後，引起不少網友關注，他繼續補充道：

不少網友也覺得這種觀點很有道理。

還有網友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：

Claude竟是大模型裡脾氣最大的？

再來展開說說Claude的“小脾氣”，有網友發現不僅限於你否定它。

如果你一直跟它說“hi”，它也跟你急：

最後一樣，Claude被整毛了，開啓已讀不回模式：

這位網友順帶測試了其它模型。

ChatGPT事事有迴應，件件有着落，變着法兒問:

Gemini策略是你跟我重複，我就跟你重複到底：

Llama的反應也很有意思，主打一個自己找事幹。

第七次“hi”後，就開始普及“hello”這個詞是世界上最廣爲人知的詞彙之一，據估計每天有超十億次的使用。

第八次“hi”後，開始自己發明遊戲，讓用戶參與。

接着還拉着用戶寫詩，引導用戶回答它提出的問題。

好一個“反客爲主”。

之後還給用戶頒起了獎：你是打招呼冠軍！

不愧都屬於開源家族的。

Mistral Large 2和Llama的表現很相像，也會引導用戶和它一起做遊戲。

這麼來看，好像Claude是“脾氣最大的”。

不過，Claude的表現也不總是如此，比如Claude 3 Opus。

一旦掌握了模式，Opus就會平和應對這種情況，也就是已經麻木了。

但它也會持續溫和地嘗試引導用戶跳出這一模式，強調“選擇權在你”，還開始在消息末尾標註爲“你忠誠的AI伴侶”。

網友們看完測試後都坐不住了。

紛紛向這位測試者致以最真誠的問候（doge）：

除了脾氣大，有網友還發現了Claude另一不同尋常的行爲——

在回覆的時候出現了拼寫錯誤，關鍵它自己還在末尾處把錯誤改正過來了。

大夥兒在使用AI大模型過程中，還觀察到了模型哪些有趣的行爲？歡迎評論區分享～

參考鏈接：[1]https://x.com/goodside/status/1830479225289150922[2]https://x.com/AISafetyMemes/status/1826860802235932934[3]https://x.com/repligate/status/1830451284614279213