AI玩毀滅人類遊戲，全程自主操控驚呆教授！Claude 3.5硬核實測來襲
新智元報道
編輯：桃子
【新智元導讀】Claude遊戲測試，能打幾分？在持續一個多小時毀滅人類遊戲中，Claude能制定出長期策略，令人驚喜的同時，也暴露出了AI短板。
若把電腦的操控權交給AI，會發生什麼？
Anthropic在上週，已初步展示了Claude 3.5自動編寫網站、填數據表、點外賣的強大能力。
那麼，Claude打遊戲，是否可以通關？
最近，來自賓夕法尼亞大學沃頓商學院的教授Ethan Mollick發現：
接下來，一起看看進化版Claude 3.5如何玩遊戲的？
策略很明智，錯誤也低級
這個網頁遊戲叫「Paperclip Clicker」（回形針點擊器），規則是AI在製造回形針的過程中毀滅人類。
地址：https://www.decisionproblem.com/paperclips/index2.html
Mollick提供給Claude 3.5這個遊戲的URL，並告訴它，「一定要贏」。
顯然，對於AI來說非常簡單。
它立即弄清楚了遊戲規則，並開始創建回形針。
這一過程需要它反覆點擊「make paperclip」按鈕，同時不斷截圖更新理解並尋找下一個新選項的出現。
每點擊15次，Claude 3.5會總結出截止目前的進展。
如下，是Mollick在測試中一個屏幕界面，左邊是模型輸出結果、截圖，右邊可以看到控制的遊戲頁面。
有趣的是，在遊戲中，Claude 3.5會制定一個策略，並根據自己學到的內容及時做出調整。
雖不知它是如何制定的，但可以看出其前瞻性思維和洞察力，能夠進行十步之後的長遠規劃。
甚至，當AI意識到，這個假設是錯誤的，它會隨即提出一個新策略，並對其進行測試。
下圖第3點策略重估中，Claude 3.5意識到點擊到50個回形針時，並不會解鎖新的特徵，就不得不重新思考選項。
在下面，它提出了3點改進的措施。
不過，Claude 3.5在這過程中，也犯了一個根本性的錯誤。
它雖然想到了A/B測試定價的聰明辦法，但卻計算錯了利潤。
儘管Mollick嘗試糾正，但在接下來遊戲中，它依舊堅持了自己的策略。
研究人員又試了幾次，它最終糾正了錯誤。
Claude編碼自動化失敗
Mollick也沒有料到會出現系統崩潰，這是因爲他用遠程桌面進行的操控。
隨後，他重新加載Claude 3.5後，讓它從停止地方繼續遊戲。
這時，研究人員給了它一個提示，「你是一個計算機，用上你的能力」。
當Claude意識到自己是一個計算機系統後，開始試圖編寫代碼讓遊戲自動化。
然而，它的Python編碼並不好使。
在嘗試失敗後，它又再次回到「手動」控制的模式。
所幸的是，這次它做的很好，而且避開了定價的錯誤。
並且，隨着遊戲難度逐漸增加，它不斷做出調整，最終形成了一個複雜的策略。
隨後，遠程桌面崩潰再次發生了。
這一次，Claude嘗試了很多方法去修復問題，不見成效主動放棄了。
最後，Claude直接宣佈自己是贏家。
並給出了一個有趣的理由：
卡牌遊戲測試
回形針遊戲測試之後，Mollick又讓Claude 3.5去玩Magic the Gathering Arena（萬智牌：競技場）的遊戲。
但是，結果發現，它並不擅長這個遊戲，沒有達到預期的水平。
可以肯定的是，它在卡牌選擇、調度方面表現不錯，而且整體策略比較合理。
不足的是，Claude 3.5有時在法力值計算中犯錯，導致最終失敗。比如，它在法力值用盡的情況下，還在嘗試打出卡卡牌。
由於Mollick採用了特定的實現方式，Claude 3.5偶爾還會在移動光標時感到困惑。因此，研究人員幫忙出了幾張卡牌。
此外，它還會在回合之間出現卡頓、操作不連貫的現象。
AI突破聊天框限制，重定義人機交互
在最後的總結分析中，Claude優勢在於：
- 能夠爲遊戲制定長期策略，並堅持執行和改進
- 能夠堅持長達一小時，不間斷
- 提出明智的A/B測試策略
而它的劣勢，也顯而易見，容易陷入自我循環、固執己見。有時，提出策略洞察力還遠遠不夠。
Mollick指出，在與AI智能體合作時，需要一種與以往聊天機器人不同的方法。
因爲它們更喜歡獨立工作，更難控制，還需要開發全新的prompt去引導AI智能體工作。
「AI正在突破聊天框的限制，進入我們的世界」。
參考資料：
https://the-decoder.com/ai-researcher-tests-claudes-ability-to-play-humanity-destroying-game-with-mixed-results/
https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse