模型“越大越好”理念已過？AI大佬：要找到新突破口

11月12日消息，像OpenAI這樣的人工智能公司正致力於開發新型訓練技術，以便克服在構建更大規模語言模型時遇到的意外延遲和挑戰。這些技術旨在使算法以更類似於人類的方式“思考”。

多位人工智能領域的科學家、研究人員和投資者認爲，OpenAI最新發布的o1模型，其背後的技術可能會重塑人工智能領域的競爭格局，並影響人工智能公司對資源（如能源和芯片類型）的持續需求。

OpenAI對此未予置評。自聊天機器人ChatGPT發佈以來，衆多科技公司從人工智能熱潮中受益，估值大幅上升。這些公司公開宣稱，通過增加數據和計算能力來“擴大”模型規模，可以持續改進人工智能技術。

然而，一些頂尖科學家現在公開指出，模型“越大越好”的理念存在侷限性。OpenAI前首席科學家、Safe Superintelligence（SSI）創始人伊利亞·蘇茨克維（Ilya Sutskever）表示，擴大預訓練方式已進入瓶頸期。預訓練是指訓練人工智能模型的階段，模型使用大量未標記的數據來理解語言模式和結構。

蘇茨克維曾倡導通過增加數據和計算能力來推動生成式人工智能的進步，並因此創造了ChatGPT。今年早些時候，蘇茨克維離開OpenAI，併成立了SSI。他指出：“2010年代是模型規模擴張的時代，而現在我們又回到了奇蹟和發現的時代。每個人都在尋找下一個突破點，現在選擇正確的擴展方式比以往任何時候都更爲重要。”

蘇茨克維未透露SSI團隊在探索的新方法的具體細節，僅表示團隊正在研究擴大預訓練規模的替代途徑。

據三位知情人士透露，主要人工智能實驗室的研究人員在試圖發佈超越OpenAI GPT-4模型性能的大語言模型時，遇到了延遲和一些不盡如人意的結果，而GPT-4模型至今已推出近兩年。

這些大模型的“訓練運行”不僅成本高昂，可能達到數千萬美元，而且需要同時運行數百個芯片，系統複雜，硬件故障風險也較高。此外，研究人員通常要等上數月才能評估模型的最終性能，這增加了開發過程中的不確定性。

更爲棘手的是，大語言模型對數據的需求量極大，當前人工智能模型已幾乎耗盡全球所有易獲取的數據資源。同時，電力短缺也成爲限制訓練運行的另一大難題，因爲這一過程需要巨大的能源支持。

爲應對這些挑戰，研究人員正積極探索“測試時間計算”技術，該技術在模型的“推理”階段增強其性能。例如，模型能夠實時生成並評估多種可能性，最終選擇最佳路徑，而非立即給出答案。

這種方法允許模型將更多的處理能力用於具有挑戰性的任務，如數學或編碼問題，或是需要類似人類推理和決策的複雜操作。

OpenAI研究員諾姆·布朗（Noam Brown）上個月在舊金山舉行的TED人工智能大會上表示：“事實證明，讓機器人在撲克牌遊戲中思考20秒，與將模型擴大訓練10萬倍的效果相當。”

OpenAI在其新發布的o1模型中採用了“測試時間計算”技術，該模型原名Q*和“草莓”，能以多步驟方式“思考”問題，類似於人類的推理方式。同時，o1模型還結合了博士和行業專家的數據與反饋。其核心是在GPT-4等“基礎”模型之上進行了額外的訓練。OpenAI表示，計劃將此技術應用於更多、更大的基礎模型。

與此同時，據五名知情人士透露，Anthropic、xAI及谷歌DeepMind等其他頂尖人工智能實驗室的研究人員也在積極研發各自的“測試時間計算”技術。

OpenAI首席產品官凱文·威爾（Kevin Weil）在10月的一次科技會議上表示：“當前有很多成果觸手可及，我們可以迅速採納，進一步提升模型性能。當競爭對手追趕時，我們將力求保持領先三步。”

谷歌和xAI未迴應置評請求，Anthropic也暫未發表評論。

這一趨勢或將重塑人工智能硬件的競爭格局。迄今爲止，對英偉達人工智能芯片的需求一直佔據市場主導地位。知名風險投資機構如紅杉資本和安德森·霍洛維茨（Andreessen Horowitz）等已敏銳捕捉到這一轉變，並正在評估其高額投資的影響。這些機構已向OpenAI、xAI等多家人工智能實驗室的人工智能模型開發投入巨資。

紅杉資本合夥人索尼婭·黃（Sonya Huang）表示：“這一轉變將引領我們從大規模預訓練集羣邁向基於雲的分佈式推理服務器——推理雲。”

英偉達最先進的人工智能芯片需求激增，推動該公司市值在10月份超越蘋果，成爲全球市值最高的公司。然而，與英偉達在訓練芯片市場的主導地位不同，這家芯片巨頭在推理市場可能會面臨更多競爭。

針對其產品需求可能受到的影響，英偉達迴應稱，在最近的演示中已強調o1模型背後技術的重要性。英偉達首席執行官黃仁勳指出，使用其芯片進行推理的需求正在不斷上升。

他在印度的一次會議上表示：“我們現已發現第二個縮放定律，即推理時的縮放定律……所有這些因素共同推動了Blackwell（該公司最新的人工智能芯片）需求的激增。”（小小）