正對着DeepSeek狂抄?Meta被曝整個AI部門深陷恐慌
中國人工智能公司深度求索(DeepSeek)在大模型上取得的成功,目前已經深深撼動了硅谷同行們的信心。
1月23日,在美國匿名職場論壇TeamBlind上,一名Meta公司員工發佈涉深度求索的帖子“Meta生成式人工智能部門陷入恐慌”,引起廣泛討論。該員工在文中稱,從深度求索發佈DeepSeek-V3開始,就已經讓Meta的Llama 4在各項測試中處於落後,“更糟糕的是,這家不知名中國公司僅爲此花費了550萬美元。”
550萬美元是什麼概念呢?“Meta生成式AI部門裡的每位‘領導’的薪資都超過了這個數字”,該Meta員工稱,“而我們卻有幾十位這樣的領導,我根本無法想象該如何向公司高層證明部門目前高額成本的合理性。”
該員工透露,目前Meta的工程師們正在瘋狂研究分析DeepSeek的成功,並試圖從中複製任何能複製到的東西,這不是誇張。“然而,當DeepSeek-R1發佈時,事情變得更加可怕了”,該員工表示雖然不能透露太具體,但有些事情很快將會公開。
1月20日,深度求索發佈DeepSeek-R1開源大模型,對標OpenAI o1正式版。南華早報
最後,該員工反思稱,Meta的生成式AI部門本應該是一個以工程爲重點的小型組織,但因爲很多人都想進來分一杯羹,人爲膨脹了組織的規模,到最後人人都是輸家。
目前不清楚該員工所指具體爲何,是否暗示該公司生成式AI部門面臨的調整或者其他情況的可能性,這還需要進一步觀察,不過Meta在大模型中競爭中腳步放緩已是事實。
公開信息顯示,帖子中提及的DeepSeek-V3於去年12月26日對外發布,該模型一經發布就站上了開源模型No.1的位置。根據當時深度求索公佈的技術報告數據,Meta公司的Llama 3.1-405B僅在大規模多任務理解數據集MMLU-Pro一項,接近DeepSeek-V3水平,其餘多項幾乎都不及八成,甚至在算法類代碼場景和工程類代碼場景下,Llama 3.1-405B只有DeepSeek-V3的一半水平。
而4天前(1月20日),深度求索對外正式發佈DeepSeek-R1,官方技術報告的測試所對照模型中,僅有OpenAI公司閉源的OpenAI o1 模型,以及DeepSeek-v3等自家模型。而在上一輪DeepSeek-V3測試中所對照的Meta、Anthropic等公司模型,此時早已不見蹤影。
最重要的是,DeepSeek-R1以及深度求索同期提及的DeepSeek-R1-Zero模型,首次讓整個行業清楚看到,大模型如何僅靠大規模強化學習(RL)驅動、在沒有人類標註數據冷啓動(SFT)的情況下,實現持續自我成長。簡單說,DeepSeek-R1的意義就相當於讓谷歌的圍棋軟件AlphaGo(阿法狗)從零開始自己與自己下棋,並通過試錯自學達成如今的水平,但期間卻不向AlphaGo提供任何人類大師的下棋思路信息。
而在成本方面,深度求索雖然未透露DeepSeek-R1 的訓練花費,但DeepSeek-v3的總訓練時長則爲278.8萬GPU小時(其中預訓練佔266.4萬小時),使用2048塊英偉達H800 GPU,耗時約兩個月完成。與之相比,同樣開源的Llama 3.1-405B卻消耗了3080萬GPU小時,成本是DeepSeek-V3的11倍。甚至OpenAI公司的 GPT-4o的模型訓練成本也達到1億美元,這與DeepSeek-V3訓練花費的557萬美元相差巨大,也讓“花小錢辦大事”成爲深度求索的重要標籤。
對此,在該Meta員工的帖子下邊有一名三星員工評論稱,特朗普日前宣佈的“星球之門計劃”預計投入總規模達到5000億美元,“但如果當這些AI基礎設施僅能與深度求索極小的成本相匹配時,投資人還能有多少耐心?這個5000億美元的計劃還沒開始就將夭折。”
而谷歌公司的一名員工也評論稱,深度求索很瘋狂,不僅僅是Meta,OpenAI以及谷歌/Anthropic目前同樣是“火燒屁股”。
不過這名谷歌員工也承認,對於行業來說是一件好事,“我們可以實時看到公開競爭對創新的推動作用”。
本文源自:觀網財經