真的有人能在推理環節替代英偉達嗎？

在中文互聯網上，英偉達每天都在被顛覆。絕大部分自媒體和短視頻達人都討厭英偉達，包括周鴻禕在內。他們千方百計地指出，某種替代品（不管是不是國產）的性能指標已經超過英偉達A100或H100，後者即將淪爲資本市場歷史上最大的泡沫云云。尤其是在B站、小紅書這樣的平臺，“英偉達將迅速被替代”可以被視爲一致觀點，反對這個觀點的人將遭到羣嘲。

其實，海外互聯網同樣如此。昨天還有AI行業的朋友給我分享了一份自稱“性能大幅超過英偉達”的美國芯片廠商的自我介紹（是當笑話看的）。幾個月前，芯片創業公司Groq發佈了自稱性能大幅超越英偉達的推理芯片，引發了一定的市場關注度。不同之處在於，海外網友稍微講一點常識，知道英偉達在訓練領域的壁壘實在太高、牢不可破，所以他們主要從推理環節入手：可以針對大模型推理開發某種高度特化的“推理專用卡”，在性能或性價比上超越英偉達，而且已經有人做到了。這些觀點經常被翻譯爲中文，不過翻譯者經常有意地把其中的海外芯片創業公司的名字偷換成A股上市公司（或某家非上市公司），從而達到不可告人的目的。

遺憾的是，至少在現在，以及可見的未來，英偉達在推理方面的壁壘仍然十分牢固。或許它在推理方面的壁壘不如訓練方面那麼高，但只要競爭對手攻不破，就沒什麼區別。對於絕大部分大模型開發商以及雲計算廠商而言，AI算力建設只能以英偉達爲核心（買不到的情況除外），不論是訓練還是推理算力。在展開分析這個問題前，讓我們先簡明回顧一下訓練和推理的區別：

訓練，就是指創造和升級AI模型（包括但不限於大語言模型）的過程。訓練環節涉及海量的數據，耗時極長，對算力的併發性需求極高，往往要一次動用幾千張到上萬張規模的顯卡集羣。專門爲訓練做過優化的顯卡俗稱“大卡”，其最典型的例子是英偉達A100、H100和B100。

推理，就是利用現有大模型解決用戶需求的過程。我們每向ChatGPT提一次問題，就啓動了一次推理流程。單次推理處理的數據規模往往較小，因此對算力硬件的要求不如訓練那麼高。英偉達專門爲推理做過優化的顯卡俗稱“中卡”，例如A20、L40；一些高端消費級顯卡（俗稱“小卡”），例如RTX3和4系列，也可以用於推理。

英偉達的競爭對手，從AMD到英特爾，從Groq到華爲，每天都在異口同聲地陳述同一個觀點：推理的門檻沒有硬件那麼高，英偉達賴以生存的CUDA軟件生態以及顯卡互聯技術在推理端的作用有限，所以在推理端替代英偉達完全可行。事實又是如何？關鍵要看企業客戶，包括OpenAI這樣的大模型開發商以及亞馬遜、微軟這樣的雲計算平臺商怎麼看——畢竟是它們的技術團隊和採購人員做出了顯卡採購的決定，而不是社交媒體網友。如果我們仔細分析一下主要科技企業今年以來的顯卡採購決策，就會驚訝地發現，事實與英偉達的競爭對手所鼓吹的完全相反：

AMD和英特爾的“AI加速卡”（其實就是推理卡）賣得都不怎麼樣。其中，AMD的旗艦產品Instinct MI300的單季度銷售額不足10億美元，2024年全年的目標也僅僅是賣出40億美元；英特爾的旗艦產品Gaudi 3就更慘了，2024年全年的銷售目標不足10億美元。把這兩家的AI硬件銷售額加起來，恐怕都只有英偉達“中卡”銷量的一個零頭。在2024年一季度財報發佈會上，蘇媽承認AMD的推理卡目前不存在供給瓶頸，客戶可以隨時提貨；隔壁的英偉達幾乎所有產品線則都處於緊缺狀態。換句話說，大部分客戶寧可等上一兩個季度，也寧可買英偉達而不是AMD的產品。

與此同時，在硅谷出現了一個新的趨勢：儘可能多地採購“大卡”，把推理和訓練一起交給“大卡”去做。例如，OpenAI將使用較新的H200承擔GPT-4o的推理任務；蘋果通過鴻海採購了數萬張H100，估計主要將用於推理工作；Meta計劃在2024年之內新增35萬張H100，其中很大一部分將用於推理；亞馬遜採購的首批3萬多張GB200“超級芯片”顯然將同時用於訓練和推理。這充分說明，所謂“英偉達在推理方面的護城河不深”的說法是何等荒謬！如果上述說法是真的，那麼除非大廠錢多燒得慌，否則完全沒有必要採購單價極高、供應非常緊張的英偉達“大卡”承擔推理任務。當然，這些大廠也會採購一點點AMD或英特爾的產品作爲補充，每次都會引發後兩者的歡呼雀躍，恨不得讓全世界都知道。

爲什麼硅谷大廠要花更多的錢去採購專爲訓練優化的“大卡”承擔推理任務？這既是出於技術考慮，也是出於綜合成本考慮。簡而言之：

“大卡”的顯存更大、顯存帶寬更高，適合運行參數規模巨大的大模型。目前主流大模型的參數規模均已突破萬億，而消費者使用的一般是“蒸餾”過的、幾十億到幾百億參數的精簡版模型。“中卡”“小卡”足以運行這些精簡版模型，但大型企業客戶可能需要運行萬億規模參數的超級模型，那就非用“大卡”不可了。

“大卡”的爆發性輸出能力更高、延遲較低，適合執行高度時效性的推理任務，例如自動駕駛、國防軍工、金融交易等場景。最近流行的“超長文本推理”，對顯存的要求較高，“大卡”處理起來也更得心應手。

在AI算力中心當中統一使用“大卡”，有助於降低硬件複雜度，實現較高的算力彈性和通用性。像OpenAI這樣的公司，一年之中有幾個月處於訓練期，在此期間可以把自家“大卡”全部用於訓練以保證速度，租用外部算力滿足推理需求；訓練間歇期則可以少租外部算力，讓自家“大卡”轉而從事推理。

“大卡”，尤其是B100/B200這種新款產品，最先應用了英偉達的最新技術，從而有利於後續升級和再利用。哪怕幾年之後技術突飛猛進，舊款“大卡”退下來還可以做別的工作，而舊款“中卡”“小卡”可能就沒有價值了。

上述四條原因，前兩條是技術上的，後兩條則是成本和管理上的。就像我的一位從事AI技術工作多年的朋友所說：“其實是經濟性讓大家投票選擇了英偉達，這就是市場的力量。”由於上面是在英偉達自家的不同產品線之間做類比，我甚至都沒有提到CUDA軟件生態——過去十八年，全球上百萬開發者爲CUDA積累了太多的開發工具和代碼，AMD的ROCm根本無法與之匹敵，英特爾就更是不值一提了。

現在假設有一種推理卡，不知道爲什麼竟能實現遠高於英偉達的性能（可能是上帝顯靈），而且竟能克服缺乏CUDA生態的麻煩（這次上帝得多受累一點），並且紙面價格顯著低於英偉達（這一點極難做到），它也不一定能打敗英偉達。客戶首先要考慮通用性：專門爲大語言模型推理“特化”的芯片，大概率無法拿來執行任何其他任務，從而帶來了更高的機會成本。英偉達是“通用計算GPU”概念的提出者，“通用”概念就意味着靈活性和彈性。遠的不說，最近幾年我們就能看到許多鮮活的案例：2021-2022年，爲了進一步訓練內容推薦算法，以符合歐盟消費者隱私要求，以及支持新推出的Reels短視頻功能，Meta（原名Facebook）採購了大量英偉達“大卡”；當然其中一部分也是爲“元宇宙”研發準備的。Meta還成爲了2022年發佈的H100顯卡早期最重要的客戶之一。ChatGPT橫空出世之後，Meta立即將手頭的算力資源投入生成式AI研發，迅速成爲全球開源大模型領域的第一平臺。扎克伯格本人亦承認，生成式AI浪潮來的時機很巧，Meta非常幸運——其實他更應該感謝英偉達顯卡的通用性和普適性。

2019年前後，中國的“雲遊戲”產業處於井噴階段，資本市場對其有很高預期。包括阿里、騰訊和電信運營商在內的雲計算大廠紛紛採購了大批英偉達RTX顯卡（初期主要是Turing架構，後來亦有Ampere架構）組建刀片服務器。雖然雲遊戲在國內沒火起來，但是高端RTX顯卡具備張量核心(Tensor Core)，從而擁有一定的推理能力。在美國芯片法案的陰影之下，國內廠商採購推理卡越來越困難，當年積累的“雲遊戲卡”扮演了雪中送炭的角色；儘管它們的推理效率肯定比不上L40等“中卡”，但有總比沒有好。

（附帶說一句，爲什麼英偉達的消費級顯卡也裝備了Tensor Core? 因爲它對於光線追蹤技術的實現扮演着不可或缺的角色，而光線追蹤能夠大幅提升遊戲畫面的感染力。顯卡處理遊戲內部光影效果的方式，與處理大模型數據的方式，在硬件和數學層面是互通的。人類如果沒有強大的遊戲產業，就很難建設強大的人工智能產業。）

我們不知道生成式AI產業的下一步走向是什麼：Transformer架構（現在所有大語言模型的基礎）誕生至今才七年多，第一個百億參數的大模型誕生至今纔不到五年。就像許多學者指出的一樣，生成式AI有可能並不是實現通用人工智能(AGI)的必由之路。但是無論如何，有一點是確定的：未來的世界需要大量算力，尤其是並行的、以多核GPU爲基礎的算力。當生成式AI浪潮突然降臨之時，許多科技大廠都把自家的英偉達顯卡從自動駕駛、推薦算法訓練、圖形渲染等任務迅速轉移到了大模型相關任務；這進一步加深了它們對英偉達的信任和依賴。

此時此刻，全球科技巨頭用於擴張算力的資本開支，普遍達到了每年幾百億美元的水平；坊間甚至傳聞微軟打算在一年之內耗資1000億美元建設新的數據中心。花了這麼多的錢，它們肯定不希望自己買到的算力僅能用於非常狹窄的領域，不管其紙面性能好壞、價格高低。所以那些高度特化的推理卡，註定只能在巨頭的算力軍備競賽當中扮演次要角色；AMD能扮演的角色可以更重要一點，但離英偉達這個主角還是差得很遠。

就在本文撰寫的過程中，我的另一位從事AI行業多年的朋友告訴我：“我們最近開始採購另一家公司的顯示芯片了。它的硬件規格是合格的，但是軟件適配是大問題，需要踩很多的坑。英偉達的CUDA開發團隊應該比硬件設計團隊的規模要大得多，它的發佈會上幾乎全是軟件生態工具，例如GPU虛擬化、一鍵部署。缺少了英偉達的軟件生態，我們就要自己僱人去實現這些能力。生態就是成本！沒有生態就要產生額外的開發成本。”當然，鑑於國內現在越來越難買到英偉達的數據中心級顯卡，廠商只能硬着頭皮承擔成本；在有選擇的情況下，它們幾乎不會有動力這樣做。

至於五年、十年乃至二十年後呢？那就是另一個問題了。通用計算GPU這個概念誕生至今也只有十八年，NVLink技術也只有十年曆史。在長期，一切都是可以改變的，但是一切改變只能來自勤奮耕耘和咬定青山不放鬆的精神。請記住，2013年，當黃仁勳操着半生不熟的普通話在北京國家會議中心的舞臺上說“請給我一個機會介紹英偉達”的時候，他已經到處推銷自己的通用計算理念長達七年了；而他還要再等待整整九年，才能看到一切開花結果。當時嘲笑他的人，和現在認爲可以輕易替代他的人，很可能是同一批人。