乒乓球運動員與他的算力帝國

作 者丨倪雨晴

編 輯丨包芳鳴

圖 源丨21世紀經濟報道

1972年，一個9歲的中國臺灣男孩，被家人送往美國。在肯德基的家鄉，肯塔基州的一家鄉村寄宿學校讀書。這是一所類似少管所的學校，據說這裡每個孩子都有紋身，他身上也有，不過是在他的公司股票達到100美元時，紋了NVIDIA的logo，少年時期的迴旋鏢刺青了左臂。

黃仁勳手臂上的紋身

雖然中文不好，但他一直髮揮着華人優勢。在體育方面是乒乓球，6年後，15歲的他獲得美國乒乓球公開賽雙打第三名。在事業方面則是計算機，20年後，他創立了這個世界上最偉大的半導體公司之一英偉達。50年後，他幾乎統治整個算力世界。他是英偉達公司創始人兼CEO黃仁勳。

互聯網宿命論的鼻祖書《異類》中提到，比爾·蓋茨和史蒂夫·喬布斯出生於1955年，這並非巧合。在他們的青年時期就碰到了計算機基礎能力大爆發的時代。1946年第一臺電子計算機發明，1968年英特爾成立，AMD1969年成立，這些是“基礎性的時代機緣”。可見，太早，會因爲前置技術不成熟，無法支持更強大的產品能力，太晚，市場已經被領先者佔據先發優勢。可見，天才在出生時，世界就已開始忙碌地爲他做着準備。

1960年到2000年的四十年之間，世界上最強大的芯片公司陸續成立。這些公司爲後續整個互聯網、人工智能、乃至整個人類文明世界的繁榮奠定基礎，這一時期的技術爆發前無古人。

截至發稿，英偉達市值爲22241億美元。

遊戲機男孩

1984年黃仁勳本科畢業，這一年第一臺Mac電腦發佈，個人電腦時代開啓，相關領域就業蓬勃興起，他將1984年稱作“最適合畢業的年份”。正如2007年蘋果手機發佈，以及iPhone4發佈後的幾年，都是“最適合畢業的年份”。

黃仁勳先後於1983-1985年間和1985-1993年間在AMD（美國超威半導體公司）和巨積（LSI Logic Corporation美國電子公司），做芯片設計師。邊工邊讀花了8年時間，於1990年獲得斯坦福大學電子工程碩士學位。

1993年，30歲的黃仁勳，爲兌現對夫人的承諾，也爲避免被職場淘汰，成立了英偉達。相比之下，兩位比他大8歲的前輩顯得更加瘋狂——社區雙非大學生喬布斯20歲創辦蘋果，麻省波市大學肄業生比爾蓋茨19歲創辦微軟。

黃仁勳去年曾在臺大演講，核心內容是回顧他創業歷程中的三個故事。這三個故事對應英偉達乃至GPU市場的三個關鍵時期。分別可以總結爲：遊戲機男孩、計算平臺雄心、算力有所不爲。

遊戲機時期是黃仁勳和比爾·蓋茨的相愛相殺相助史。1995年，微軟推出了PC史上劃時代的Windows 95，並同時推出了以Direct3D爲核心的DirectX標準。黃仁勳看準這個機會，全面支持微軟的Direct X接口，推出了Riva128芯片，整機廠商開始集成英偉達。那時候顯卡還不是主角，戴爾和惠普這樣的組裝機纔是行業熱門玩家。這是英偉達與微軟的蜜月期，英偉達的角色就是配合好微軟賣系統。

2000年，微軟開始進軍遊戲機。希望通過Xbox與索尼、任天堂一決雌雄。爲了這個項目，微軟大手筆，僅單個項目訂單就支付英偉達5億美元，當時英偉達一整年的銷售額才5億美元。

2001年，微軟大打價格戰，每賣出一個Xbox就要虧126美元。微軟開始向英偉達壓價，彼時“皮衣哥”黃仁勳雖然弱小，但不肯向甲方妥協，並與微軟對簿公堂。隨後微軟將訂單轉向英偉達的對手ATI，導致英偉達股價大跌90%。

皮衣哥雖然強勢，但並不是莽夫。2003年，英偉達同意與微軟再次合作Xbox。在一波三折的發展之中，算力平臺的故事還在繼續。

硬件雄心

英偉達的硬件產品總體沿着兩個方向迭代，其一是產品線，其二是技術架構。

但這兩條線並不完全劃分清晰，英偉達的產品線像迷宮，堪稱芯片領域的雅馬哈。英偉達常見的產品線，GeForce系列，消費級GPU產品線就是消費者日常買的顯卡；RTX/Quadro系列，即專業級GPU產品線；數據中心GPU，也即現在各家瘋搶的核心AI芯片；Tesla系列，高性能計算和機器學習任務，已停止使用該名稱；Tegra系列，移動處理器產品線，已經放棄，這屬於算力有所不爲的故事。

英偉達的架構演進相對清晰，這也側面說明早期的黃仁勳更偏向技術玩家，近10年則對商業世界的理解愈發老辣。

2024年3月20日，英偉達GTC發佈了Blackwell架構，數學家Blackwell在貝葉斯統計方面的開創性工作推動了人工智能領域的發展。

從這些架構的命名習慣看，黃仁勳的偏好逐漸轉向計算機和人工智能人物。英偉達的架構也愈發比產品線更出名，換句話說，黃仁勳乾脆就是把架構當成產品線。

自OpenAI發佈ChatGPT以來，生成式人工智能技術一直是備受關注的熱門趨勢。這項技術需要強大的算力來生成文本、圖像、視頻等內容。

在這個背景下，英偉達先後推出V100、A100和H100等多款用於AI訓練的芯片。A100和H100一方面是限制對象的典型，另一方面也是ChatGPT訓練能力的核心芯片，這也讓A100與H100在民間名聲大噪。

英偉達A100的官網價是1萬美元，H100是3.6萬美元。以英偉達的A100芯片的性能指標作爲限制標準。後來又修改爲以綜合運算性能和性能密度爲指標。其實質都是核心傳輸和計算能力。

當前，算力焦慮成爲新的焦慮類型，國內從投資人到程序員都逢人必談A100和H100。也許從來沒有一種電子產品像英偉達的顯卡一樣“你天天聽說，但是又用不上”。在生成式AI突飛猛進之下，英偉達的產業鏈地位也進一步上升。

軟件起飛

但英偉達可不只有硬件產品，英偉達官網上的軟件目錄比硬件還長。

黃仁勳高瞻遠矚之處在於，他知道硬件公司不能只做硬件，要做生態，生態的另外一隻手就是軟件，準確地說是算力操作系統。可以說英偉達CUDA(Compute Unified Device Architecture)是算力世界的“Linux+Windows”。

對比來看，Linux開發者社區強，商業社區弱，Windows商業社區強，開發者生態管控能力弱。而CUDA，有強大的社區開發者、有廣泛的商業應用、還有云。

CUDA與英偉達GPU芯片的關係，更像是iOS與iPhone的關係。它們都提供了強大的開發者生態，對上層應用性能提供強有力保障，也都相當封閉，僅支持自家硬件。

雖然被詬病安裝和維護繁瑣，CUDA對開發者依然是友好的，特別是對於深度神經網絡的資深玩家。對他們來說，最終的運算速度是痛點，其他麻煩都可以忽略。一位資深開發者告訴21世紀經濟報道記者，實際上，目前幾乎全部的深度學習框架都對CUDA進行了封裝支持，包括pytorch，TensorFlow等，初學者學習pytorch的第一句話都是torch.cuda.is_available()。這幾乎是深度學習領域的“Hello World”，甚至應該說是“Hello Nvidia”。

CUDA的前身之一是Brook項目。最初是由斯坦福大學博士Ian Buck 在2000前後創立，他們計劃開發一個新的編程系統，讓GPU可用於除了圖形計算外的其他領域。

這就是社區的力量，開發者社區有高水平的免費勞動力爲你添磚加瓦，廢寢忘食，而且還能省去招聘選人的成本，並在未來成爲公司的核心員工。Ian Buck後來成爲英偉達CUDA的負責人——加速計算部門的總經理，這個故事至今還被掛在英偉達的官網。

2000年，Ian Buck將32張GeForce顯卡並行，將GeForce顯卡改造成了一臺超級計算機。這一經典操作收入了維基百科。底層邏輯很簡單，英偉達一直拋棄其他任務，讓芯片乾貨更純粹，不斷地堆疊並行計算，特別是並行乘法計算。

黃仁勳希望CUDA運行在每一張英偉達的顯卡上，讓大批天下寒士都可以使用GPU進行加速計算。天才的思路總是相似的，納德拉對其扛鼎之作Windows10的KPI就是裝機量，讓更多的設備用上Windows10，而不是賺多少錢。這才使得Windows10在很多升級策略上採取了免費方案。

搭上AI

任何領域的突破都需要機緣巧合。而你要做的就是做好準備。2012年，當時還在谷歌的吳恩達和Jeff Dean訓練了一個在圖像中識別貓的神經網絡。這一實驗性的項目，對人工智能圖像識別領域卻是劃時代意義的，人臉識別從此開始走入尋常生活。

上述工作使用了大約1.6萬個CPU，而AI大拿Sutskever和Krizhevsky卻僅用2塊英偉達GeForce。他們所在的Geoffrey Hinton的研究小組，很早就開始使用英偉達CUDA平臺訓練神經網絡。他們也是碰巧發現GPU竟然比CPU快這麼多。

英偉達則是碰巧遇到人工智能的發展主要依賴算力。需求依然是第一位的，不然它也不得不滑入技術過剩的境地。

Sutskever和Krizhevsky都是大名鼎鼎的Geoffrey Hinton的博士。Geoffrey Hinton被譽爲深度學習之父，他和另外兩位神經網絡先驅Yann LeCun、Yoshua Bengio獲得了2018年的圖靈獎。而Sutskever是OpenAI的技術總監。Krizhevsky則是斬獲ImageNet第一名的圖像識別神經網絡AlexNet的第一作者。

任何產品的推廣最好方式都是KOL帶貨。Geoffrey Hinton的推廣和AlexNet的名聲大噪使得GPU和CUDA開始出圈。到底是CUDA帶火了英偉達的GPU，還是GPU帶火了CUDA。就像到底是iOS讓iPhone成功，還是iPhone讓iOS成功。他們是孿生配套，缺一不可。

英偉達開發者項目副總裁Greg Estes回憶道：“黃仁勳在週五晚上發出了一封電子郵件，說一切都將轉向深度學習，我們不再是一家圖形公司(no longer a graphics company)。到了週一早上，我們就成爲了一家人工智能公司。確實，就這麼快。”

算力“新能源”

隨着人工智能日新月異，黃仁勳締造的算力帝國一路狂飆。而算力，也成爲各家爭奪的戰略資源。

中國信通院算力指數發展白皮書2023顯示，2022年中國算力規模達到180 Exa Flops(Exa是10的18次方)，佔全球總量的33%，其中基礎算力爲26%，智能算力分別爲28%，超級算力爲18%。美國佔全球總量的34%，其中基礎算力爲27%，智能算力分別爲45%，超級算力爲48%。在存量算力上，中國和美國是唯二的世界強國。

近年來，中國也在加速算力網絡的建設，2023年發佈的《算力基礎設施高質量發展行動計劃》提出，到2025年，計算力方面，算力規模超過300 EFLOPS，智能算力佔比達到35%。

其中，粵港澳大灣區就是建設全國一體化算力網絡的重要樞紐，在2023年，中國算力網粵港澳大灣區調度中心正式上線，這是韶關市與鵬城實驗室共同建設的“中國算力網”項目全國首個區域級資源調度中心。

人力資源的競賽，已經拉開帷幕。一位IT資深從業者對記者分析道，首先，算力在任何項目上都是重要但又極度短缺的。其次，計算設備有存量算力，且可以進行分佈式全球化的採集，比電力、石油更容易跨空間部署。同時，算力早已是一種比能源抽象，不易於普通人理解，重要性卻不亞於能源的資源，因爲它可以解決科技瓶頸的問題。

理論、實驗、計算被稱爲現代科學研究中的三大手段。其中計算是最晚加入的小輩，但現在卻起到核心驅動作用，很多理論可以用計算來驗證，很多實驗可以用算力來組織。

這就是爲什麼“我們需要的是飛行汽車，但時代卻給我一個140字的推特”，“人類需要AI去洗碗，掃地，做家務。他們卻在寫詩畫畫搞音樂”，這類嘲笑不值一駁的原因。

假如沒有社交網絡，就沒有那麼多人在互聯網上發表觀點，就沒有這麼多的在線語料數據。沒有語料數據，就沒有大語言模型的數據基礎，就沒有ChatGPT的核心，也就沒法和人類高智能的交互，遷移學習的思路也就不復存在，後面的洗碗掃地機器人也會大受影響。相反，自從有了大語言模型之後，很多家務機器人開始層出不窮。嘲笑並不都是壞事，這提供另一種角度，也爲創造者提供動力。

目前人類文明發展的底座之一是人工智能。人工智能的發展底座是算力，算力的底座是電力，電力的底座是各類基礎能源，這是科技樹的邏輯鏈條也是現實掣肘。甚至有業內人士指出，算力是一種被編譯的電力，或者從更大的角度來說，算力是一種被編譯的能源。

黃仁勳說，從現在的角度看，要支持未來的算力需求，也許需要燒掉14顆行星，3個星系，4個太陽來提供能源。但這不必，計算框架在提升，芯片的功耗在降低。

從觀望者悲觀的角度看，人類歷史從來都是資源爭奪的“零和博弈”。從人類走出非洲大陸開始，爭奪地盤、食物、能源從未停止。

從探索者樂觀的角度看，從木頭中激發火，從石頭中發掘硅，人類一直在做大增量市場，每次資源短缺，新的技術總能及時涌現。

《流浪地球2》中，周喆直富有深意地說“有人，在幫我們”。

SFC

本期編輯 黎雨桐 實習生 李潔

21君薦讀