“講卡傷感情，沒卡沒感情”，沈向洋對大模型的八點思考

在2024外灘大會上，針對大模型時代的機遇與挑戰，香港科技大學校董會主席、美國國家工程院外籍院士沈向洋分享了他的八項思考。以下是本站科技對沈向洋演講內容的整理：

思考一、算力是門檻

沈向洋表示，現在做大模型、做深度學習，首先最重要的事情是要有算力：從2010年、2012年開始，每年有6、7倍的增長，最近這幾年穩定下來，大概每年有4倍的增長。

在沈向洋看來，算力的增長原因就是大模型越來越大、參數量越來越大，所以算力隨着參數的增長，出現了一個平方向的增長。

沈向洋笑稱，這幾年他提出一句話，叫“講卡傷感情，沒卡沒感情”，一個真正做大模型的公司，如果沒有1萬張卡，都沒法說自己是做大模型的公司；如果沒有卡、沒錢，以後最大的問題就是貧窮限制了想象力。

他以摩爾定律爲例，以前CPU的增長遵循着摩爾定律：18個月算力漲1倍；但現在，摩爾定律已經變成了黃氏定律，現在GPU一年得漲4倍的算力，一年漲4倍，十年下來就是100萬倍。

這就是算力的門檻。

思考二、關於數據的數據

沈向洋表示，在GPT3出來的時候，大約是2個T的token；到了GPT4的時候，當時大概是12個T左右的數據，現在GPT4、GPT4O大概是20T的數據；而等GPT5出來的時候，預計大概會是200個T的數據，但互聯網挖不出200T的數據，還需要想其他的辦法解決數據的問題。在他看來，互聯網40年積累的數據，似乎就是爲了這樣一個AI的時刻?

思考三、大模型的下一章

沈向洋表示，大模型發展到現在，下一步要做什麼需要非常清晰的思路：從原來的語言模型、文本，接下來要做多模態；而目前的多模態Sora模型雖然做得非常好，但還不是那麼強大，裡面的物理性質是不能保證的，做不到一個世界模型。沈向洋認爲，未來肯定要往具身智能走，一定要往機器人走，機器人的一個特別形態就是自動駕駛。

技術上來講，沈向洋認爲肯定要走生成和理解綜合起來的道路，從而走向AGI。

思考四、大模型橫掃千行百業

沈向洋表示，大模型現在對整個行業的影響，會有很多很多機會；回到對於算力的需求，今天做通用大模型至少需要上萬張卡，而且再往前1萬張A卡都不行了，需要1萬張H卡；做行業大模型，比如要達到千卡級別；自己公司做企業大模型，可能要百卡訓練；但更令人激動的事情是，未來將是個人大模型，現在比如聯想、微軟推的AIPC，蘋果的Apple Intelligence，都是朝着Personal Intelligence在發展。

沈向洋分享的數據顯示，到7月底中國備案大模型一共是備案了197個，大概有30%是通用大模型，70%是行業大模型，未來肯定是行業大模型越來越多。

思考五、AI Agent--從願景到落地

沈向洋表示，目前大家都在討論講大模型出來後，人工智能時代真正了不起的超級應用會是什麼？實際上超級應用一直存在，就是大家幹不出來，那就是AI Agent。沈向洋認爲，ChatGPT雖然很了不起、很強大，但是遠遠沒有到Agent的地步。Agent是把人的生產力提高到了一個非常高的高度。在他看來，當下的工作流非常之複雜，但GPT目前還只能是單點的突破，真正要向前走，是要把工作流弄起來，要把行業進行分析，從本身的大模型應用框架到平臺，再到知識技能、任務、對話全部接起來，纔可以做到這樣的結果。

在應用方面，沈向洋表示，他對很多中國公司未來的發展非常有信心。

思考六、重視AI的治理

沈向洋表示，今年世界人工智能大會的主題就是AI治理，這件事情非常重要，而且每個國家對這件事情看法也是有很多不一樣的，這件事情AI對民衆的衝擊、公司的衝擊、政府監管的衝擊、社會發展的衝擊，都令人擔心，比如人工智能會不會影響美國大選的結果。

沈向洋認爲，接下來人工智能發展很重要的一點，從全球各個國家角度來講，一定要做主權人工智能，主權人工智能背後一定需要有一個主權雲來支持主權人工智能的發展。

思考七、重新思考人機關係

沈向洋發問，GPT給我們帶來的衝擊，有多少是人機交互的震撼？又有多少到底是機器智能的發展？他表示，《紐約時報》專欄作家John Markoff寫的《Machines of Loving Grace》梳理了過去50年計算機科學發展的兩條主線，一條主線就是AI：Artificial Intelligence, 第二條線是IA： Intelligent Augmentation（智能增強）。實際上過去這幾十年的進展主要是人機交互裡面的突破，人工智能在相當長的時間裡還是一個工具。過去這四五十年裡，圖形界面時代出了一個了不起的東西，叫做Windows，產生了一家偉大的公司，叫微軟；互聯網時代來了，出來一個東西，叫搜索，出來一家公司叫谷歌；然後到了移動互聯網推薦，現在又到了AI時代，人機交互最本質的是什麼？最本質的是對話，就像ChatGPT這樣。ChatGPT加上微軟，會不會成爲AI時代最偉大的公司？只有時間才能夠驗證。

思考八、智能的本質，神經網絡與符號系統的世紀之爭

沈向洋表示，雖然GPT已經如火如荼了，甚至GPT6也可能出現；但實際從做學問的角度回過頭來想想，今天對智能的理解還是非常有限的；這跟物理學非常不一樣，物理上到浩瀚的星空，下到微小的量子，都希望弄一個大一統的理論來解釋，但是今天深度學習雖然系統做的好像很像模像樣，但是很多東西不可以解釋，也不是很魯棒（魯棒性是指系統在異常和危險情況下生存的能力）。

沈向洋表示，GPT3出來了以後，有一個東西叫做智能涌現出來，但是爲什麼涌現出來？什麼時候涌現出來？是什麼方式涌現出來？這都是講不清楚的。所以去年在香港科技大學聚集了一批海內外計算機科學家，在一起討論涌現智能背後的數學原理到底是什麼。

沈向洋最後總結，今天人工智能的發展還在一個相對來講比較早期的階段，但是行業上已經有很多的應用，值得下定決心做了，他對未來的發展充滿信心。（平章）