大陸高教爲何難出大模型？下一代AI仍依賴基礎科研突破

大陸高教爲何難出大模型？下一代AI仍依賴基礎科研突破。（澎湃新聞）

大陸《第一財經》報導，ChatGPT誕生已9個多月，大模型在大陸產學界最新進展如何？談到大模型爲何難以首先誕生在高等院校，24日舉行的2023世界人工智慧大會（WAIC）青年優秀論文獎頒獎儀式暨青年科學家論壇上，同濟大學電腦系教授兼副主任何良華認爲，學界很難出現ChatGPT這樣的模型，主要是算力和數據的問題。

大模型是指具有大量參數和計算資源的機器學習模型。 這些模型通常在訓練過程中需要大量的數據和計算能力，並且具有數百萬到數十億個參數。

何良華說，大模型非常吃算力，大學也難以去購買大量的算力。而有了算力之後，要把參數訓練得比較成熟，需要海量的數據，但是學界是拿不到這麼多數據的。除了這兩個問題，還和學界自身的需求有關。「我們都期望在理論上做一些創新。比如我的學生如果跟我說現在需要幾千張卡（算力）來做一個事情，我所有的經費給他也不夠，課題也難以立項。因爲它既不是應用，又不是理論，找不到這樣一筆經費，研究只能中斷。」

和團隊率先在中國大陸發佈了具備 ChatGPT 能力語言模型MOSS的復旦大學電腦學院教授邱錫鵬表示，大模型更頂尖的研究機構在業界，這是一個不可迴避的事實。從DeepMind再到OpenAI，都是如此。美國的很多著名大學，從研究實力上看，已經落後於這些頂級的研究院了。

邱錫鵬解釋，學校和研究院的差異還是在於自由的探索。對於很多研究院來講，長期的目標還是奔着營利，包括大陸很多企業之前也建了很多研究院，過不了幾年就發現可能面臨着營利、變現的壓力，導致做的研究不是特別純粹。在他看來，OpenAI的團隊是一個以前沒有出現過的形態，這種制度設計非常好，能使團隊既能堅持本心做研究，同時也沒有那麼大的壓力。

「在學校的話還是要發揮學校的長處，做的研究沒有太多的營利要求或面臨短期變現的壓力，也可以思考得更長遠。特別在如今高算力要求的情況下，在學術界和產業界的研究院之間，還是可以發揮學術界的優勢。」他說。

上海科技大學生物醫學工程學院常任助理教授錢學駿則認爲，大陸工業界做出的很多有影響力的工作，可能不是學界追求的主要目標。「學界可能更想（發明）一種思路上的創新（新想法、新應用），而不是通過大算力、大數據，各方面的優勢集中做出來了，對學界來說這些也不夠有優勢，無法獲得大量數據。」

華爲諾亞方舟實驗室AI研究員謝恩澤說，怎麼構建高品質的數據集，可能是對於大模型能力一個很重要的補充。訓練大模型本身來說，用多大參數的模型、配多大的數據量，以及用多長時間，這些協同也是很重要的。而這些只有在少數幾個大廠纔有機會接觸到這些資源。

今年以來，生成式人工智慧的發展成爲地方政府和科技大廠瞄準的關鍵字。大陸科技部人工智慧發展研究中心5月底發佈的《中國人工智慧大模型地圖研究報告》顯示，當前大陸10億參數規模以上的大模型已發佈79個。

《第一財經》報導，不久前浦江基礎科學發展論壇上，北京清華大學人工智慧研究院常務副院長孫茂松教授表示，中國乃至全球發展大模型最終的突破關鍵，是基礎科學的突破。

他說，對於大模型，當前的問題在於並不清楚OpenAI的機理是如何運作的，就連推出ChatGPT的OpenAI公司執行長薩姆·奧特曼也表示，雖然做出了GPT但也不清楚發生的原理，「實際上就是對這個機理還不清楚」。他認爲，現有的人工智慧模型已經能做到說話通順，但這個問題的內在實現邏輯仍然十分複雜。如果弄清楚了大模型裡的規律、ChatGPT背後的機理，就有可能克服現有人工智慧大模型的侷限性，建立下一代人工智慧的理論和模型。