傳神語聯何恩培:依賴Scaling Law的大模型路線已遇瓶頸
11月19日消息,近日,傳神語聯推出“任度數推分離大模型”,模型採用雙網絡架構實現數推分離,把推理網絡與數據學習網絡分開。
據介紹,可將其理解爲兩個協同聯動的大腦:一個是客戶數據學習網絡大腦,專注於數據的動態管理與迭代訓練,爲模型持續注入知識;一個是推理網絡大腦,作爲經大量數據預訓練的基礎網絡,有良好的推理和泛化能力。
隨着AI技術進入規模化應用階段,傳統大模型的開發逐漸暴露出成本高昂、效率低下的難題。尤其在參數規模不斷擴大的背景下,Scaling Law(規模定律)的侷限性愈發顯著。
傳神語聯創始人何恩培認爲,僅依賴Scaling Law的大模型路線已遇瓶頸,要真正突破需依靠算法與架構。
雙網絡通過共享嵌入層和中間表示層協同工作,形成類似“主腦”與“輔腦”的高效配合模式,既支持獨立訓練,也支持聯合推理。
這一雙網絡架構通過共享嵌入層和中間表示層,實現靈活獨立訓練與高效聯合推理,提升模型性能的同時顯著降低成本。
據悉,相比傳統大模型,“任度雙腦大模型”架構在多個關鍵領域實現突破:一是實時學習: 數據學習網絡支持上下文無限制輸入,可動態處理海量數據,縮短訓練時間至分鐘級;二是數據隱私保護: 客戶數據本地完成訓練,無需上傳至雲端;三是成本優化:減少模型參數規模,大幅降低算力需求與硬件投入成本。
何恩培堅信,“算法制勝”是具有中國特色的技術路徑之一,在以大模型爲代表的AI時代尤爲重要。相信中國有很多像傳神這樣的團隊在默默耕耘,正在以獨特理念引領智能創新。(袁寧)
本文來自本站科技報道,更多資訊和深度內容,關注我們。