浪潮信息：實現服務器僅靠4顆CPU即可運行千億參數大模型

7月29日消息，近日，浪潮信息的研發工程師基於2U4路旗艦通用服務器NF8260G7，採用張量並行、NF4模型量化等技術，實現了服務器僅依靠4顆CPU即可運行千億參數 “源2.0” 大模型。

據悉，NF8260G7在2U空間搭載4顆32核英特爾至強處理器，主頻2.4GHz，支持8個內存通道，3路UPI總線互聯，採用32根32G的DDR5內存，內存容量1024GB，實測內存讀帶寬995GB/s，運行效率82.94%。

框架和算法方面，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發工具，滿足用戶更成熟、易部署、更便捷的開放生態需求。

浪潮信息算法工程師還基於Yuan2.0千億參數大模型的研發積累，爲NF8260G7部署張量並行環境，提升4倍計算效率，並通過NF4等量化技術，將1026億參數的Yuan2.0大模型容量縮小至1/4，首次實現單機通用服務器，即可運行千億參數大模型，爲千億參數AI大模型在通用服務器的推理部署，提供了性能更強，成本更經濟的選擇。

據介紹，人工智能的發展，是算力、算法和數據三要素系統突破的結果。浪潮信息研發工程師基於通用服務器NF8260G7的軟硬件協同創新，爲千億參數AI大模型在通用服務器的推理部署，提供了性能更強，成本更經濟的選擇，讓AI大模型應用可以與雲、大數據、數據庫等應用能夠實現更緊密的融合，從而充分釋放人工智能在千行百業中的創新活力，推動社會和經濟的發展。（定西）

本文來自本站科技報道，更多資訊和深度內容，關注我們。