蔚來 NIO IN?我更願意叫它 AI Day

5 nm 智駕芯片成功流片、SkyOS 正式全量發佈、Banyan 3 AI 能力升級、智能駕駛世界模型 NWM 發佈,全新 NIO Phone 正式上市……2024 年蔚來科技創新日上,車的影子不多,AI 成了核心的主角,硬件只有一個全新 NIO Phone。

比較有趣的是,蔚來創始人、董事長、首席執行官李斌先後兩次登臺,一次說到了「不是一般的領先」,另一次說到了「我們是遙遙落後」,分別對應神璣 NX9031 的性能表現和 NIO Phone 依然堅持 0 廣告、0 預裝,在這場技術爲主的發佈會上也是個不小的亮點。

那麼在接近 3 小時的 NIO IN 上,AI 到底有着怎樣的重要地位,相對國內其他車企,蔚來對 AI 能力又有哪些不同的見解呢?

5 nm 智駕芯片流片成功

NIO IN 開場 7 分鐘,李斌在盤點過去大半年主要進展之後,激動地宣佈:「蔚來自研智駕芯片神璣 NX9031 流片成功!」

這顆芯片意義重大,在此之前的智駕芯片,無論海內外,沒有任何一款突破進 5 nm 製程。加上這還是蔚來的第一顆自研智駕芯片,挑戰無疑是巨大的。

去年 9 月的首屆 NIO IN 上,神璣 NX9031 發佈,僅過去 10 個月時間已經成功流片,這意味着距離上車又近了一大步。

「不是一般的領先。」李斌在現場說道。

李斌在現場重點展示了神璣 NX9031 的 ISP 能力。同樣 800 萬像素,不同的 ISP 成像效果是完全不同的,在日常行駛的道路上,基於神璣 NX9031 芯片的 800 萬像素攝像頭就能看到更遠的地方。

在 NIO IN 現場的實拍圖中,神璣 NX9031 的 ISP 也能在暗光環境下保留更多細節,這些能力對於智駕來說相當重要。

李斌還公佈了神璣 NX9031 的其他技術細節:

高動態範圍高性能 ISP:6.25 G 像素/秒的像素處理能力,26 bit 位寬,低於 5 ms 的處理延時。

超過 500 億個晶體管。

32 核心 big.LITTLE CPU 架構,算力 615K DMIPS。

內存帶寬 8,533 Mbps。

Transformer 類算法提升 6.5 倍,LiDAR 類算法性能提升 4 倍,BEV 類算法性能提升 4.3 倍。

支持最高 ASIL-D 級別功能安全等級。

不過,這顆芯片仍有部分參數保持神秘,例如和智駕能力幾乎劃等號的 NPU 算力,在此次發佈會上還沒有具體的數字,但已經給出針對 Transformer、LiDAR、BEV 等算法性能的升級指標。

SkyOS 全量發佈

這又是一個延續。去年 9 月的 NIO IN 上,SkyOS·天樞及其架構正式發佈,但是並非完全量產。這裡要明確,SkyOS 並非一個操作系統,在不同的芯片硬件之上有着不同的功能。

在控制車身部件的實時操作系統 SkyOS-L 上車之後,今天 SkyOS 全量發佈。

在架構圖上可以看到,最下方是芯片、設備,以及車內的其他硬件(智駕感知、車門車窗等),在這之上,就運行着 SkyOS。

SkyOS-H 是個面向複雜場景的高性能、高可靠性的虛擬化系統。它可以形成虛擬的沙盒環境,同時管理調度整車的異構大算力資源,讓上層的功能之間不受影響,起到安全基座的作用。簡單來說,這個操作系統是把一個大房子分隔成了不同功能的小房間。

基於 SkyOS-H 的能力,實時任務的端到端執行時間減少 50%,多線程的吞吐量提升 40% 以上,虛擬磁盤吞吐量提升 15%。

再上一層,共有四個操作系統,分別是 SkyOS-L、SkyOS-M、SkyOS-R、SkyOS-C,也是運行在不同的硬件之上。

SkyOS-L 是面向 MCU 小算力芯片的輕量化 OS,目標就是實現更高的實時性和可靠性。在與 AUTOSAR 的對比中,無論是高優先級、中優先級還是低優先級的指令,SkyOS-L 都能穩定執行,AUTOSAR 在中優先級和低優先級的指令中,準確送達能力就不如 SkyOS-L。

微內核架構的 SkyOS-M 運行在中央大腦中,主要控制車身、底盤、懸架等等,微內核架構的核心優勢就是安全隔離。蔚來做到了兩類 CPU 隔離、兩級內存隔離、五類 I/O 接口隔離以及 25 種隔離的核心服務。同時還有安全隔離的基礎上,還有四層監控和三層恢復的安全機制。

對比 Linux,當出現系統問題時,SkyOS-M 受到影響更小,並且能快速恢復。從數據上看,SkyOS-M 自恢復時間只要 5 毫秒,相比 Linux 快 100 倍。

SkyOS-R 主要用於智能駕駛,這套操作系統有很高的端到端延時要求。目標是支持各種應用場景,提供高實時性保障的 OS。對比 Linux 發行版,輕負載端到端延時提升 113 倍,高負載端到端延時提升 20 倍。

SkyOS-C 是基於 Android 深度定製的操作系統,承載了智能座艙的功能。在這套操作系統可以高效支持基於大模型的應用,還有包括 NOMI 在內的 AI 智能體驗。

在 SkyOS 之上是 SkyOS 的中間件,是實現分層解耦、跨域融合的關鍵。蔚來在其中一共構建了超過 40 箇中間件,類似於一個工具箱。爲了實現分層解耦,蔚來將整車抽象出了 1,600 多個原子能力,提供給各個域來調用。

如此多的原子能力互相調用相當複雜,因此蔚來自研了 SOA 框架,同時定義了蔚來的高性能跨域通信協議,名爲 TOX(Talks-Over-X,X 意味着任何事物),適用於所有的網絡類型以及通訊終端。

這樣一來,TOX 實現了高帶寬,大於 20,000 pps 的 MCU 速率,相比傳統 CAN 總線高優信號容量提升 30 - 50 倍,同時對比 SOME/IP 降低了 40% 的時延,0 丟包的閾值提高了 109%。

此外,蔚來還建立了數據閉環機制,開發了端到端全生命週期研發工具鏈,建立體系化的安全機制。

全面 AI 化的 Banyan 3

SkyOS-C 作爲鋪墊,蔚來眼前重點是即將推出的 Banyan 3 智能系統。

Banyan 3 是蔚來首個基於AI 底層能力的智能系統,也正因此,Banyan 3 的背景圖就是基於 difussion 技術和 NOMI GPT 生成而來。

Banyan 3 第一大升級就是 AI 智能底盤。「今天智能底盤的真正靈魂就是 AI 能力。」蔚來產品體驗副總裁李天舒現場說道。

在 Banyan 3 中,4D 舒適領航升級爲 4D 全域舒適領航,不需要開啓導航就能激活 4D 舒適底盤,同時還有實時計算的顛簸指數,形成可視化折線圖,行程結束後還會發送到手機 App。並且,只要有 CDC 動態阻尼控制的車型,都能用,包括不帶空氣懸架的 ES6、EC6 車型。不過,ET5 的兩款車型暫時就沒有這項功能了。

Banyan 3 還新增了駕駛模式——後排尊享模式,哪怕駕駛員技術不夠高超,也能有「黃金右腳」的感受,讓後排乘客減少衝擊和眩暈感。

進入智能座艙,蔚來和 QQ 音樂合作,利用 AI 工具,讓不支持全景聲的歌曲也能解鎖 7.1.4 全景聲體驗,目前已經支持百萬首歌曲。

同時還有專家均衡器 Pro EQ。今年晚些時候,蔚來將推出基於 NOMI GPT 實現 AI 生成 EQ,NOMI 在分析歌曲的風格後,生成適合的 EQ,即便不懂音響、不懂音樂的人也能有更好的聽音感受。

此外,無麥 K 歌也有升級,只要你張嘴唱,原唱就能自動關閉。

目前,車機原生 App 還比較缺乏,蔚來通過基於 Web 生成 Flux 應用獲得接近原生 App 的內容和服務。像是 Apple Music 這樣的服務,也能在車機上同步,並且通過 NOMI 播放控制。

今天,蔚來還宣佈接入騰訊出行服務小程序,整個界面和手機非常接近,包括生活、訂餐等小程序都能在車機上使用。

對於座艙的 AI 體驗,最重要的就是 NOMI 了。過去的三個月時間裡,用戶和 NOMI GPT 交互超過 1,500 萬次,接下來,NOMI 會在擬人交互、得力助手和情感夥伴三個領域繼續發力。

語音免喚醒,效率提升 100%。

多人自由說,同時說、接力說都能行。

一句話多指令,一口氣可以說幾十個指令。

蔚來還爲 NOMI 引入了 NOMI Agents 多智能體,基於大語言模型重構 NOMI 認知和任務能力,總結看一共有六大能力:

NOMI 停車助手,只需要說「幫我找個好停的停車場」,今年四季度還會推出停車場地圖,實現車位級導航。

NOMI 守衛,可以讓 NOMI 調用記錄儀,總結大量守衛的事件,找到最有可能的危險事件。如果有發生碰撞、剮蹭,能直接預約維保。

NOMI 語音預約駕享/代駕服務。

NOMI 探索發現,可以是孩子的百科全書,幫助回答這是什麼,那是什麼的問題。還會根據需求推薦餐廳,包括蔚來車主的福利餐廳。

NOMI DJ,NOMI 生成專屬歌單,並聯動氛圍燈

NOMI 旅行回憶,對行車記錄儀進行美學分析,自動生成回憶視頻。

面向未來,未來智能座艙的核心體驗將全面 Agent 化。

同時,NOMI 情感引擎的情境智能、專屬智能、情感表達同樣令人驚喜。比如一家人進行 30 分鐘的出行,那麼歌單就會按照出行場景進行推薦。而專屬智能,意味着 NOMI 的智能只屬於你,它甚至能記住自己戴的什麼帽子。而情感表達則是 NOMI 更主動的互動,比如在生日的那天給你唱一首生日歌。

根據規劃,Banyan 3 從下週開啓用戶領航團招募,預計 8 月底推送。由於 Banyan 3 的內容非常豐富,蔚來會通過多個版本陸續釋放。

蔚來世界模型來了

在智能駕駛領域,蔚來智能駕駛研發副總裁任少卿首先介紹了智駕的最新進展。目前,蔚來全域領航里程已經開通 389.9 萬公里,所有用戶已經開了 11.12 億公里。蔚來車雲總算力 287,100 POPS,實際道路驗證里程 4.2 億公里,每個月的樣本分析挖掘量達到 2.2 億。

不久前,蔚來端到端 AEB 上線,但這並不能滿足蔚來的想象。蔚來希望構建一個模型,實現類似人腦的空間認知做想象重建,對時間的認知做想象推演的能力,這就是蔚來世界模型(NWM)。

如果說 10 年前的 2D/3D 模型是個粗糙簡筆畫,那麼到 BEV、OCC 就是更精細一點的簡筆畫,依然停留在「簡筆畫」的階段。

而蔚來世界模型 NWM 就是融合更多信息的畫面,例如它能想象出當前的天氣狀況,這也是智駕能開好的重要條件。

蔚來用了千萬 Clips 以上的數據進行學習,讓重建的真實性更好。實際有什麼用呢?

例如,在堵車的道路上,通過向 NWM 提供視頻、車輛狀態等信息,車輛可以「想象」千萬種前方的道路,在某一個時間點可以超越前方慢車。

在 NWM 中,每 0.1 秒可以預測 216 種可能性,評估之後給出最優解。作爲生成式模型,NWM 可將 3 秒鐘的駕駛視頻作爲 Prompt,生成 120 秒的視頻。

NWM 還具備閉環仿真測試能力,目前已在複雜交互場景中全面測試並驗證性能。

蔚來世界模型、端到端主動安全模型,加上所有處理機制和安全機制,形成了NADArch2.0。

在產品端,功能縮減到了兩個,其一是點到點領航輔助 2.0,今年下半年上車;其二是智能安全輔助 2.0,其中端到端 AEB 已經在 Banyan 2.6.5 上車,接下來端到端 GOA 會在下半年陸續上車。

李斌:全新 NIO Phone 不忍心不做主力機

經過了一系列的技術講解,整場發佈會唯一的硬件產品——全新 NIO Phone 來了。去年 9 月的 NIO IN,蔚來發布了第一代 NIO Phone。李斌說,大家已經意識到 NIO Phone 是蔚來用戶不可或缺的一部分。

今天,李斌從褲包裡拿出全新 NIO Phone,他說:「不忍心不做主力機。」

全新 NIO Phone 採用了 6.82 英寸等深四曲屏幕,也就是蔚來天穹屏,做到了 724 微米的彎折深度,這對於製造工藝有很大的挑戰。更大的彎折深度,帶來了更好的握持手感。

屏幕爲 2K 分辨率,是蔚來向三星深度定製的屏幕。像素密度 510 PPI,局部峰值亮度 2,600 nit,支持 1 - 120 Hz 動態刷新率。

全新 NIO Phone 厚度最薄處 8.6 mm,中框採用磨砂鋁合金材質,加上攝像頭模組周圍背板同樣採用磨砂材質,相比前一代的亮面鋁金屬更不容易粘指紋。

全新 NIO Phone 推出全新顏色星雲(參數丨圖片)紅,還有其他 5 種顏色可選,機身顏色都是採用與車身顏色同源的天空色彩。

性能方面,全新 NIO Phone 採用第三代驍龍 8 移動平臺,採用鯀禹散熱系統,遊戲性能也有提升。

續航方面,續航時間相比上一代提升 10%,增加應急通話模式,在 2% 電量之下還能打半小時電話。

影像方面,全新 NIO Phone 採用索尼 LYT-T808 傳感器,也打通了全鏈路 Ultra HDR。

此外,全新 NIO Phone 仍然堅持 0 系統廣告,0 商業預裝。

李斌說:「在廣告數量和必要預裝數量這件事上,我們可以說是遙遙落後,一直落後,永遠落後。」

全新 NIO Phone 出廠搭載了 SkyUI 2.0,NOMI GPT 也進入了手機,基於跨端的能力,手機和車機的 NOMI 可以互相打通。

有這樣幾大能力令人印象深刻:

在行駛中打電話,通話記錄會生成通話紀要,並記錄在手機中。

在手車互聯能力提升,影音娛樂功能得到升級,在安全的前提下,用戶可以更方便地使用天空視窗。

NIO Link App 拓展到了 21 個,手機內的高品質音源在車內可以體驗。

推出 NIO Link 隨車播功能。在直播過程中,下車到上車的過程中,手機和車機的攝像頭可以隨時切換,從直播人到直播路,再到車內的攝像頭,都能隨意切。同時,這項功能也支持其他 App 的視頻通話。

全新 NIO Phone 共有三個版本,性能版 12 GB + 512 GB 售價 6,499 元,旗艦版 12 GB + 1 TB 售價 6,899 元,EP edition 版本 16 GB + 1 TB 售價 7,499 元。

全新 NIO Phone 除了在蔚來 App 上出售,還會在京東、抖音平臺同步銷售。對於第一代 NIO Phone 用戶有 500 元抵用券,還可以用最高 1 萬蔚來積分支付。全新 NIO Phone 將於今天起開始發貨。

2024 年,無論是手機還是汽車,都在全面轉向 AI 時代,沒有 AI ,幾乎就和落後劃上了等號。

蔚來作爲國內頭部的新勢力車企,AI 方面的佈局似乎是最深的。在車企開始佈局自研芯片之時,蔚來 5 nm 智駕芯片成功流片;在業內都抱怨手車互聯能不能再好一點的時候,蔚來推出了 NIO Phone;加上操作系統、智能駕駛等方面的佈局,蔚來在技術創新上確實處在領先地位。

所有的技術研發服務的其實只有一件事,那就是把車賣好。特別是國內汽車市場競爭如此激烈的今天,能把高端純電車賣給用戶,似乎正在變得困難起來。

AI 的爆發,手車互聯需求的提升,智駕愈加激烈的競爭,讓車企不得不把車向 AI 終端的方向開發,這正好是蔚來在 NIO IN 上的重點。

最後想問大家一個問題,歡迎評論區留言。作爲蔚來車主你想買全新 NIO Phone 嗎?如果你不是蔚來車主,恰好想買手機,會選擇全新 NIO Phone 嗎?