炬芯科技目標是在電池驅動的中小模型機器學習IoT設備上實現高能效的AI算力
（原標題：炬芯科技目標是在電池驅動的中小模型機器學習IoT設備上實現高能效的AI算力）
ChatGPT激發了人們的好奇心也打開了人們的想象力，伴隨着生成式AI（Generative AI）以史無前例的速度被廣泛採用，AI算力的需求激增。與傳統計算髮展路徑類似，想讓AI普及且發掘出AI的全部潛力，AI計算必須合理的分配在雲端服務器和端側裝置（如PC，手機，汽車, IoT裝置），而不是讓雲端承載所有的AI負荷。這種雲端和端側AI協同作戰的架構被稱爲混合AI(Hybrid AI)，將提供更強大，更有效和更優化的AI。換句話說，要讓AI真正觸手可及，深入日常生活中的各種場景，離不開端側AI的落地。
端側AI將機器學習帶入每一個IoT設備，減少對雲端算力的依賴，可在無網絡連接或者網絡擁擠的情況下，提供低延遲AI體驗、還具備低功耗，高數據隱私性和個性化等顯著優勢。AIoT的一個最重要載體是電池驅動的超低功耗小型IoT設備，其數量龐大且應用豐富，在新一代AI的浪潮中，端側AI是實現人工智能無處不在的關鍵，而爲電池驅動的低功耗IoT裝置賦能AI又是讓端側AI變爲現實的關鍵。
2024年11月5日，炬芯科技股份有限公司董事長兼CEO周正宇博士受邀出席Aspencore2024全球CEO峰會，結合AI時代熱潮及端側AI所帶來的新一代AI趨勢，分享炬芯科技在低功耗端側AI音頻的創新技術及重磅產品，發表主題演講：《Actions Intelligence: 端側AI音頻芯未來》。
周正宇博士表示：在從端側AI到生成式AI的廣泛應用中，不同的AI應用對算力資源需求差異顯著，而許多端側AI應用是專項應用, 並不需要大模型和大算力。 尤其是以語音交互，音頻處理，預測性維護，健康監測等爲代表的AIoT領域。
炬芯科技目標是在電池驅動的中小模型機器學習IoT設備上實現高能效的AI算力
在便攜式產品和可穿戴產品等電池驅動的IoT設備中，炬芯科技致力於在毫瓦級功耗下實現TOPS級別的AI算力，以滿足IoT設備對低功耗、高能效的需求。以穿戴產品（耳機和手錶）爲例， 平均功耗在10mW-30mW之間， 存儲空間在10MB以下，這框定了低功耗端側AI，尤其是可穿戴設備的資源預算。
周正宇博士指出”Actions Intelligence”是針對電池驅動的端側AI落地提出的戰略，將聚焦於模型規模在一千萬參數（10M）以下的電池驅動的低功耗音頻端側AI應用，致力於爲低功耗AIoT裝置打造在10mW-100mW之間的功耗下提供0.1-1TOPS的通用AI算力。也就是說”Actions Intelligence“將挑戰目標10TOPS/W-100TOPS/W的AI算力能效比。根據ABI Research預測，端側AI市場正在快速增長，預計到2028年，基於中小型模型的端側AI設備將達到40億臺，年複合增長率爲32%。到2030年，預計75%的這類AIoT設備將採用高能效比的專用硬件。
現有的通用CPU和DSP解決方案雖然有非常好的算法彈性，但是算力和能效遠遠達不成以上目標，依據ARM和Cadence的公開資料，同樣使用28/22nm工藝，ARM A7 CPU 運行頻率1.2GHz時可獲取0.01TOPS的理論算力，需要耗電100mW，即理想情況下的能效比僅爲0.1TOPS/W；HiFi4 DSP運行600MHz時可獲取0.01TOPS的理論算力，需要耗電40mW，即理想情況下的能效比0.25TOPS/W。即便專用神經網路加速器（NPU）的IP ARM周易能效比大幅提升，但也僅爲2TOPS/W。
以上傳統技術的能效比較差的本質原因均源於傳統的馮•諾依曼計算結構。傳統的馮•諾伊曼計算系統採用存儲和運算分離的架構，存在“存儲牆”與“功耗牆”瓶頸，嚴重製約系統算力和能效的提升。
在馮•諾伊曼架構中，計算單元要先從內存中讀取數據，計算完成後，再存回內存。隨着半導體產業的發展和需求的差異，處理器和存儲器二者之間走向了不同的工藝路線。由於工藝、封裝、需求的不同，存儲器數據訪問速度跟不上處理器的數據處理速度，數據傳輸就像處在一個巨大的漏斗之中，不管處理器灌進去多少，存儲器都只能“細水長流”。兩者之間數據交換通路窄以及由此引發的高能耗兩大難題，在存儲與運算之間築起了一道“存儲牆”。
此外，在傳統架構下，數據從內存單元傳輸到計算單元需要的功耗是計算本身的許多倍，因此真正用於計算的能耗和時間佔比很低，數據在存儲器與處理器之間的頻繁遷移帶來嚴重的傳輸功耗問題，稱爲“功耗牆”。
基於SRAM的存內計算是目前低功耗端側AI的最佳解決方案
周正宇博士表示：弱化或消除”存儲牆”及”功耗牆”問題的方法是採用存內計算Computing-in-Memory（CIM）結構。其核心思想是將部分或全部的計算移到存儲中，讓存儲單元具有計算能力，數據不需要單獨的運算部件來完成計算，而是在存儲單元中完成存儲和計算，消除了數據訪存延遲和功耗，是一種真正意義上的存儲與計算融合。同時，由於計算完全依賴於存儲，因此可以開發更細粒度的並行性，大幅提升性能尤其是能效比。
機器學習的算法基礎是大量的矩陣運算，適合分佈式並行處理的運算，存內計算非常適用於人工智能應用。
要在存儲上做計算，存儲介質的選擇是成本關鍵。單芯片爲王，炬芯的目標是將低功耗端側AI的計算能力和其他SoC的模塊集成於一顆芯片中，於是使用特殊工藝的DDR RAM和Flash無法在考慮範圍內。而採用標準SoC適用的CMOS工藝中的SRAM和新興NVRAM（如RRAM或者MRAM）進入視野。SRAM工藝非常成熟，且可以伴隨着先進工藝升級同步升級，讀寫速度快、能效比高，並可以無限多次讀寫。唯一缺陷是存儲密度較低，但對於絕大多數端側AI的算力需求，該缺陷不會成爲阻力。短期內，SRAM是在低功耗端側AI設備上打造高能效比的最佳技術路徑，且可以快速落地，沒有量產風險。
長期來看，新興NVRAM 如RRAM由於密度高於SRAM，讀功耗低，也可以集成入SoC，給存內計算架構提供了想象空間。但是RRAM工藝尚不成熟，大規模量產依然有一定風險，製程最先進只能到22nm，且存在寫次數有限的致命傷（超過會永久性損壞）。故周正宇博士預期未來當RRAM技術成熟以後，SRAM 跟RRAM的混合技術有機會成爲最佳技術路徑，需要經常寫的AI計算可以基於SRAM的CIM實現，不經常或者有限次數寫的AI計算由RRAM的CIM實現，基於這種混合技術有望實現更大算力和更高的能效比。
炬芯科技創新性採用模數混合設計實現基於SRAM的存內計算（CIM）
業界公開的基於SRAM的CIM電路有兩種主流的實現方法，一是在SRAM儘量近的地方用數字電路實現計算功能， 由於計算單元並未真正進入SRAM陣列，本質上這隻能算是近存技術。另一種思路是在SRAM介質裡面利用一些模擬器件的特性進行模擬計算，這種技術路徑雖然實現了真實的CIM，但缺點也很明顯。一方面模擬計算的精度有損失，一致性和可量產性完全無法保證，同一顆芯片在不同的時間不同的環境下無法確保同樣的輸出結果。另一方面它又必須基於ADC和DAC來完成基於模擬計算的CIM和其他數字模塊之間的信息交互, 整體數據流安排以及界面交互設計限制多,不容易提升運行效率。
炬芯科技創新性的採用了基於模數混合設計的電路實現CIM，在SRAM介質內用客製化的模擬設計實現數字計算電路，既實現了真正的CIM，又保證了計算精度和量產一致性。
周正宇博士認爲，炬芯科技選擇基於模數混合電路的SRAM存內計算（Mixed-Mode SRAM based CIM，簡稱MMSCIM）的技術路徑，具有以下幾點顯著的優勢：
第一，比純數字實現的能效比更高，並幾乎等同於純模擬實現的能效比；
第二，無需ADC/DAC, 數字實現的精度，高可靠性和量產一致性，這是數字化天生的優勢；
第三，易於工藝升級和不同FAB間的設計轉換；
第四，容易提升速度，進行性能/功耗/面積(PPA)的優化；
第五，自適應稀疏矩陣，進一步節省功耗，提升能效比。
而對於高質量的音頻處理和語音應用，MMSCIM是最佳的未來低功耗端側AI音頻技術架構。由於減少了在內存和存儲之間數據傳輸的需求，它可以大幅降低延遲，顯著提升性能，有效減少功耗和熱量產生。對於要在追求極致能效比電池供電IoT設備上賦能AI，在每毫瓦下打造儘可能多的 AI 算力，炬芯科技採用的MMSCIM技術是真正實現端側AI落地的最佳解決方案。
周正宇博士首次公佈了炬芯科技MMSCIM路線規劃，從路線圖中顯示：
1、炬芯第一代(GEN1)MMSCIM已經在2024年落地， GEN1 MMSCIM採用22納米制程，每一個核可以提供100 GOPS的算力，能效比高達6.4 TOPS/W @INT8；
2、到2025年，炬芯科技將推出第二代（GEN2）MMSCIM，GEN2 MMSCIM採用22納米制程，性能將相較第一代提高三倍，每個核提供300GOPS算力，直接支持Transformer模型，能效比也提高到7.8TOPS/W @INT8；
3、到2026年，推出新制程12納米的第三代（GEN3）MMSCIM，GEN3 MMSCIM每個核達到1 TOPS的高算力，支持Transformer，能效比進一步提升至15.6TOPS/W @INT8。
以上每一代MMSCIM技術均可以通過多核疊加的方式來提升總算力，比如MMSCIM GEN2單核是300 GOPS算力，可以通過四個核組合來達到高於1TOPS的算力。
炬芯科技正式發佈新一代基於MMSCIM端側AI音頻芯片
炬芯科技成功落地了第一代MMSCIM在500MHz時實現了0.1TOPS的算力，並且達成了6.4TOPS/W的能效比，受益於其對於稀疏矩陣的自適應性，如果有合理稀疏性的模型（即一定比例參數爲零時），能效比將進一步得到提升，依稀疏性的程度能效比可達成甚至超過10TOPS/W。基於此核心技術的創新，炬芯科技打造出了下一代低功耗大算力、高能效比的端側AI音頻芯片平臺。
周正宇代表炬芯科技正式發佈全新一代基於MMSCIM端側AI音頻芯片，共三個芯片系列：
1、第一個系列是 ATS323X，面向低延遲私有無線音頻領域；
2、第二個系列是ATS286X，面向藍牙AI音頻領域；
3、第三個系列是 ATS362X，面向AI DSP領域。
三個系列芯片均採用了CPU（ARM）+ DSP（HiFi5）+ NPU（MMSCIM）三核異構的設計架構，炬芯的研發人員將MMSCIM和先進的HiFi5 DSP融合設計形成了炬芯科技“Actions Intelligence NPU（AI-NPU）”架構，並通過協同計算，形成一個既高彈性又高能效比的NPU架構。在這種AI-NPU架構中MMSCIM支持基礎性通用AI算子，提供低功耗大算力。同時，由於AI新模型新算子的不斷涌現，MMSCIM沒覆蓋的新興特殊算子則由HiFi5 DSP來予以補充。
以上全部系列的端側AI芯片，均可支持片上1百萬參數以內的AI模型，且可以通過片外PSRAM擴展到支持最大8百萬參數的AI模型，同時炬芯科技爲AI-NPU打造了專用AI開發工具“ANDT”，該工具支持業內標準的AI開發流程如Tensorflow，HDF5，Pytorch和Onnx。同時它可自動將給定AI算法合理拆分給CIM和HiFi5 DSP去執行。 ANDT是打造炬芯低功耗端側音頻AI生態的重要武器。藉助炬芯ANDT工具鏈輕鬆實現算法的融合，幫助開發者迅速地完成產品落地。
根據周正宇博士公佈的第一代MMSCIM和HiFi5 DSP能效比實測結果的對比顯示：
當炬芯科技GEN1 MMSCIM與HiFi5 DSP均以500MHz運行同樣717K參數的Convolutional Neural Network（CNN）網路模型進行環境降噪時，MMSCIM相較於HiFi5 DSP可降低近98%功耗，能效比提升達44倍。而在測試使用935K 參數的CNN網路模型進行語音識別時，MMSCIM相較於HiFi5 DSP可降低93%功耗，能效比提升14倍。
另外，在測試使用更復雜的網路模型進行環境降噪時，運行Deep Recurrent Neural Network模型時，相較於HiFi5 DSP可降低89%功耗；運行Convolutional Recurrent Neural Network模型時，相較於HiFi5 DSP可降低88%功耗；運算Convolutional Deep Recurrent Neural Network模型時，相較於HiFi5 DSP可降低76%功耗。
最後，相同條件下在運算某CNN-Con2D算子模型時，GEN1 MMSCIM的實測AI算力可比HiFi5 DSP的實測算力高16.1倍。
綜上所述，炬芯科技此次推出的最新一代基於MMSCIM端側AI音頻芯片，對於產業的影響深遠，有望成爲引領端側AI技術的新潮流。
炬芯科技Actions Intelligence助力AI生態快速發展
從ChatGPT到Sora，文生文、文生圖、文生視頻、圖生文、視頻生文，各種不同的雲端大模型不斷刷新人們對AI的預期。然而，AI發展之路依然漫長，從雲到端將會是一個新的發展趨勢，AI的世界即將開啓下半場。
以低延遲、個性服務和數據隱私保護等優勢，端側AI在IoT設備中扮演着越來越重要的角色，在製造、汽車、消費品等多個行業中展現更多可能性。基於SRAM的模數混合CIM技術路徑，炬芯科技新產品的發佈踏出了打造低功耗端側 AI 算力的第一步，成功實現了在產品中整合 AI 加速引擎，推出CPU+ DSP + NPU 三核 AI 異構的端側AI音頻芯片。
最後，周正宇博士衷心希望可以通過”Actions Intelligence”戰略讓AI真正的隨處可及。未來，炬芯科技將繼續加大端側設備的邊緣算力研發投入，通過技術創新和產品迭代，實現算力和能效比進一步躍遷，提供高能效比、高集成度、高性能和高安全性的端側 AIoT 芯片產品，推動 AI 技術在端側設備上的融合應用，助力端側AI生態健康、快速發展。