星凡星啓申請一種神經網絡推理推測加速方法專利，能讓低算力設備完成對模型的推測加速

金融界2024年11月14日消息，國家知識產權局信息顯示，星凡星啓（成都）科技有限公司申請一項名爲“一種神經網絡推理推測加速方法、系統、設備以及介質”的專利，公開號CN 118940836 A，申請日期爲2024年7月。

專利摘要顯示，本發明公開了一種神經網絡推理推測加速方法、系統、設備以及介質，包括：獲取待推測加速神經網絡模型的算子總層數；分別確定各硬件設備對應的最優算子層數，其中，硬件設備的數量若干，硬件設備用於對待推測加速神經網絡模型進行推測，各硬件設備對應的最優算子層數之和等於算子總層數，硬件設備的類型包括邊緣計算設備、雲端服務器以及終端設備；控制各硬件設備分別對各自對應的最優算子層數進行推測。本發明屬於神經網絡推測領域，本發明通過確定各硬件設備對應的最優算子層數，可使得低算力設備也能完成對待推測加速神經網絡模型的推測加速。

本文源自：金融界

作者：情報員