科大訊飛申請大模型解碼系統、方法、相關設備及計算機程序產品專利，提升終端設備本地模型的推理效果

金融界 2024 年 8 月 14 日消息，天眼查知識產權信息顯示，科大訊飛股份有限公司申請一項名爲“大模型解碼系統、方法、相關設備及計算機程序產品“，公開號 CN202410837624.2，申請日期爲 2024 年 6 月。

專利摘要顯示，本申請公開了一種大模型解碼系統、方法、相關設備及計算機程序產品，系統包括終端設備和雲端服務器，在終端設備佈置小規模的近似模型進行解碼，然後在雲端服務器採用規模更大的目標模型，對近似模型的當前解碼結果進行確認或糾正，在終端硬件資源受限的情況下，能夠提升終端設備本地模型的推理效果。同時，無需雲端服務器逐個 token 進行解碼，能夠降低雲端服務器的服務負載。

本文源自：金融界

作者：情報員