北京帝派智能申請可預設 KV 緩存容量的大模型構建方法專利，實現可預設長度的 KV 緩存容量方案

金融界 2025 年 1 月 30 日消息，國家知識產權局信息顯示，北京帝派智能科技有限公司申請一項名爲“一種可預設 KV 緩存容量的大模型構建方法及裝置”的專利，公開號 CN 119377133 A，申請日期爲 2024 年 10 月。

專利摘要顯示，本申請提供一種可預設 KV 緩存容量的大模型構建方法及裝置，應用於大模型的 Transformer 結構中的注意力層，注意力層包括由 M 個鍵值向量構成的鍵值向量序列 MV，以及由 M 個鍵向量構成的鍵向量序列 MK；其中，M 等於預設值；方法包括針對第 N 個輸入向量，將其映射爲寫入查詢向量 wq 及第一寫入鍵值向量 wv；利用寫入查詢向量 wq 與 M 個鍵向量進行計算，得到寫入權重向量 ww；利用寫入權重向量 ww 及第一寫入鍵值向量 wv，對歷史鍵值向量序列 MV＇中的 M 個鍵值向量進行更新，將更新得到的鍵值向量序列 MV 寫入緩存中。這樣，可以實現可預設長度的 KV 緩存容量方案，以替代隨上下文長度無限增長的 KV 緩存容量方案。

天眼查資料顯示，北京帝派智能科技有限公司，成立於2017年，位於北京市，是一家以從事科技推廣和應用服務業爲主的企業。企業註冊資本500萬人民幣，實繳資本137.397198萬人民幣。通過天眼查大數據分析，北京帝派智能科技有限公司共對外投資了1家企業，參與招投標項目20次，知識產權方面有商標信息17條，專利信息11條，此外企業還擁有行政許可3個。

本文源自：金融界

作者：情報員