騰訊雲原生數據庫內核技術再獲創新突破

今日獲悉，騰訊雲數據庫又有兩項數據庫內核技術的最新研究成果分別入選了國際數據庫頂級會議SIGMOD和ICDE的收錄論文。研究成果頻獲全球頂會認可，意味着騰訊雲數據庫在底層核心基礎性技術研究方面持續獲得創新突破，在全球範圍內正逐漸佔據領先位置。

近年來，隨着非易失存儲(NVM)硬件的普及，NVM所具有的高帶寬、低延遲、按字節尋址與掉電不丟失數據等獨特性質，對存儲、數據庫、操作系統等基礎軟件架構的設計影響愈發重要。騰訊雲數據庫和存儲等團隊聯合學術界以及工業界相關合作團隊，積極探索NVM在數據庫內核存儲引擎中的應用與研究。

其中騰訊雲原生數據庫內核團隊最新研究成果入選了2021年SIGMOD 研究類長文，題目爲“Spitfire:A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory”。

在緩存開始向多層演進的技術趨勢下，數據庫系統中多級緩存管理成爲一個重要的研究問題。論文在DRAM-NVM-SSD存儲架構下針對多級緩存管理問題進行了研究，首次提出了多級緩衝管理器Spitfire的概念。 Spitfire提出了一種新穎、低代價且有效的熱數據識別方法，將熱數據頁面保持在DRAM緩存中，同時將暖數據保存在NVM中，提升了系統整體性能與性價比。

SIGMOD數據管理國際會議是數據庫領域具有最高學術地位的國際性學術會議，位列數據庫方向頂級會議之首。

SIGMOD評審委員會對本文給到了極高的評價：隨着商用NVM硬件的出現，數據庫如何管理包含NVM的多層級內存緩衝區成爲了重要的研究課題。文中闡述的Spitfire是一種在包含DRAM和NVM的數據庫系統中管理緩衝區的創新方法。此外，文章還進行了包含NVM硬件的數據庫系統架構性價比方面的研究和建議，這些均是此前的研究工作尚未充分涉及到的。該項研究成果與佐治亞理工學院Joy Arulraj教授等作者共同完成，其中Joy Arulraj教授是NVM數據庫研究領域的知名學者。

這項成果目前在TDSQL-C(原CynosDB)得到了驗證與實現。TDSQL-C(原CynosDB)是騰訊自研雲原生關係型數據庫，基於全新計算存儲分離的分佈式數據庫架構，融合傳統數據庫和雲計算技術優勢，100%兼容MySQL和PostgreSQL，極致計算能力突破千核，存儲容量達PB級別，性能和安全性媲美商用數據庫，支持集羣和Serverless靈活彈性部署，克服傳統架構下的存儲量受限、擴展難、主從延遲高等缺點，充分釋放領先技術的成本效益，最大可節省90%的成本，智能管理和診斷，專爲雲而生。目前廣泛覆蓋遊戲、電商、移動互聯網、雲開發等泛互聯網業務場景，助力新零售、教育、SaaS、廣告等超過4000家行業客戶進行數字化升級。

這也是騰訊雲數據庫的相關研究成果再度登上SIGMOD會議。此前騰訊雲原生數據庫團隊就曾與華中科技大學合作，在SIGMOD19上發佈論文 《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》，實現了基於AI技術的數據庫性能調優結果首次全面超越數據庫專家。

另外，騰訊雲原生數據庫團隊與中國科學技術大學合作的最新研究成果也入選了數據庫頂級會議ICDE2021(ICED與SIGMOD、VLDB並稱爲數據庫三大頂級會議)。入選論文題目爲“TLBtree：A Read/Write-Optimized Tree Index for Non-Volatile Memory”。此項研究在非易失內存上創新提出了一種讀寫兼優的數據結構，作爲數據庫內核存儲引擎中的索引結構，其讀寫性能大幅超越前沿的同等索引結構。

ICDE評審委員會認爲，該論文關於組合多種數據結構實現讀寫兼優NVM索引結構設計思路非常新穎，這一概念具有廣闊的前景。同時，文章對該設計進行了清晰而明確的表述，相應的實驗結果也得到了充分的驗證，讀者可以從文中獲取到許多有價值的信息。

近年來，騰訊雲加大了基礎架構領域的前沿技術研究，通過與頂級高校和研究機構“產學研”一體的合作方式，將技術研究成果轉換爲應用落地，持續輸出產品和業務場景。華中科技大學-騰訊公司智能雲存儲技術聯合研究中心是代表之一。該聯合研究中心於2018年成立，以建設一流的智能雲存儲技術創新和人才培養平臺爲目標，在數據庫自治理、分佈式存儲技術、高性能存儲引擎、業務負載預測等方面開展技術的聯合攻關，突破超大規模IaaS服務的諸多技術難題，推動智能數據庫和存儲技術的科技創新及技術應用落地。截至目前，基於聯合實驗室平臺，雙方已經在SIGMOD、DAC、USENIX AIC等國際頂會聯合發表21篇高質量論文，聯合輸出創新技術專利14餘項。

作爲國內數據庫行業先行者，騰訊雲深耕數據庫領域十餘年，在開源數據庫、自研國產數據庫以及雲原生數據庫等領域都在砥礪前行。不久前，騰訊雲將原有的CynosDB、TDSQL、TBase三大產品線將統一升級爲“騰訊雲企業級分佈式數據庫TDSQL”，涵蓋雲原生、分佈式、分析型等多引擎融合的完整數據庫產品體系。在全新數據庫品牌體系下，騰訊雲原生數據庫將進一步深度融合數據庫技術和雲計算技術，充分釋放領先技術的紅利，助力客戶業務發展。