【ZiDongHua 之“方案應(yīng)用場(chǎng)”收錄關(guān)鍵詞： 華銳技術(shù) 數(shù)據(jù)庫(kù) 高速行情服務(wù)平臺(tái)】
　　
　　行情查詢(xún)從50分鐘→僅17秒：TDengine助力華銳D5平臺(tái)查詢(xún)百倍提速
　　
　　小T導(dǎo)讀
　　
　　在金融市場(chǎng)飛速發(fā)展的當(dāng)下，行情數(shù)據(jù)的處理與分析已成為金融機(jī)構(gòu)高效決策的關(guān)鍵支撐。#華銳技術(shù) 推出了華銳新一代歷史行情中心——D5 平臺(tái)，全面支持信創(chuàng)環(huán)境下的時(shí)序型歷史行情數(shù)據(jù)庫(kù)，具備海量數(shù)據(jù)存儲(chǔ)能力，顯著提升數(shù)據(jù)提取效率。相比傳統(tǒng)方案，歷史行情數(shù)據(jù)查詢(xún)性能實(shí)現(xiàn)數(shù)倍提升。本文將深入解析 #TDengine 在 D5 平臺(tái)中的應(yīng)用實(shí)踐，展示其在數(shù)據(jù)建模、性能優(yōu)化、成本控制、運(yùn)維簡(jiǎn)化等方面帶來(lái)的核心優(yōu)勢(shì)。
　　
　　作為分布式低時(shí)延技術(shù)的引領(lǐng)者，華銳技術(shù)致力于為金融機(jī)構(gòu)提供高性能行情解決方案。在傳統(tǒng)的行情處理中，傳統(tǒng)數(shù)據(jù)庫(kù)面臨著數(shù)據(jù)量大、處理效率低、存儲(chǔ)成本高等諸多挑戰(zhàn)。面對(duì)日益增長(zhǎng)的市場(chǎng)數(shù)據(jù)，金融機(jī)構(gòu)亟需一種具備高并發(fā)處理、高可擴(kuò)展性和低運(yùn)維成本的新一代行情數(shù)據(jù)庫(kù)，以應(yīng)對(duì)更嚴(yán)苛的數(shù)據(jù)挑戰(zhàn)。
 
　　
　　TDengine 的落地實(shí)踐
　　
　　在 D5 平臺(tái)中，時(shí)序數(shù)據(jù)庫(kù) TDengine 作為歷史行情數(shù)據(jù)庫(kù) HDB 的核心組件，與行情持久化適配器 DPS、歷史行情服務(wù) HQS 等模塊深度協(xié)同。憑借 TDengine 的產(chǎn)品優(yōu)勢(shì)，D5 平臺(tái)顯著提升了客戶(hù)在歷史行情數(shù)據(jù)獲取方面的體驗(yàn)，有力支撐了歷史查詢(xún)、行情回放、證券信息檢索等關(guān)鍵服務(wù)。
　　
　　平臺(tái)架構(gòu)如下圖所示：
 
　　
　　歷史行情建模
　　
　　D5 平臺(tái)的歷史行情數(shù)據(jù)覆蓋了滬深交易所、中金所、大商所、鄭商所、上期所、上海能源所、北交所、港交所、外匯交易中心本幣市場(chǎng)等主要交易場(chǎng)所，涵蓋現(xiàn)貨、固收債券、基金、衍生品等多種品類(lèi)，實(shí)現(xiàn)對(duì)國(guó)內(nèi)主要交易市場(chǎng)和品種的全行情支持。這類(lèi)數(shù)據(jù)組織結(jié)構(gòu)復(fù)雜，若采用傳統(tǒng)關(guān)系型建模方式，管理難度高、維護(hù)成本大。
　　
　　基于 TDengine“一個(gè)設(shè)備一張表”的建模理念，D5 平臺(tái)在構(gòu)建歷史行情數(shù)據(jù)模型時(shí)，按證券市場(chǎng)和證券代碼進(jìn)行分類(lèi)，將每支證券簡(jiǎn)化為一張子表，實(shí)現(xiàn)對(duì)全市場(chǎng)各類(lèi)證券的統(tǒng)一管理和高效存儲(chǔ)，大幅降低了數(shù)據(jù)建模和運(yùn)維復(fù)雜度，同時(shí)顯著提升查詢(xún)性能。
　　
　　如圖所示，平臺(tái)將證券市場(chǎng)和證券代碼抽象為 TAG，在一張超級(jí)表下統(tǒng)一管理所有市場(chǎng)的 K 線(xiàn)數(shù)據(jù)。每支證券作為子表，記錄其在每個(gè)時(shí)點(diǎn)的開(kāi)盤(pán)價(jià)、最高價(jià)、收盤(pán)價(jià)、成交量、成交額等關(guān)鍵指標(biāo)。
 
　　
　　借助 TDengine 的時(shí)序數(shù)據(jù)特性，平臺(tái)可通過(guò) TAG 標(biāo)簽組織管理不同市場(chǎng)和品種的數(shù)據(jù)，同時(shí)通過(guò)數(shù)據(jù)分區(qū)分片機(jī)制，實(shí)現(xiàn)按市場(chǎng)、品種、證券維度的高效檢索。
　　
　　從這一機(jī)制出發(fā)，平臺(tái)按不同 K 線(xiàn)周期（1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年）分別建立超級(jí)表，覆蓋各類(lèi)時(shí)間粒度的查詢(xún)需求，從而實(shí)現(xiàn)全市場(chǎng)的 K 線(xiàn)極速查詢(xún)。
　　
　　納秒級(jí)大規(guī)模數(shù)據(jù)存儲(chǔ)與檢索
　　
　　以 Level-2 行情數(shù)據(jù)為例，D5 平臺(tái)借助 TDengine 強(qiáng)大的存儲(chǔ)與計(jì)算能力，構(gòu)建了納秒級(jí)快照超級(jí)表，用于存儲(chǔ)全市場(chǎng)行情數(shù)據(jù)，單表數(shù)據(jù)量超百億條。
　　
　　在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中，查詢(xún)一天滬深全品種的歷史快照數(shù)據(jù)往往需要長(zhǎng)達(dá) 50 分鐘；而基于 TDengine 解決方案，最快僅需 17 秒即可完成同等查詢(xún)，效率提升超過(guò)百倍。
　　
　　憑借極高的壓縮比和卓越的查詢(xún)性能，TDengine 顯著提升了歷史行情服務(wù)的存儲(chǔ)和訪(fǎng)問(wèn)效率，為投研人員提供了更快速、更便捷的數(shù)據(jù)支持，加速策略開(kāi)發(fā)與決策過(guò)程。
　　
　　超大數(shù)據(jù)量導(dǎo)入
　　
　　在項(xiàng)目落地過(guò)程中，華銳技術(shù)團(tuán)隊(duì)也曾面臨挑戰(zhàn)。例如，項(xiàng)目初期在進(jìn)行歷史數(shù)據(jù)遷移時(shí)，由于數(shù)據(jù)量大且格式復(fù)雜，使用 taosdump 命令導(dǎo)入 CSV 格式的歷史數(shù)據(jù)時(shí)出現(xiàn)了部分?jǐn)?shù)據(jù)導(dǎo)入速度較慢的問(wèn)題。通過(guò)與 TDengine 開(kāi)發(fā)團(tuán)隊(duì)緊密協(xié)作，我們對(duì)數(shù)據(jù)格式進(jìn)行了優(yōu)化調(diào)整，并完善了數(shù)據(jù)質(zhì)檢與回補(bǔ)機(jī)制，在保證導(dǎo)入性能的基礎(chǔ)上，也確保了數(shù)據(jù)的完整性和準(zhǔn)確性。
　　
　　成本優(yōu)勢(shì)
　　
　　在資源成本方面，得益于 TDengine 的架構(gòu)優(yōu)勢(shì)、高壓縮比和高效的資源利用能力，我們存儲(chǔ) 10 年規(guī)模的歷史數(shù)據(jù)，服務(wù)器數(shù)量大幅減少，硬件采購(gòu)與運(yùn)維成本也大幅降低。同時(shí)，TDengine 的簡(jiǎn)單易用性也降低了開(kāi)發(fā)和運(yùn)維的難度，進(jìn)一步提升了團(tuán)隊(duì)的工作效率。
　　
　　下一步規(guī)劃
　　
　　華銳技術(shù)計(jì)劃進(jìn)一步拓展 TDengine 在更多業(yè)務(wù)場(chǎng)景中的應(yīng)用，尤其是在構(gòu)建全棧信創(chuàng)體系、全面支持國(guó)產(chǎn)化方面發(fā)力。近年來(lái)，隨著國(guó)家對(duì)網(wǎng)絡(luò)與信息安全的高度重視，信創(chuàng)產(chǎn)業(yè)已上升為國(guó)家戰(zhàn)略重點(diǎn)，信息化發(fā)展環(huán)境也在持續(xù)演進(jìn)。利用 TDengine 的高性能優(yōu)勢(shì)與國(guó)產(chǎn)化能力，華銳技術(shù)將為客戶(hù)提供更加完備的信創(chuàng)解決方案。同時(shí)，公司也在積極探索 TDengine 在金融其他領(lǐng)域的應(yīng)用潛力，推進(jìn)復(fù)雜衍生指標(biāo)計(jì)算、多維度數(shù)據(jù)挖掘等行情分析功能的開(kāi)發(fā)，持續(xù)豐富產(chǎn)品能力，助力客戶(hù)實(shí)現(xiàn)更全面的數(shù)據(jù)價(jià)值挖掘。
　　
　　關(guān)于華銳技術(shù)
　　
　　華銳技術(shù)創(chuàng)立于 2016 年，擁有世界領(lǐng)先的分布式低時(shí)延技術(shù)，是中國(guó)領(lǐng)先的分布式基礎(chǔ)技術(shù)公司和資本市場(chǎng)核心業(yè)務(wù)平臺(tái)提供商。公司總部位于深圳，在北京、上海、長(zhǎng)沙設(shè)有子公司，業(yè)務(wù)網(wǎng)絡(luò)覆蓋全國(guó)。
　　
　　華銳 AMD 行情產(chǎn)品部是華銳眾多產(chǎn)線(xiàn)之一，致力于打造公司級(jí)新一代高速行情服務(wù)平臺(tái)，提供行情極速分發(fā)、多數(shù)據(jù)中心行情傳輸、實(shí)時(shí)行情加工、歷史行情服務(wù)等綜合解決方案。平臺(tái)具備高性?xún)r(jià)比，能夠滿(mǎn)足公司各類(lèi)系統(tǒng)對(duì)行情數(shù)據(jù)的不同需求，現(xiàn)已在多家頭部券商、銀行理財(cái)子公司及私募基金穩(wěn)定運(yùn)行多年，持續(xù)為各類(lèi)行情消費(fèi)系統(tǒng)提供超高可用、超低時(shí)延的優(yōu)質(zhì)行情服務(wù)。