PB級復(fù)雜信息自動化處理 同盾指標(biāo)計算平臺——極溯
復(fù)雜信息、海量數(shù)據(jù)向我們展示了聯(lián)系的復(fù)雜性和多樣性,碎片化的字符之間相互連結(jié)、影響、作用和轉(zhuǎn)化,能衍生出各種維度的數(shù)據(jù)指標(biāo),最終引導(dǎo)我們探究出隱藏在數(shù)字背后事物的本質(zhì)和價值。

隨著數(shù)字時代的發(fā)展,金融領(lǐng)域高并發(fā)、大數(shù)據(jù)、實時反饋的需求給智能決策系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
傳統(tǒng)實時指標(biāo)計算的困境——快、準(zhǔn)、穩(wěn)不能兼得
每天上千萬筆交易量、千億的指標(biāo)計算量、PB級數(shù)據(jù)規(guī)模, 在這些天文數(shù)字面前,留給系統(tǒng)的響應(yīng)時間只有幾毫秒。
如何在最快時間計算模型的結(jié)果,反饋精準(zhǔn)的結(jié)果,并且在整個過程中保持系統(tǒng)的絕對穩(wěn)定,長久以來這是一個近乎無解的問題。
多數(shù)企業(yè)采取了舍卒保車的模式,犧牲一部分性能去集中滿足一個需求。比如很多企業(yè)追求處理的速度,在準(zhǔn)確性上大打折扣;或者一味滿足準(zhǔn)確性在高并發(fā)處理能力上又束手無策;或者這兩者都做到很好,卻又無法保證系統(tǒng)的穩(wěn)定。
在破題之前先查找一下病因。傳統(tǒng)的實時指標(biāo)計算方法底層邏輯一般是采用實時采集、異步計算的方式。換言之,就是采集、計算、查詢?nèi)齻€環(huán)節(jié)是異步并行的,三者各司其職,無法有效協(xié)同。盡管這樣的設(shè)計,可以從源頭解決瞬時大數(shù)據(jù)吞吐量的問題,讓性能大幅提升。但這種設(shè)計理念簡直是“準(zhǔn)確性”的噩夢,異步計算無法保證實時數(shù)據(jù)已經(jīng)被計算,異步查詢無法保證當(dāng)前的計算結(jié)果實時被查獲。同時,隨著大數(shù)據(jù)的不斷累積,計算能力會逐漸變得遲緩。尤其在金融機構(gòu)復(fù)雜規(guī)則的面前, TPS不穩(wěn)定幾乎是難以避免。
準(zhǔn)確性是實時指標(biāo)計算的生命線,沒有了準(zhǔn)確性無論吞吐量的數(shù)據(jù)多么亮眼,都是毫無意義的。
嚴(yán)格來講,快、準(zhǔn)、穩(wěn)三者其中一項為零,最終結(jié)果都是零,那么三者真的就無法兼得了嗎?
同盾指標(biāo)計算平臺——極溯接下來再來看這一組數(shù)據(jù)
完成一筆交易全鏈路分析不超過200毫秒,日均可支撐線上幾百億數(shù)據(jù)量級的決策研判,單日指標(biāo)計算處理量可達(dá)1200億,每一秒可幫助互聯(lián)網(wǎng)和金融機構(gòu)攔截超3000起欺詐事件,滿足業(yè)務(wù)每天1.5-2億次的調(diào)用需求。
在500+個指標(biāo)的場景下,計算準(zhǔn)確度達(dá)99.99%以上,平均響應(yīng)時間1ms以內(nèi),TPS超60萬。
將這些數(shù)字串聯(lián)在一起的,是一臺低延遲、可擴展、高可靠的處理引擎,同盾科技自研的大數(shù)據(jù)極速處理平臺——“極溯”。極溯,取自極往知來,追本溯源之意。
同盾極溯是如何實現(xiàn)了快、準(zhǔn)、穩(wěn)的統(tǒng)一?
快:PB級數(shù)據(jù)毫秒處理能力極溯創(chuàng)造性的將采集、計算與查詢同步在一次原子操作中,通過可計算緩存、分時處理引擎等技術(shù)使采集到的數(shù)據(jù)到達(dá)即算出、算出即查得,用可計算緩存和特定的數(shù)據(jù)結(jié)構(gòu),結(jié)合具體業(yè)務(wù)場景,按照時間窗口分片的實時指標(biāo)計算方式,從而在保證吞吐量的基礎(chǔ)上得到較高的準(zhǔn)確率。
極溯產(chǎn)品集群部署支持超高并發(fā)量的請求,每秒可處理高達(dá)百萬級的計算任務(wù),在處理TB級甚至是PB級的數(shù)據(jù)規(guī)模都能保證延時達(dá)到毫秒級別。毫秒級實時數(shù)據(jù)分析的能力,能夠輔助企業(yè)做出更有價值的實時決策。
準(zhǔn):全流程打通大數(shù)據(jù)平臺
極溯實現(xiàn)了與大數(shù)據(jù)平臺的深度結(jié)合,與傳統(tǒng)模式指標(biāo)計算相比,可實時回溯歷史數(shù)據(jù)計算指標(biāo)值,在配置指標(biāo)的過程中已在大數(shù)據(jù)平臺創(chuàng)建了離線任務(wù),當(dāng)需要使用時便可實時生效。不僅有效利用歷史數(shù)據(jù),在深度結(jié)合大數(shù)據(jù)平臺后,還能喚醒鋪底數(shù)據(jù),新增的指標(biāo)去計算沉睡的數(shù)據(jù),賦予數(shù)據(jù)更大的意義,更加接近真實環(huán)境。
同盾極溯能幫助企業(yè)構(gòu)建數(shù)據(jù)完善的生態(tài)湖及標(biāo)簽體系,全流程的大數(shù)據(jù)風(fēng)控能力,從底層設(shè)計就把客戶的各個流程的業(yè)務(wù)需求都考慮在內(nèi)。并以各類工具、技術(shù)、模型為底層支撐,輔以分析咨詢,繼而搭建自己的智能風(fēng)控AI模型框架。
穩(wěn):確保7*24持續(xù)運行
極溯支持生產(chǎn)中心雙活部署,同時也支持遠(yuǎn)程異地多活部署。數(shù)據(jù)前置、決策分析、模型運行、管理控制臺、數(shù)據(jù)集市、離線測試等各個產(chǎn)品組件均可實現(xiàn)集群式部署,可確保全年7*24小時無間斷的持續(xù)運行。
同時系統(tǒng)具備高拓展性,具有橫向及縱向擴展能力,支持負(fù)載均衡模式、分容器化、布式、集中式等多種部署方案,能夠根據(jù)業(yè)務(wù)需要以較為靈活的方式實現(xiàn)對性能的擴展。
更懂客戶:繼承同盾一萬家客戶場景理解能力
同盾累計服務(wù)超過一萬家企業(yè)客戶,涵蓋22大類行業(yè)、118類細(xì)分領(lǐng)域客戶,涉及到注冊、登錄、交易、支付、授信等100多種不同的場景。
強大的場景理解能力也都被極溯完整的繼承下來,極溯將抽象的業(yè)務(wù)模型提煉成后臺的指標(biāo)模版,使得指標(biāo)可配置化,使得極溯能提供私人訂制般的解決方案。
結(jié)合數(shù)據(jù)計算、持久化、緩存三合一機制與簡單高效的架構(gòu),可為企業(yè)節(jié)省大量設(shè)備與部署成本。大量規(guī)則一鍵上線,快速調(diào)整,規(guī)則指標(biāo)均支持熱部署實時生效,頁面化配置方便企業(yè)通過簡單的學(xué)習(xí)即可快速上手、靈活應(yīng)用。
極溯應(yīng)用廣泛,幾乎沒有場景的局限,可以滿足銀行、支付、保險、信托、醫(yī)療、交通、通訊、物流、軍工等需要數(shù)據(jù)分析實時計算場景。
此前,在與國內(nèi)知名金融機構(gòu)的合作過程中,極溯展現(xiàn)出強大的應(yīng)用計算能力。
以國內(nèi)某大型支付公司為例
該企業(yè)日交易量超千萬筆,交易欺詐風(fēng)險較高,傳統(tǒng)策略指標(biāo)加工方式無法滿足日均千萬筆處理,交易風(fēng)險隱患較大。
為實時攔截可疑風(fēng)險,降低損失。該支付公司使用同盾極溯平臺對交易數(shù)據(jù)進行實時加工計算輸出指標(biāo)策略結(jié)果,實現(xiàn)交易場景風(fēng)險全覆蓋。最終完美實現(xiàn)了千萬級的數(shù)據(jù)實時計算及指標(biāo)加工,且系統(tǒng)響應(yīng)時間穩(wěn)定保持50ms以內(nèi),大幅降低支付風(fēng)險。
目前同盾已經(jīng)成功打造了以實時指標(biāo)計算平臺——極溯、決策引擎——天策、知識圖譜、機器學(xué)習(xí)平臺等技術(shù)為核心代表的產(chǎn)品集群,這將是同盾實現(xiàn)科技賦能的重要基礎(chǔ)。
未來極溯將會把同盾近百種產(chǎn)品鏈路悉數(shù)打開,將實時計算和離線計算打通,成為一個全體系的指標(biāo)平臺,打造整個PaaS層的智能生態(tài)。
未來同盾會繼續(xù)豐富產(chǎn)品密度,力爭協(xié)助金融機構(gòu)打造一個事前預(yù)警、事中監(jiān)控和事后分析的閉環(huán),通過主動預(yù)防,多維度場景監(jiān)控,搭配立體化的技術(shù)工具和智能風(fēng)險管理平臺,形成從線上實時決策分析、離線模型訓(xùn)練部署、數(shù)據(jù)存儲管理到智能模型應(yīng)用的全面配套支持,實現(xiàn)“端到云”的智能風(fēng)控及分析決策全流程解決方案。

隨著數(shù)字時代的發(fā)展,金融領(lǐng)域高并發(fā)、大數(shù)據(jù)、實時反饋的需求給智能決策系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
傳統(tǒng)實時指標(biāo)計算的困境——快、準(zhǔn)、穩(wěn)不能兼得
每天上千萬筆交易量、千億的指標(biāo)計算量、PB級數(shù)據(jù)規(guī)模, 在這些天文數(shù)字面前,留給系統(tǒng)的響應(yīng)時間只有幾毫秒。
如何在最快時間計算模型的結(jié)果,反饋精準(zhǔn)的結(jié)果,并且在整個過程中保持系統(tǒng)的絕對穩(wěn)定,長久以來這是一個近乎無解的問題。
多數(shù)企業(yè)采取了舍卒保車的模式,犧牲一部分性能去集中滿足一個需求。比如很多企業(yè)追求處理的速度,在準(zhǔn)確性上大打折扣;或者一味滿足準(zhǔn)確性在高并發(fā)處理能力上又束手無策;或者這兩者都做到很好,卻又無法保證系統(tǒng)的穩(wěn)定。
在破題之前先查找一下病因。傳統(tǒng)的實時指標(biāo)計算方法底層邏輯一般是采用實時采集、異步計算的方式。換言之,就是采集、計算、查詢?nèi)齻€環(huán)節(jié)是異步并行的,三者各司其職,無法有效協(xié)同。盡管這樣的設(shè)計,可以從源頭解決瞬時大數(shù)據(jù)吞吐量的問題,讓性能大幅提升。但這種設(shè)計理念簡直是“準(zhǔn)確性”的噩夢,異步計算無法保證實時數(shù)據(jù)已經(jīng)被計算,異步查詢無法保證當(dāng)前的計算結(jié)果實時被查獲。同時,隨著大數(shù)據(jù)的不斷累積,計算能力會逐漸變得遲緩。尤其在金融機構(gòu)復(fù)雜規(guī)則的面前, TPS不穩(wěn)定幾乎是難以避免。
準(zhǔn)確性是實時指標(biāo)計算的生命線,沒有了準(zhǔn)確性無論吞吐量的數(shù)據(jù)多么亮眼,都是毫無意義的。
嚴(yán)格來講,快、準(zhǔn)、穩(wěn)三者其中一項為零,最終結(jié)果都是零,那么三者真的就無法兼得了嗎?
同盾指標(biāo)計算平臺——極溯接下來再來看這一組數(shù)據(jù)
完成一筆交易全鏈路分析不超過200毫秒,日均可支撐線上幾百億數(shù)據(jù)量級的決策研判,單日指標(biāo)計算處理量可達(dá)1200億,每一秒可幫助互聯(lián)網(wǎng)和金融機構(gòu)攔截超3000起欺詐事件,滿足業(yè)務(wù)每天1.5-2億次的調(diào)用需求。
在500+個指標(biāo)的場景下,計算準(zhǔn)確度達(dá)99.99%以上,平均響應(yīng)時間1ms以內(nèi),TPS超60萬。
將這些數(shù)字串聯(lián)在一起的,是一臺低延遲、可擴展、高可靠的處理引擎,同盾科技自研的大數(shù)據(jù)極速處理平臺——“極溯”。極溯,取自極往知來,追本溯源之意。
同盾極溯是如何實現(xiàn)了快、準(zhǔn)、穩(wěn)的統(tǒng)一?
快:PB級數(shù)據(jù)毫秒處理能力極溯創(chuàng)造性的將采集、計算與查詢同步在一次原子操作中,通過可計算緩存、分時處理引擎等技術(shù)使采集到的數(shù)據(jù)到達(dá)即算出、算出即查得,用可計算緩存和特定的數(shù)據(jù)結(jié)構(gòu),結(jié)合具體業(yè)務(wù)場景,按照時間窗口分片的實時指標(biāo)計算方式,從而在保證吞吐量的基礎(chǔ)上得到較高的準(zhǔn)確率。
極溯產(chǎn)品集群部署支持超高并發(fā)量的請求,每秒可處理高達(dá)百萬級的計算任務(wù),在處理TB級甚至是PB級的數(shù)據(jù)規(guī)模都能保證延時達(dá)到毫秒級別。毫秒級實時數(shù)據(jù)分析的能力,能夠輔助企業(yè)做出更有價值的實時決策。
準(zhǔn):全流程打通大數(shù)據(jù)平臺
極溯實現(xiàn)了與大數(shù)據(jù)平臺的深度結(jié)合,與傳統(tǒng)模式指標(biāo)計算相比,可實時回溯歷史數(shù)據(jù)計算指標(biāo)值,在配置指標(biāo)的過程中已在大數(shù)據(jù)平臺創(chuàng)建了離線任務(wù),當(dāng)需要使用時便可實時生效。不僅有效利用歷史數(shù)據(jù),在深度結(jié)合大數(shù)據(jù)平臺后,還能喚醒鋪底數(shù)據(jù),新增的指標(biāo)去計算沉睡的數(shù)據(jù),賦予數(shù)據(jù)更大的意義,更加接近真實環(huán)境。
同盾極溯能幫助企業(yè)構(gòu)建數(shù)據(jù)完善的生態(tài)湖及標(biāo)簽體系,全流程的大數(shù)據(jù)風(fēng)控能力,從底層設(shè)計就把客戶的各個流程的業(yè)務(wù)需求都考慮在內(nèi)。并以各類工具、技術(shù)、模型為底層支撐,輔以分析咨詢,繼而搭建自己的智能風(fēng)控AI模型框架。
穩(wěn):確保7*24持續(xù)運行
極溯支持生產(chǎn)中心雙活部署,同時也支持遠(yuǎn)程異地多活部署。數(shù)據(jù)前置、決策分析、模型運行、管理控制臺、數(shù)據(jù)集市、離線測試等各個產(chǎn)品組件均可實現(xiàn)集群式部署,可確保全年7*24小時無間斷的持續(xù)運行。
同時系統(tǒng)具備高拓展性,具有橫向及縱向擴展能力,支持負(fù)載均衡模式、分容器化、布式、集中式等多種部署方案,能夠根據(jù)業(yè)務(wù)需要以較為靈活的方式實現(xiàn)對性能的擴展。
更懂客戶:繼承同盾一萬家客戶場景理解能力
同盾累計服務(wù)超過一萬家企業(yè)客戶,涵蓋22大類行業(yè)、118類細(xì)分領(lǐng)域客戶,涉及到注冊、登錄、交易、支付、授信等100多種不同的場景。
強大的場景理解能力也都被極溯完整的繼承下來,極溯將抽象的業(yè)務(wù)模型提煉成后臺的指標(biāo)模版,使得指標(biāo)可配置化,使得極溯能提供私人訂制般的解決方案。
結(jié)合數(shù)據(jù)計算、持久化、緩存三合一機制與簡單高效的架構(gòu),可為企業(yè)節(jié)省大量設(shè)備與部署成本。大量規(guī)則一鍵上線,快速調(diào)整,規(guī)則指標(biāo)均支持熱部署實時生效,頁面化配置方便企業(yè)通過簡單的學(xué)習(xí)即可快速上手、靈活應(yīng)用。
極溯應(yīng)用廣泛,幾乎沒有場景的局限,可以滿足銀行、支付、保險、信托、醫(yī)療、交通、通訊、物流、軍工等需要數(shù)據(jù)分析實時計算場景。
此前,在與國內(nèi)知名金融機構(gòu)的合作過程中,極溯展現(xiàn)出強大的應(yīng)用計算能力。
以國內(nèi)某大型支付公司為例
該企業(yè)日交易量超千萬筆,交易欺詐風(fēng)險較高,傳統(tǒng)策略指標(biāo)加工方式無法滿足日均千萬筆處理,交易風(fēng)險隱患較大。
為實時攔截可疑風(fēng)險,降低損失。該支付公司使用同盾極溯平臺對交易數(shù)據(jù)進行實時加工計算輸出指標(biāo)策略結(jié)果,實現(xiàn)交易場景風(fēng)險全覆蓋。最終完美實現(xiàn)了千萬級的數(shù)據(jù)實時計算及指標(biāo)加工,且系統(tǒng)響應(yīng)時間穩(wěn)定保持50ms以內(nèi),大幅降低支付風(fēng)險。
目前同盾已經(jīng)成功打造了以實時指標(biāo)計算平臺——極溯、決策引擎——天策、知識圖譜、機器學(xué)習(xí)平臺等技術(shù)為核心代表的產(chǎn)品集群,這將是同盾實現(xiàn)科技賦能的重要基礎(chǔ)。
未來極溯將會把同盾近百種產(chǎn)品鏈路悉數(shù)打開,將實時計算和離線計算打通,成為一個全體系的指標(biāo)平臺,打造整個PaaS層的智能生態(tài)。
未來同盾會繼續(xù)豐富產(chǎn)品密度,力爭協(xié)助金融機構(gòu)打造一個事前預(yù)警、事中監(jiān)控和事后分析的閉環(huán),通過主動預(yù)防,多維度場景監(jiān)控,搭配立體化的技術(shù)工具和智能風(fēng)險管理平臺,形成從線上實時決策分析、離線模型訓(xùn)練部署、數(shù)據(jù)存儲管理到智能模型應(yīng)用的全面配套支持,實現(xiàn)“端到云”的智能風(fēng)控及分析決策全流程解決方案。
我要收藏
點個贊吧
轉(zhuǎn)發(fā)分享
評論排行