PB級(jí)復(fù)雜信息自動(dòng)化處理 同盾指標(biāo)計(jì)算平臺(tái)——極溯
復(fù)雜信息、海量數(shù)據(jù)向我們展示了聯(lián)系的復(fù)雜性和多樣性,碎片化的字符之間相互連結(jié)、影響、作用和轉(zhuǎn)化,能衍生出各種維度的數(shù)據(jù)指標(biāo),最終引導(dǎo)我們探究出隱藏在數(shù)字背后事物的本質(zhì)和價(jià)值。

隨著數(shù)字時(shí)代的發(fā)展,金融領(lǐng)域高并發(fā)、大數(shù)據(jù)、實(shí)時(shí)反饋的需求給智能決策系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
傳統(tǒng)實(shí)時(shí)指標(biāo)計(jì)算的困境——快、準(zhǔn)、穩(wěn)不能兼得
每天上千萬(wàn)筆交易量、千億的指標(biāo)計(jì)算量、PB級(jí)數(shù)據(jù)規(guī)模, 在這些天文數(shù)字面前,留給系統(tǒng)的響應(yīng)時(shí)間只有幾毫秒。
如何在最快時(shí)間計(jì)算模型的結(jié)果,反饋精準(zhǔn)的結(jié)果,并且在整個(gè)過(guò)程中保持系統(tǒng)的絕對(duì)穩(wěn)定,長(zhǎng)久以來(lái)這是一個(gè)近乎無(wú)解的問(wèn)題。
多數(shù)企業(yè)采取了舍卒保車(chē)的模式,犧牲一部分性能去集中滿(mǎn)足一個(gè)需求。比如很多企業(yè)追求處理的速度,在準(zhǔn)確性上大打折扣;或者一味滿(mǎn)足準(zhǔn)確性在高并發(fā)處理能力上又束手無(wú)策;或者這兩者都做到很好,卻又無(wú)法保證系統(tǒng)的穩(wěn)定。
在破題之前先查找一下病因。傳統(tǒng)的實(shí)時(shí)指標(biāo)計(jì)算方法底層邏輯一般是采用實(shí)時(shí)采集、異步計(jì)算的方式。換言之,就是采集、計(jì)算、查詢(xún)?nèi)齻€(gè)環(huán)節(jié)是異步并行的,三者各司其職,無(wú)法有效協(xié)同。盡管這樣的設(shè)計(jì),可以從源頭解決瞬時(shí)大數(shù)據(jù)吞吐量的問(wèn)題,讓性能大幅提升。但這種設(shè)計(jì)理念簡(jiǎn)直是“準(zhǔn)確性”的噩夢(mèng),異步計(jì)算無(wú)法保證實(shí)時(shí)數(shù)據(jù)已經(jīng)被計(jì)算,異步查詢(xún)無(wú)法保證當(dāng)前的計(jì)算結(jié)果實(shí)時(shí)被查獲。同時(shí),隨著大數(shù)據(jù)的不斷累積,計(jì)算能力會(huì)逐漸變得遲緩。尤其在金融機(jī)構(gòu)復(fù)雜規(guī)則的面前, TPS不穩(wěn)定幾乎是難以避免。
準(zhǔn)確性是實(shí)時(shí)指標(biāo)計(jì)算的生命線(xiàn),沒(méi)有了準(zhǔn)確性無(wú)論吞吐量的數(shù)據(jù)多么亮眼,都是毫無(wú)意義的。
嚴(yán)格來(lái)講,快、準(zhǔn)、穩(wěn)三者其中一項(xiàng)為零,最終結(jié)果都是零,那么三者真的就無(wú)法兼得了嗎?
同盾指標(biāo)計(jì)算平臺(tái)——極溯接下來(lái)再來(lái)看這一組數(shù)據(jù)
完成一筆交易全鏈路分析不超過(guò)200毫秒,日均可支撐線(xiàn)上幾百億數(shù)據(jù)量級(jí)的決策研判,單日指標(biāo)計(jì)算處理量可達(dá)1200億,每一秒可幫助互聯(lián)網(wǎng)和金融機(jī)構(gòu)攔截超3000起欺詐事件,滿(mǎn)足業(yè)務(wù)每天1.5-2億次的調(diào)用需求。
在500+個(gè)指標(biāo)的場(chǎng)景下,計(jì)算準(zhǔn)確度達(dá)99.99%以上,平均響應(yīng)時(shí)間1ms以?xún)?nèi),TPS超60萬(wàn)。
將這些數(shù)字串聯(lián)在一起的,是一臺(tái)低延遲、可擴(kuò)展、高可靠的處理引擎,同盾科技自研的大數(shù)據(jù)極速處理平臺(tái)——“極溯”。極溯,取自極往知來(lái),追本溯源之意。
同盾極溯是如何實(shí)現(xiàn)了快、準(zhǔn)、穩(wěn)的統(tǒng)一?
快:PB級(jí)數(shù)據(jù)毫秒處理能力極溯創(chuàng)造性的將采集、計(jì)算與查詢(xún)同步在一次原子操作中,通過(guò)可計(jì)算緩存、分時(shí)處理引擎等技術(shù)使采集到的數(shù)據(jù)到達(dá)即算出、算出即查得,用可計(jì)算緩存和特定的數(shù)據(jù)結(jié)構(gòu),結(jié)合具體業(yè)務(wù)場(chǎng)景,按照時(shí)間窗口分片的實(shí)時(shí)指標(biāo)計(jì)算方式,從而在保證吞吐量的基礎(chǔ)上得到較高的準(zhǔn)確率。
極溯產(chǎn)品集群部署支持超高并發(fā)量的請(qǐng)求,每秒可處理高達(dá)百萬(wàn)級(jí)的計(jì)算任務(wù),在處理TB級(jí)甚至是PB級(jí)的數(shù)據(jù)規(guī)模都能保證延時(shí)達(dá)到毫秒級(jí)別。毫秒級(jí)實(shí)時(shí)數(shù)據(jù)分析的能力,能夠輔助企業(yè)做出更有價(jià)值的實(shí)時(shí)決策。
準(zhǔn):全流程打通大數(shù)據(jù)平臺(tái)
極溯實(shí)現(xiàn)了與大數(shù)據(jù)平臺(tái)的深度結(jié)合,與傳統(tǒng)模式指標(biāo)計(jì)算相比,可實(shí)時(shí)回溯歷史數(shù)據(jù)計(jì)算指標(biāo)值,在配置指標(biāo)的過(guò)程中已在大數(shù)據(jù)平臺(tái)創(chuàng)建了離線(xiàn)任務(wù),當(dāng)需要使用時(shí)便可實(shí)時(shí)生效。不僅有效利用歷史數(shù)據(jù),在深度結(jié)合大數(shù)據(jù)平臺(tái)后,還能喚醒鋪底數(shù)據(jù),新增的指標(biāo)去計(jì)算沉睡的數(shù)據(jù),賦予數(shù)據(jù)更大的意義,更加接近真實(shí)環(huán)境。
同盾極溯能幫助企業(yè)構(gòu)建數(shù)據(jù)完善的生態(tài)湖及標(biāo)簽體系,全流程的大數(shù)據(jù)風(fēng)控能力,從底層設(shè)計(jì)就把客戶(hù)的各個(gè)流程的業(yè)務(wù)需求都考慮在內(nèi)。并以各類(lèi)工具、技術(shù)、模型為底層支撐,輔以分析咨詢(xún),繼而搭建自己的智能風(fēng)控AI模型框架。
穩(wěn):確保7*24持續(xù)運(yùn)行
極溯支持生產(chǎn)中心雙活部署,同時(shí)也支持遠(yuǎn)程異地多活部署。數(shù)據(jù)前置、決策分析、模型運(yùn)行、管理控制臺(tái)、數(shù)據(jù)集市、離線(xiàn)測(cè)試等各個(gè)產(chǎn)品組件均可實(shí)現(xiàn)集群式部署,可確保全年7*24小時(shí)無(wú)間斷的持續(xù)運(yùn)行。
同時(shí)系統(tǒng)具備高拓展性,具有橫向及縱向擴(kuò)展能力,支持負(fù)載均衡模式、分容器化、布式、集中式等多種部署方案,能夠根據(jù)業(yè)務(wù)需要以較為靈活的方式實(shí)現(xiàn)對(duì)性能的擴(kuò)展。
更懂客戶(hù):繼承同盾一萬(wàn)家客戶(hù)場(chǎng)景理解能力
同盾累計(jì)服務(wù)超過(guò)一萬(wàn)家企業(yè)客戶(hù),涵蓋22大類(lèi)行業(yè)、118類(lèi)細(xì)分領(lǐng)域客戶(hù),涉及到注冊(cè)、登錄、交易、支付、授信等100多種不同的場(chǎng)景。
強(qiáng)大的場(chǎng)景理解能力也都被極溯完整的繼承下來(lái),極溯將抽象的業(yè)務(wù)模型提煉成后臺(tái)的指標(biāo)模版,使得指標(biāo)可配置化,使得極溯能提供私人訂制般的解決方案。
結(jié)合數(shù)據(jù)計(jì)算、持久化、緩存三合一機(jī)制與簡(jiǎn)單高效的架構(gòu),可為企業(yè)節(jié)省大量設(shè)備與部署成本。大量規(guī)則一鍵上線(xiàn),快速調(diào)整,規(guī)則指標(biāo)均支持熱部署實(shí)時(shí)生效,頁(yè)面化配置方便企業(yè)通過(guò)簡(jiǎn)單的學(xué)習(xí)即可快速上手、靈活應(yīng)用。
極溯應(yīng)用廣泛,幾乎沒(méi)有場(chǎng)景的局限,可以滿(mǎn)足銀行、支付、保險(xiǎn)、信托、醫(yī)療、交通、通訊、物流、軍工等需要數(shù)據(jù)分析實(shí)時(shí)計(jì)算場(chǎng)景。
此前,在與國(guó)內(nèi)知名金融機(jī)構(gòu)的合作過(guò)程中,極溯展現(xiàn)出強(qiáng)大的應(yīng)用計(jì)算能力。
以國(guó)內(nèi)某大型支付公司為例
該企業(yè)日交易量超千萬(wàn)筆,交易欺詐風(fēng)險(xiǎn)較高,傳統(tǒng)策略指標(biāo)加工方式無(wú)法滿(mǎn)足日均千萬(wàn)筆處理,交易風(fēng)險(xiǎn)隱患較大。
為實(shí)時(shí)攔截可疑風(fēng)險(xiǎn),降低損失。該支付公司使用同盾極溯平臺(tái)對(duì)交易數(shù)據(jù)進(jìn)行實(shí)時(shí)加工計(jì)算輸出指標(biāo)策略結(jié)果,實(shí)現(xiàn)交易場(chǎng)景風(fēng)險(xiǎn)全覆蓋。最終完美實(shí)現(xiàn)了千萬(wàn)級(jí)的數(shù)據(jù)實(shí)時(shí)計(jì)算及指標(biāo)加工,且系統(tǒng)響應(yīng)時(shí)間穩(wěn)定保持50ms以?xún)?nèi),大幅降低支付風(fēng)險(xiǎn)。
目前同盾已經(jīng)成功打造了以實(shí)時(shí)指標(biāo)計(jì)算平臺(tái)——極溯、決策引擎——天策、知識(shí)圖譜、機(jī)器學(xué)習(xí)平臺(tái)等技術(shù)為核心代表的產(chǎn)品集群,這將是同盾實(shí)現(xiàn)科技賦能的重要基礎(chǔ)。
未來(lái)極溯將會(huì)把同盾近百種產(chǎn)品鏈路悉數(shù)打開(kāi),將實(shí)時(shí)計(jì)算和離線(xiàn)計(jì)算打通,成為一個(gè)全體系的指標(biāo)平臺(tái),打造整個(gè)PaaS層的智能生態(tài)。
未來(lái)同盾會(huì)繼續(xù)豐富產(chǎn)品密度,力爭(zhēng)協(xié)助金融機(jī)構(gòu)打造一個(gè)事前預(yù)警、事中監(jiān)控和事后分析的閉環(huán),通過(guò)主動(dòng)預(yù)防,多維度場(chǎng)景監(jiān)控,搭配立體化的技術(shù)工具和智能風(fēng)險(xiǎn)管理平臺(tái),形成從線(xiàn)上實(shí)時(shí)決策分析、離線(xiàn)模型訓(xùn)練部署、數(shù)據(jù)存儲(chǔ)管理到智能模型應(yīng)用的全面配套支持,實(shí)現(xiàn)“端到云”的智能風(fēng)控及分析決策全流程解決方案。

隨著數(shù)字時(shí)代的發(fā)展,金融領(lǐng)域高并發(fā)、大數(shù)據(jù)、實(shí)時(shí)反饋的需求給智能決策系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。
傳統(tǒng)實(shí)時(shí)指標(biāo)計(jì)算的困境——快、準(zhǔn)、穩(wěn)不能兼得
每天上千萬(wàn)筆交易量、千億的指標(biāo)計(jì)算量、PB級(jí)數(shù)據(jù)規(guī)模, 在這些天文數(shù)字面前,留給系統(tǒng)的響應(yīng)時(shí)間只有幾毫秒。
如何在最快時(shí)間計(jì)算模型的結(jié)果,反饋精準(zhǔn)的結(jié)果,并且在整個(gè)過(guò)程中保持系統(tǒng)的絕對(duì)穩(wěn)定,長(zhǎng)久以來(lái)這是一個(gè)近乎無(wú)解的問(wèn)題。
多數(shù)企業(yè)采取了舍卒保車(chē)的模式,犧牲一部分性能去集中滿(mǎn)足一個(gè)需求。比如很多企業(yè)追求處理的速度,在準(zhǔn)確性上大打折扣;或者一味滿(mǎn)足準(zhǔn)確性在高并發(fā)處理能力上又束手無(wú)策;或者這兩者都做到很好,卻又無(wú)法保證系統(tǒng)的穩(wěn)定。
在破題之前先查找一下病因。傳統(tǒng)的實(shí)時(shí)指標(biāo)計(jì)算方法底層邏輯一般是采用實(shí)時(shí)采集、異步計(jì)算的方式。換言之,就是采集、計(jì)算、查詢(xún)?nèi)齻€(gè)環(huán)節(jié)是異步并行的,三者各司其職,無(wú)法有效協(xié)同。盡管這樣的設(shè)計(jì),可以從源頭解決瞬時(shí)大數(shù)據(jù)吞吐量的問(wèn)題,讓性能大幅提升。但這種設(shè)計(jì)理念簡(jiǎn)直是“準(zhǔn)確性”的噩夢(mèng),異步計(jì)算無(wú)法保證實(shí)時(shí)數(shù)據(jù)已經(jīng)被計(jì)算,異步查詢(xún)無(wú)法保證當(dāng)前的計(jì)算結(jié)果實(shí)時(shí)被查獲。同時(shí),隨著大數(shù)據(jù)的不斷累積,計(jì)算能力會(huì)逐漸變得遲緩。尤其在金融機(jī)構(gòu)復(fù)雜規(guī)則的面前, TPS不穩(wěn)定幾乎是難以避免。
準(zhǔn)確性是實(shí)時(shí)指標(biāo)計(jì)算的生命線(xiàn),沒(méi)有了準(zhǔn)確性無(wú)論吞吐量的數(shù)據(jù)多么亮眼,都是毫無(wú)意義的。
嚴(yán)格來(lái)講,快、準(zhǔn)、穩(wěn)三者其中一項(xiàng)為零,最終結(jié)果都是零,那么三者真的就無(wú)法兼得了嗎?
同盾指標(biāo)計(jì)算平臺(tái)——極溯接下來(lái)再來(lái)看這一組數(shù)據(jù)
完成一筆交易全鏈路分析不超過(guò)200毫秒,日均可支撐線(xiàn)上幾百億數(shù)據(jù)量級(jí)的決策研判,單日指標(biāo)計(jì)算處理量可達(dá)1200億,每一秒可幫助互聯(lián)網(wǎng)和金融機(jī)構(gòu)攔截超3000起欺詐事件,滿(mǎn)足業(yè)務(wù)每天1.5-2億次的調(diào)用需求。
在500+個(gè)指標(biāo)的場(chǎng)景下,計(jì)算準(zhǔn)確度達(dá)99.99%以上,平均響應(yīng)時(shí)間1ms以?xún)?nèi),TPS超60萬(wàn)。
將這些數(shù)字串聯(lián)在一起的,是一臺(tái)低延遲、可擴(kuò)展、高可靠的處理引擎,同盾科技自研的大數(shù)據(jù)極速處理平臺(tái)——“極溯”。極溯,取自極往知來(lái),追本溯源之意。
同盾極溯是如何實(shí)現(xiàn)了快、準(zhǔn)、穩(wěn)的統(tǒng)一?
快:PB級(jí)數(shù)據(jù)毫秒處理能力極溯創(chuàng)造性的將采集、計(jì)算與查詢(xún)同步在一次原子操作中,通過(guò)可計(jì)算緩存、分時(shí)處理引擎等技術(shù)使采集到的數(shù)據(jù)到達(dá)即算出、算出即查得,用可計(jì)算緩存和特定的數(shù)據(jù)結(jié)構(gòu),結(jié)合具體業(yè)務(wù)場(chǎng)景,按照時(shí)間窗口分片的實(shí)時(shí)指標(biāo)計(jì)算方式,從而在保證吞吐量的基礎(chǔ)上得到較高的準(zhǔn)確率。
極溯產(chǎn)品集群部署支持超高并發(fā)量的請(qǐng)求,每秒可處理高達(dá)百萬(wàn)級(jí)的計(jì)算任務(wù),在處理TB級(jí)甚至是PB級(jí)的數(shù)據(jù)規(guī)模都能保證延時(shí)達(dá)到毫秒級(jí)別。毫秒級(jí)實(shí)時(shí)數(shù)據(jù)分析的能力,能夠輔助企業(yè)做出更有價(jià)值的實(shí)時(shí)決策。
準(zhǔn):全流程打通大數(shù)據(jù)平臺(tái)
極溯實(shí)現(xiàn)了與大數(shù)據(jù)平臺(tái)的深度結(jié)合,與傳統(tǒng)模式指標(biāo)計(jì)算相比,可實(shí)時(shí)回溯歷史數(shù)據(jù)計(jì)算指標(biāo)值,在配置指標(biāo)的過(guò)程中已在大數(shù)據(jù)平臺(tái)創(chuàng)建了離線(xiàn)任務(wù),當(dāng)需要使用時(shí)便可實(shí)時(shí)生效。不僅有效利用歷史數(shù)據(jù),在深度結(jié)合大數(shù)據(jù)平臺(tái)后,還能喚醒鋪底數(shù)據(jù),新增的指標(biāo)去計(jì)算沉睡的數(shù)據(jù),賦予數(shù)據(jù)更大的意義,更加接近真實(shí)環(huán)境。
同盾極溯能幫助企業(yè)構(gòu)建數(shù)據(jù)完善的生態(tài)湖及標(biāo)簽體系,全流程的大數(shù)據(jù)風(fēng)控能力,從底層設(shè)計(jì)就把客戶(hù)的各個(gè)流程的業(yè)務(wù)需求都考慮在內(nèi)。并以各類(lèi)工具、技術(shù)、模型為底層支撐,輔以分析咨詢(xún),繼而搭建自己的智能風(fēng)控AI模型框架。
穩(wěn):確保7*24持續(xù)運(yùn)行
極溯支持生產(chǎn)中心雙活部署,同時(shí)也支持遠(yuǎn)程異地多活部署。數(shù)據(jù)前置、決策分析、模型運(yùn)行、管理控制臺(tái)、數(shù)據(jù)集市、離線(xiàn)測(cè)試等各個(gè)產(chǎn)品組件均可實(shí)現(xiàn)集群式部署,可確保全年7*24小時(shí)無(wú)間斷的持續(xù)運(yùn)行。
同時(shí)系統(tǒng)具備高拓展性,具有橫向及縱向擴(kuò)展能力,支持負(fù)載均衡模式、分容器化、布式、集中式等多種部署方案,能夠根據(jù)業(yè)務(wù)需要以較為靈活的方式實(shí)現(xiàn)對(duì)性能的擴(kuò)展。
更懂客戶(hù):繼承同盾一萬(wàn)家客戶(hù)場(chǎng)景理解能力
同盾累計(jì)服務(wù)超過(guò)一萬(wàn)家企業(yè)客戶(hù),涵蓋22大類(lèi)行業(yè)、118類(lèi)細(xì)分領(lǐng)域客戶(hù),涉及到注冊(cè)、登錄、交易、支付、授信等100多種不同的場(chǎng)景。
強(qiáng)大的場(chǎng)景理解能力也都被極溯完整的繼承下來(lái),極溯將抽象的業(yè)務(wù)模型提煉成后臺(tái)的指標(biāo)模版,使得指標(biāo)可配置化,使得極溯能提供私人訂制般的解決方案。
結(jié)合數(shù)據(jù)計(jì)算、持久化、緩存三合一機(jī)制與簡(jiǎn)單高效的架構(gòu),可為企業(yè)節(jié)省大量設(shè)備與部署成本。大量規(guī)則一鍵上線(xiàn),快速調(diào)整,規(guī)則指標(biāo)均支持熱部署實(shí)時(shí)生效,頁(yè)面化配置方便企業(yè)通過(guò)簡(jiǎn)單的學(xué)習(xí)即可快速上手、靈活應(yīng)用。
極溯應(yīng)用廣泛,幾乎沒(méi)有場(chǎng)景的局限,可以滿(mǎn)足銀行、支付、保險(xiǎn)、信托、醫(yī)療、交通、通訊、物流、軍工等需要數(shù)據(jù)分析實(shí)時(shí)計(jì)算場(chǎng)景。
此前,在與國(guó)內(nèi)知名金融機(jī)構(gòu)的合作過(guò)程中,極溯展現(xiàn)出強(qiáng)大的應(yīng)用計(jì)算能力。
以國(guó)內(nèi)某大型支付公司為例
該企業(yè)日交易量超千萬(wàn)筆,交易欺詐風(fēng)險(xiǎn)較高,傳統(tǒng)策略指標(biāo)加工方式無(wú)法滿(mǎn)足日均千萬(wàn)筆處理,交易風(fēng)險(xiǎn)隱患較大。
為實(shí)時(shí)攔截可疑風(fēng)險(xiǎn),降低損失。該支付公司使用同盾極溯平臺(tái)對(duì)交易數(shù)據(jù)進(jìn)行實(shí)時(shí)加工計(jì)算輸出指標(biāo)策略結(jié)果,實(shí)現(xiàn)交易場(chǎng)景風(fēng)險(xiǎn)全覆蓋。最終完美實(shí)現(xiàn)了千萬(wàn)級(jí)的數(shù)據(jù)實(shí)時(shí)計(jì)算及指標(biāo)加工,且系統(tǒng)響應(yīng)時(shí)間穩(wěn)定保持50ms以?xún)?nèi),大幅降低支付風(fēng)險(xiǎn)。
目前同盾已經(jīng)成功打造了以實(shí)時(shí)指標(biāo)計(jì)算平臺(tái)——極溯、決策引擎——天策、知識(shí)圖譜、機(jī)器學(xué)習(xí)平臺(tái)等技術(shù)為核心代表的產(chǎn)品集群,這將是同盾實(shí)現(xiàn)科技賦能的重要基礎(chǔ)。
未來(lái)極溯將會(huì)把同盾近百種產(chǎn)品鏈路悉數(shù)打開(kāi),將實(shí)時(shí)計(jì)算和離線(xiàn)計(jì)算打通,成為一個(gè)全體系的指標(biāo)平臺(tái),打造整個(gè)PaaS層的智能生態(tài)。
未來(lái)同盾會(huì)繼續(xù)豐富產(chǎn)品密度,力爭(zhēng)協(xié)助金融機(jī)構(gòu)打造一個(gè)事前預(yù)警、事中監(jiān)控和事后分析的閉環(huán),通過(guò)主動(dòng)預(yù)防,多維度場(chǎng)景監(jiān)控,搭配立體化的技術(shù)工具和智能風(fēng)險(xiǎn)管理平臺(tái),形成從線(xiàn)上實(shí)時(shí)決策分析、離線(xiàn)模型訓(xùn)練部署、數(shù)據(jù)存儲(chǔ)管理到智能模型應(yīng)用的全面配套支持,實(shí)現(xiàn)“端到云”的智能風(fēng)控及分析決策全流程解決方案。
我要收藏
點(diǎn)個(gè)贊吧
轉(zhuǎn)發(fā)分享
評(píng)論排行