自適應(yīng)查詢加速引擎助力銀行實(shí)現(xiàn)敏捷高性能數(shù)據(jù)洞察

案例背景

據(jù)麥肯錫調(diào)查結(jié)果顯示，75%的企業(yè)無法對其掌握的數(shù)據(jù)進(jìn)行深入利用。究其原因，多數(shù)企業(yè)欠缺強(qiáng)大的敏捷數(shù)據(jù)運(yùn)營工具，無法將“數(shù)據(jù)驅(qū)動(dòng)決策”的思維融入各個(gè)部門。

某國內(nèi)最早開始布局?jǐn)?shù)據(jù)平臺的頭部股份制銀行所建設(shè)的統(tǒng)一商業(yè)智能平臺近年來逐步支撐了行內(nèi)公金、投金、零售、私行、財(cái)會(huì)、運(yùn)營、風(fēng)險(xiǎn)等條線的數(shù)據(jù)分析產(chǎn)品及分行部分?jǐn)?shù)據(jù)應(yīng)用建設(shè)，在推行“業(yè)務(wù)自助用數(shù)”方面取得了顯著成效。

客戶痛點(diǎn)

根據(jù)最新統(tǒng)計(jì)，該銀行全行BI分析產(chǎn)品用戶月活已達(dá)到20000+，月請求量突破100w+，報(bào)表突破3000張，業(yè)務(wù)自助制作報(bào)表已經(jīng)成為主流。

然而隨著數(shù)據(jù)量和數(shù)據(jù)需求的日益增長，分析師自助制作的數(shù)據(jù)分析報(bào)告普遍面臨著報(bào)告首屏3s內(nèi)打開率不高、無法針對重點(diǎn)報(bào)告定制化性能優(yōu)化、重點(diǎn)及熱點(diǎn)報(bào)告訪問性能難以保障、性能優(yōu)化強(qiáng)依賴人工，難以支持動(dòng)態(tài)變化的業(yè)務(wù)需求、優(yōu)化后維持時(shí)間較短等諸多挑戰(zhàn)，進(jìn)而制約了敏捷業(yè)務(wù)運(yùn)營效能的提升——通過分析發(fā)現(xiàn)，80%以上性能不達(dá)標(biāo)的查詢請求，是因?yàn)闊o法命中最佳CuboID。

解決方案

基于上述問題，Aloudata對該行分析平臺架構(gòu)進(jìn)行了升級，在數(shù)據(jù)源與分析報(bào)告之間加入了Aloudata數(shù)據(jù)加速引擎，該引擎通過基于場景端數(shù)據(jù)查詢需求對數(shù)據(jù)源進(jìn)行智能物化加速的能力，實(shí)現(xiàn)了對報(bào)告查詢性能的自適應(yīng)優(yōu)化，大幅提升了VIP報(bào)告中熱點(diǎn)查詢的性能，加速后平均耗時(shí)明顯低于加速前；同時(shí)讓業(yè)務(wù)部門擺脫了報(bào)告制作、性能優(yōu)化等工作對專業(yè)技術(shù)人員的強(qiáng)依賴。

方案整體示意圖如下：

如上圖所示，Aloudata數(shù)據(jù)加速引擎是介于數(shù)據(jù)源和分析軟件(如Tableau等)之間的加速層，Aloudata數(shù)據(jù)加速引擎通過觀察場景端用戶行為，智能生成加速方案，從數(shù)據(jù)源中抽取數(shù)據(jù)進(jìn)行預(yù)計(jì)算物化加速，進(jìn)而減少即席查詢過程中的計(jì)算量，實(shí)現(xiàn)了查詢性能提升；在2.0版本中，Aloudata數(shù)據(jù)加速引擎通過直連數(shù)據(jù)倉庫，基于內(nèi)置的高性能多模數(shù)據(jù)分析引擎，進(jìn)一步降低了報(bào)表制作及性能優(yōu)化對IT人員的依賴和架構(gòu)復(fù)雜度，最終實(shí)現(xiàn)了敏捷、高性能的數(shù)據(jù)洞察體驗(yàn)。 

方案價(jià)值

基于上述方案，項(xiàng)目組在行內(nèi)選取了100張VIP報(bào)告進(jìn)行了查詢加速，通過對比發(fā)現(xiàn)，加速后平均耗時(shí)較加速前大幅降低，平均性能提升78.25倍。

圖：100張VIP報(bào)告加速前后查詢性能對比

在單條SQL查詢方面，對總共3486條加速后的SQL查詢耗時(shí)進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)，99.2%的SQL查詢都在1秒內(nèi)，其中91.19%的查詢在250毫秒以內(nèi)，而加速前原數(shù)據(jù)源有81%的查詢大于1秒，整體效果提升非常明顯。

圖：3486條SQL查詢耗時(shí)實(shí)測數(shù)據(jù)

在金融業(yè)落地新基建、加速數(shù)字化轉(zhuǎn)型的今天，行業(yè)對數(shù)據(jù)基礎(chǔ)設(shè)施的要求也在不斷提高。數(shù)據(jù)基礎(chǔ)設(shè)施之于金融業(yè)，已經(jīng)不僅僅是業(yè)務(wù)的基礎(chǔ)技術(shù)支撐，而是逐漸升級為驅(qū)動(dòng)金融業(yè)務(wù)創(chuàng)新轉(zhuǎn)型的平臺和底座。高靈活高時(shí)效的分析場景是數(shù)字化經(jīng)濟(jì)的必然趨勢，更是金融業(yè)打破組織邊界、體驗(yàn)數(shù)字化營銷魅力的必要前提。隨著業(yè)務(wù)和需求的不斷發(fā)展，在支持更多場景的同時(shí)降低人力投入，是自適應(yīng)加速引擎未來迭代的方向。Aloudata將在產(chǎn)品和技術(shù)上不斷精進(jìn)，積極推動(dòng)金融行業(yè)信息基礎(chǔ)設(shè)施的轉(zhuǎn)型升級，在保證安全、穩(wěn)定、可靠的同時(shí)，致力于提供快捷、高效的處理能力，以更好滿足金融業(yè)務(wù)未來的發(fā)展需要。