TiDB x 中通科技 | 提效 300%，TiDB 聯(lián)手中通讓你的包裹“實(shí)時(shí)可
「我們已經(jīng)用起來了」，是我們最喜歡聽到的話，簡簡單單幾個(gè)字的背后代表著沉甸甸的信任和托付。從今天開始，我們將通過 「相信開放的力量」 系列深度案例分享，從業(yè)務(wù)的角度，看看一個(gè)數(shù)據(jù)庫為各行業(yè)用戶帶來的業(yè)務(wù)價(jià)值。 本篇文章將介紹 TiDB 聯(lián)手中通科技打造全場景全鏈路數(shù)字化平臺(tái)服務(wù)的故事。
洞悉包裹的每一段旅程
不負(fù)身邊的每一份守候
下單秒殺，到收貨開箱，相信大多數(shù)人對(duì)于“雙十一”這個(gè)特殊時(shí)期的快遞物流體驗(yàn)相當(dāng)熟悉。從下單后的『望眼欲穿』到包裹的『全流程追蹤』，最近幾年，快遞再不是以前“肩扛手提的黑盒子”，電子面單、自動(dòng)化分揀、智能機(jī)器人、全鏈路數(shù)字追蹤等數(shù)字化技術(shù)的加持下，快遞業(yè)正在醞釀一場可以預(yù)見的全新蛻變。
中通快遞成立于 2002 年，經(jīng)過十余年的發(fā)展，目前整體業(yè)務(wù)規(guī)模達(dá)到了世界第一，也是第一個(gè)達(dá)成年百億業(yè)務(wù)量的快遞企業(yè)，去年的雙十一更是完成了訂單量超過 2 億的佳績。中通科技是中通快遞旗下的互聯(lián)網(wǎng)物流科技平臺(tái)，擁有一支千余人規(guī)模的研發(fā)團(tuán)隊(duì)，秉承著“互聯(lián)網(wǎng)+物流”的理念，與公司的戰(zhàn)略、業(yè)務(wù)緊密的銜接，為中通生態(tài)圈的業(yè)務(wù)打造全場景全鏈路的數(shù)字化平臺(tái)服務(wù)。
業(yè)務(wù)挑戰(zhàn)
快遞的生命周期簡單的介紹可以分為五個(gè)字，收發(fā)到派簽。
整個(gè)物流的全鏈路中按照這樣的流程會(huì)拆解成多個(gè)關(guān)鍵節(jié)點(diǎn)，在每個(gè)關(guān)鍵節(jié)點(diǎn)會(huì)產(chǎn)生大量的數(shù)據(jù)，對(duì)每個(gè)關(guān)鍵節(jié)點(diǎn)每一個(gè)數(shù)據(jù)快遞公司都會(huì)進(jìn)行相關(guān)的分析，包括時(shí)效的監(jiān)控（比如快遞的流程跟蹤、快遞在快遞收發(fā)點(diǎn)停留時(shí)間等等）。原來的架構(gòu)大量的數(shù)據(jù)統(tǒng)計(jì)分析依賴于在 Oracle 上建好多存儲(chǔ)過程，但隨著數(shù)據(jù)量越來越大，存儲(chǔ)和計(jì)算的問題越來越明顯，單純靠升級(jí) Oracle 的硬件無法從根本上解決問題，并且隨著硬件的不斷升級(jí)，成本也越來越高。
近幾年，快遞行業(yè)的業(yè)務(wù)量突飛猛進(jìn)，隨著業(yè)務(wù)發(fā)展帶來的數(shù)據(jù)量激增，中通遇到了以下問題：
存放在 Oracle Exadata 一體機(jī)數(shù)據(jù)周期越來越短，分庫分表的設(shè)計(jì)滿足不了時(shí)效需統(tǒng)計(jì)分析依賴存儲(chǔ)過程，系統(tǒng)的擴(kuò)展性和可維護(hù)性不高。
業(yè)務(wù)高峰時(shí)期單機(jī)遇到性能瓶頸，故障風(fēng)險(xiǎn)較高，數(shù)據(jù)同步 T+1 的分析時(shí)效不夠。
如何降低 TCO。
業(yè)務(wù)發(fā)展快、數(shù)據(jù)量激增，能存放在 Exadata 一體機(jī)數(shù)據(jù)周期越來越短，業(yè)務(wù)方對(duì)數(shù)據(jù)周期需求上升。
業(yè)務(wù)高峰單機(jī)性能瓶頸，單點(diǎn)故障風(fēng)險(xiǎn)高，數(shù)據(jù)同步 T+1，分析時(shí)效不夠。
測試 HBase、Kudu 建設(shè)實(shí)時(shí)數(shù)倉，和現(xiàn)有技術(shù)棧難以兼容，并且不能很好支撐業(yè)務(wù)端多維度的 query。
面對(duì)這些需求，中通快遞新構(gòu)建的 IT 系統(tǒng)除了要兼容過去的 IT 架構(gòu)，更要具備敏捷性，要能夠更快響應(yīng)業(yè)務(wù)發(fā)展的需求，并且還能更好地推動(dòng)未來業(yè)務(wù)的發(fā)展。在關(guān)鍵業(yè)務(wù)上的支持上，底層的數(shù)據(jù)庫需要滿足強(qiáng)一致分布式事務(wù)，支持高并發(fā)讀寫，提供靈活的在線擴(kuò)展能力，并且可以與 Spark 技術(shù)生態(tài)緊密融合，支持大寬表的建設(shè)，支持多維度的查詢分析。
Why TiDB
根據(jù)中通實(shí)際業(yè)務(wù)情況和技術(shù)痛點(diǎn)，構(gòu)建了 TiDB 數(shù)據(jù)庫集群，實(shí)現(xiàn)了多個(gè)應(yīng)用系統(tǒng)生產(chǎn)數(shù)據(jù)的實(shí)時(shí)寫入，借助 TiSpark 實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)分析，匯總數(shù)據(jù)，同時(shí)上層應(yīng)用提供了標(biāo)準(zhǔn)化的 API 接口，給業(yè)務(wù)運(yùn)營人員和快遞人員提供了靈活的查詢界面，滿足了實(shí)時(shí)、便捷、準(zhǔn)確的查詢服務(wù)請(qǐng)求，選擇 TiDB 具體原因如下：
TiDB 支持在線擴(kuò)展，數(shù)據(jù)按 Region 分片，有自帶的調(diào)度管理組件，進(jìn)行熱點(diǎn)的調(diào)度和數(shù)據(jù)分布。
強(qiáng)一致的 ACID 分布式事務(wù)、二級(jí)索引。
能高并發(fā)寫和更新，并且支持快速響應(yīng)業(yè)務(wù)方的需求、進(jìn)行查詢結(jié)果。
技術(shù)生態(tài)與 Spark 緊密結(jié)合，支持用 Spark 快速的做分鐘級(jí)統(tǒng)計(jì)分析。
支持大寬表的建設(shè)，支持多維度的查詢分析。
解決方案
訂單 & 運(yùn)單中心
用戶通過平臺(tái)客戶端下單后，產(chǎn)生唯一的快遞單號(hào)作為唯一身份標(biāo)識(shí)。快遞除了訂單號(hào)，還會(huì)有很多屬性信息，如：郵寄人、郵寄人手機(jī)、郵寄人地址、收件人、快遞類型等信息。生成快遞訂單后，用戶的郵寄物品才會(huì)成為“快遞”。
當(dāng)快遞發(fā)出后，快遞員從收件、掃碼、轉(zhuǎn)運(yùn)等快遞的流轉(zhuǎn)事件、地點(diǎn)、時(shí)間信息都將會(huì)不定期推送至系統(tǒng)。快遞流轉(zhuǎn)信息不僅可以是簡單的量化數(shù)據(jù)，也可以是描述性文字、地理位置等特殊信息。系統(tǒng)需要將流轉(zhuǎn)信息記錄成快遞的監(jiān)控?cái)?shù)據(jù)，同時(shí)修改快遞狀態(tài)、實(shí)時(shí)位置等，從而實(shí)現(xiàn)包裹的『全流程追蹤』。
在中通快遞傳統(tǒng)的 IT 體系架構(gòu)里，大量的數(shù)據(jù)統(tǒng)計(jì)分析依賴于 Oracle ，但隨著數(shù)據(jù)量越來越大，存儲(chǔ)和計(jì)算的問題越來越明顯，單純靠升級(jí) Oracle 的硬件無法從根本上解決問題，并且隨著硬件的不斷升級(jí)，成本也越來越高。
核心業(yè)務(wù)系統(tǒng)架構(gòu)圖
上圖是中通快遞整個(gè)系統(tǒng)重構(gòu)后的架構(gòu)：
左邊是來自各個(gè)環(huán)節(jié)的消息接入，通過 Spark 實(shí)時(shí)計(jì)算把這些消息接進(jìn)來，與 Hive 維表在分布式計(jì)算里面做一些 Merge 和 JOIN。
同時(shí)會(huì)跟離線 T+1 的計(jì)算分析出來的數(shù)據(jù)、存在 HBase 的數(shù)據(jù)做 Merge 的計(jì)算。
最終計(jì)算的結(jié)果我們會(huì)把它存到 TiDB 里面。每天會(huì)定時(shí)和 TiDB 做一次同步，把 TiDB 的數(shù)據(jù)同步到 Hive，做一個(gè)數(shù)據(jù)備份。
依賴 TiSpark 在 TiDB 上做數(shù)據(jù)的統(tǒng)計(jì)分析，通常稱為匯總層，匯總層包括公共數(shù)據(jù)和業(yè)務(wù)層數(shù)據(jù)，我們也會(huì)把這些數(shù)據(jù)放在 Oracle 里面一份，包括輕度匯總和多維匯總。
基于 TiDB 去提供明細(xì)的服務(wù)，像 API 接口的服務(wù)、明細(xì)查詢和一些標(biāo)簽。
從新的架構(gòu)上看，每一個(gè)關(guān)鍵的節(jié)點(diǎn)都支持可橫向擴(kuò)展，解決了單點(diǎn)問題，同時(shí)降低了基礎(chǔ)的 IT 成本。
二次配送：數(shù)字化重塑配送全流程
對(duì)于物流企業(yè)來說，降低企業(yè)物流成本一直是行業(yè)挑戰(zhàn)，中通快遞也在不斷地從模式創(chuàng)新上、從全鏈路優(yōu)化上、乃至物流的各個(gè)環(huán)節(jié)去提高效率、降低成本。
我們?cè)谌粘Ｊ湛爝f過程中，通常可以看到類似這樣的信息：”快遞已經(jīng)到 XXXX 轉(zhuǎn)運(yùn)中心”、”快遞已經(jīng)到達(dá) XXXX 集散中心”，這種在工廠倉庫到配送終點(diǎn)之間，設(shè)置中轉(zhuǎn)倉的模式被稱為“二次配送”。
其原理就是通過大數(shù)據(jù)平臺(tái)，結(jié)合倉庫地址、物資需求量、車輛運(yùn)載量、配送次數(shù)等數(shù)據(jù)，進(jìn)行分析和計(jì)算，優(yōu)化配送路線、合理選擇物流中心地址、優(yōu)化倉庫儲(chǔ)位，從而降低物流成本，提高物流效率。在中通快遞整個(gè)快件派送的物流鏈路過程中，在各個(gè)轉(zhuǎn)運(yùn)環(huán)節(jié)都會(huì)有很多消息的接入，需要針對(duì)每一單快件進(jìn)行全鏈路路由和時(shí)效的預(yù)測，定位到每一票快件轉(zhuǎn)運(yùn)環(huán)節(jié)，整個(gè)過程不僅數(shù)據(jù)量巨大，并且對(duì)時(shí)效性要求很高。
TiDB+TiSpark 構(gòu)建實(shí)時(shí)寬表
如上圖所示，中通快遞基于 TiDB 進(jìn)行實(shí)時(shí)數(shù)倉寬表的建設(shè)，業(yè)務(wù)的 OLTP 數(shù)據(jù)通過 TiDB 實(shí)時(shí)寫入，后續(xù) OLAP 的業(yè)務(wù)通過 TiSpark 做分鐘級(jí)的分析。經(jīng)過業(yè)務(wù)實(shí)測，TiSpark 同步 3 億條數(shù)據(jù)到 Hive 大概需要 10 分鐘，為中通快遞的實(shí)時(shí)數(shù)倉建設(shè)與離線 T+1 的整合提供保障，有效支撐全鏈路的時(shí)效分析與監(jiān)控，可以準(zhǔn)實(shí)時(shí)地定位每一票快件在每一個(gè)環(huán)節(jié)的狀態(tài)。據(jù)了解，通過二次配送，在發(fā)達(dá)且密集城市，平均為企業(yè)節(jié)省 25% 的每包裹配送費(fèi)用。
用戶收益
信息化智能化的浪潮已成大勢，技術(shù)與業(yè)務(wù)齊頭并進(jìn)，才能讓快遞行業(yè)獲得未來競爭力。
增效：IT 支持效率提升 300%
中通快遞 2019 全年完成業(yè)務(wù)量 121.2 億件，同比增長 42.2%，超出行業(yè)平均增速 16.9 個(gè)百分點(diǎn)。在過去的 2019 年雙十一大促中，TiDB 同時(shí)支撐線上 OLTP 和 OLAP 的業(yè)務(wù)， QPS 峰值在 12 萬+，支持百億級(jí)的插入和更新，TiSpark 支持業(yè)務(wù)在線的分鐘級(jí)統(tǒng)計(jì)分析，完美保障了雙十一中通快遞 IT 服務(wù)的穩(wěn)定運(yùn)行。 除此之外，基于 TiDB 構(gòu)建的新一代數(shù)據(jù)庫基礎(chǔ)設(shè)施還帶來以下收益：
解決單點(diǎn)問題，整體架構(gòu)清晰，可維護(hù)性增強(qiáng)，系統(tǒng)擴(kuò)展性增強(qiáng)。
滿足高性能 OLTP 業(yè)務(wù)需求，支持在線橫向擴(kuò)展，隨時(shí)上下線存儲(chǔ)和計(jì)算節(jié)點(diǎn)，應(yīng)用無感知。
數(shù)據(jù)存儲(chǔ)周期從 15 天支持到 45 天。
OLTP 和 OLAP 分離，支持更多業(yè)務(wù)維度的分析。
降本：數(shù)據(jù)驅(qū)動(dòng)精細(xì)化運(yùn)營，成本同比降低 17.1％
面對(duì)激烈的競爭態(tài)勢，中通快遞通過技術(shù)創(chuàng)新，以 TiDB 為數(shù)據(jù)底座對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行一個(gè)重新的架構(gòu)升級(jí)，目前中通快遞有超過 100 個(gè)物理節(jié)點(diǎn)，200 余個(gè)實(shí)例的 TiDB 投入生產(chǎn)使用，主要服務(wù)賬單、結(jié)算中心、訂單中心、運(yùn)單中心、消息中心、轉(zhuǎn)運(yùn)智能相關(guān)產(chǎn)品線，獲得收益如下：
數(shù)據(jù)驅(qū)動(dòng)的精細(xì)化管理措施持續(xù)發(fā)揮效益，2020 年二季度，單票成本同比下降 17.1％。
TiDB 靈活高效、按需擴(kuò)展的部署方案，相較之前 Oracle ，顯著降低 TCO。
與客戶同行，相信開放的力量
每次數(shù)據(jù)庫架構(gòu)改善與落地，無論是 TB 級(jí)還是 PB 級(jí)，都需要付出努力，但這也值得每一個(gè)企業(yè)去實(shí)踐。在當(dāng)下這個(gè)時(shí)代，不管企業(yè)的規(guī)模如何，都要學(xué)會(huì)借助開源的力量，避免去重復(fù)的造輪子。
每一個(gè)看似輕松的背后都有不為人知的努力，每一個(gè)看似光鮮亮麗的背后，都有不為人知的付出。分布式數(shù)據(jù)庫建設(shè)之路道阻且長，TiDB 愿與中通科技及每個(gè)客戶一起，攜手并肩把事情做好。
