日郵物流使用Alteryx，全面提升數(shù)據(jù)運營效率
用例概述
日郵物流（Yusen Logistics）是世界領(lǐng)先的合同物流和國際貨運代理提供商，涵蓋從獨立運營到全球供應(yīng)鏈等一系列的解決方案。日郵物流在歐洲、日本、東亞、大洋洲和美洲設(shè)有地區(qū)總部，在全球45個市場擁有超過24 000名員工，致力于為客戶提供無縫連接的供應(yīng)鏈解決方案。我們的目標(biāo)只愿成為您首選的供應(yīng)鏈物流公司。
我們是Eric Wong和Linda Lo，來自日郵香港全球總部流程管理部門的數(shù)據(jù)分析師。我們的角色和責(zé)任是為業(yè)務(wù)部門提供可靠和干凈的數(shù)據(jù)，執(zhí)行面向業(yè)務(wù)的分析，并通過我們的分析和工具提供業(yè)務(wù)洞察。我們每天都會使用Alteryx準(zhǔn)備和處理數(shù)據(jù)。下面將為您介紹使用Alteryx完成的四個用例。第一個和第二個用例展示了我們?nèi)绾问褂肁lteryx改進(jìn)ETL流程和數(shù)據(jù)驗證流程。第三個用例，您將了解到我們?nèi)绾问褂肁lteryx評估我們的運營審核系統(tǒng)，最后，我們將向您展示如何從不同的文件類型中提取數(shù)據(jù)。
每天的使用讓我們對Alteryx有了更進(jìn)一步的了解，并真切地感受到了它的用戶友好性。如果沒有系統(tǒng)的IT技術(shù)背景，用戶（尤其是初學(xué)者）將很難理解和學(xué)習(xí)數(shù)據(jù)分析。但是有了Alteryx，所有不同背景和崗位的用戶都可以使用各種內(nèi)置工具來執(zhí)行數(shù)據(jù)轉(zhuǎn)換，甚至進(jìn)行預(yù)測建模！
用例1 改善ETL流程
業(yè)務(wù)挑戰(zhàn)
我們公司正在使用BI工具做ETL，處理來自于我們主要的運營系統(tǒng)獲得的數(shù)據(jù)。由于還需接入更多來自不同系統(tǒng)和部門的數(shù)據(jù)，我們希望提供一種用戶友好的工具，讓沒有IT背景的業(yè)務(wù)用戶也可以輕松地理解數(shù)據(jù)，從而使他們更好地參與公司的數(shù)據(jù)準(zhǔn)備工作。
毫無疑問，我們需要專業(yè)的ETL工具來推動ETL流程。因此，我們提取必要的數(shù)據(jù)并執(zhí)行ETL，為會計部門端到端創(chuàng)建Excel報表，作為POC來評估Alteryx的性能表現(xiàn)。
我們嘗試解決公司的數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)融合的問題。它分為三部分。
首先，我們發(fā)現(xiàn)業(yè)務(wù)用戶與IT開發(fā)人員之間的溝通是一個耗時的過程。IT開發(fā)人員負(fù)責(zé)數(shù)據(jù)準(zhǔn)備，使用SQL從我們的運營系統(tǒng)中提取數(shù)據(jù)，然后在業(yè)務(wù)用戶提出需求后使用腳本在BI工具中進(jìn)行數(shù)據(jù)融合。業(yè)務(wù)用戶和IT開發(fā)人員之間總是存在誤解，這再正常不過了。所以，這個過程異常痛苦且漫長。
其次，我們想用Alteryx代替ETL流程，以連接到不同的BI工具以進(jìn)行進(jìn)一步的可視化。由于我們在不同國家/地區(qū)使用不同的BI工具，我們需要花費更多時間來對融合后的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以適合各自的BI工具。
公司所有的業(yè)務(wù)用戶和IT開發(fā)人員每天都會遇到這些問題。因此，我們希望業(yè)務(wù)用戶能夠參與數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)融合，減少所需總時長。此外，我們還希望有一個可以導(dǎo)出為不同文件格式的工具，允許用戶連接到不同的BI工具，以方便后續(xù)使用。
最后，我們需要處理大量數(shù)據(jù)，包括運營、財務(wù)、CRM數(shù)據(jù)等。但是，僅將數(shù)據(jù)存儲在BI中，而沒有放在數(shù)據(jù)倉庫或數(shù)據(jù)湖中，使我們無法充分利用數(shù)據(jù)。受限于BI工具自身對諸如API、應(yīng)用和機器學(xué)習(xí)的支持，我們并不能輕松連接所有數(shù)據(jù)。
解決方案
數(shù)據(jù)：數(shù)據(jù)來自我們的運營系統(tǒng)和各種Excel映射表。
產(chǎn)品：Alteryx Designer和Alteryx Server
平臺/技術(shù)：融合后的數(shù)據(jù)存儲在Azure中，允許其他用戶直接連接數(shù)據(jù)結(jié)果，并為會計部門生成關(guān)鍵的Excel報告
部署：創(chuàng)建工作流，發(fā)布到Gallery中，并設(shè)置了每日調(diào)度。現(xiàn)在我們可以使用各種BI工具和Excel電子表格來可視化數(shù)據(jù)。
ETL流程概覽
1. 數(shù)據(jù)提取
2. 匹配文件融合
3. 數(shù)據(jù)融合
4. 報表準(zhǔn)備
獲得收益
完成此POC后，我們總結(jié)了Alteryx幾點明顯的優(yōu)勢。首先，它消除了重復(fù)流程，讓我們花費的時間更少 – 新的工作流包含了所有必要的步驟，可以與之前通過傳統(tǒng)ETL獲得相同的結(jié)果。盡管報表的呈現(xiàn)形式可能不如專業(yè)BI工具那樣豐富，但它為我們給管理層提供關(guān)鍵報表節(jié)省了大量時間。
在此之前，當(dāng)業(yè)務(wù)用戶發(fā)現(xiàn)數(shù)據(jù)差異時，只有IT開發(fā)人員能夠進(jìn)行調(diào)查與修改。而現(xiàn)在，業(yè)務(wù)用戶在以更有效的方式更多地了解公司數(shù)據(jù)的同時，也能夠自己調(diào)查已構(gòu)建的內(nèi)容。
最后，我們發(fā)現(xiàn)，在POC完成并展示成效后，我們內(nèi)部的用戶滿意度顯著提高，包括來自管理層和其他部門的同事。他們所有人都認(rèn)同，無腳本對于我們公司處理數(shù)據(jù)確實至關(guān)重要。
起初，我們從一個簡單的工作流開始，將兩個數(shù)據(jù)源通過ETL后合并。然后我們發(fā)現(xiàn)上手并不難。我們總可以使用少于10種工具來獲取結(jié)果。
Alteryx使錯誤跟蹤變得容易，這是平臺的強大組件。用戶還可以看到警告信息，這在其它工具中可能并不常見。此外，大多數(shù)工具都有輸入和輸出窗口，使用戶可以輕松查看應(yīng)用每種工具前后的差異。Alteryx的這一功能非常重要，用戶無需重復(fù)運行相同的工作流即可找出差別。對我來說，使用Alteryx進(jìn)行數(shù)據(jù)分析就像使用Excel一樣容易。
用例2 優(yōu)化數(shù)據(jù)驗證流程
業(yè)務(wù)挑戰(zhàn)
我們的管理層一直希望能客觀評定公司的業(yè)績表現(xiàn)。我們提取各種數(shù)據(jù)，創(chuàng)建各式各樣的分析和報表，為他們提供準(zhǔn)確和可信的報告反映公司的真實情況。
與此同時，運營的職責(zé)是將貨運信息輸入到運營系統(tǒng)中。但在此過程中，沒有報告和測量等手段用以實時監(jiān)測。由于運營與潛在后果沒有關(guān)聯(lián)起來，因此不會給他們帶來太多直接影響。但如果他們輸入的數(shù)據(jù)不準(zhǔn)確，將會極大地影響我們后續(xù)的分析。
解決方案
我們使用Alteryx承擔(dān)運營監(jiān)控的角色，而不是直接獲取數(shù)據(jù)，然后意識到有錯誤再加以改正。現(xiàn)在我們能夠從數(shù)據(jù)庫中提取運營數(shù)據(jù)，然后應(yīng)用多個驗證工作流來檢查數(shù)據(jù)質(zhì)量。如果有任何問題，我們可以導(dǎo)出一些錯誤消息，甚至直接修改數(shù)據(jù)。在這種情況下，用戶可以立即意識到數(shù)據(jù)輸入錯誤，并采取措施及時糾正。
上方的粉色框中是驗證的部分。我們應(yīng)用一些業(yè)務(wù)邏輯來校驗數(shù)據(jù)。例如對于空運，我們必須在預(yù)計離港時間（ETD，Estimated Time of Departure）（最多30天內(nèi)）當(dāng)天或之前簽發(fā)《航空主運單》（MAWB，Master AirWay Bill）。錯誤的ETD/ MAWB將導(dǎo)致分支機構(gòu)或客戶之間的錯誤結(jié)算。同時還會影響流量計算。我們檢查兩個日期之間的差距有多大。如果相差大于30天，我們將其視為“不匹配”。
要顯示“不匹配”的消息，我們需要將XML文件導(dǎo)出到我們的eAdaptor，以便將信息傳輸?shù)竭\營系統(tǒng)。因此，在上方工作流的藍(lán)色部分，我們編寫了一個循環(huán)，創(chuàng)建包含不正確貨運信息的XML文件 – 消息將發(fā)送到運營系統(tǒng)。
之后，我們可以立刻為操作員創(chuàng)建注釋。如果發(fā)生任何問題，他們可以立即采取措施，最大程度地減少因輸入錯誤數(shù)據(jù)而導(dǎo)致的成本。
獲得收益
我們在運營系統(tǒng)中需要介入大量的人工輸入。在此過程中，人為錯誤自然會發(fā)生。我們始終強調(diào)數(shù)據(jù)質(zhì)量的重要性。沒有良好的數(shù)據(jù)質(zhì)量做保證，我們在后期將需要大量的KPI、審核和各種調(diào)查，并且很難及時反映出實際情況。更重要的是，很難追溯操作員到底做錯了什么。
通過這種新方法，操作員現(xiàn)在可以在編輯貨運數(shù)據(jù)時接收到消息。追溯他們輸入的錯誤或產(chǎn)生錯誤的原因?qū)⑷菀椎枚唷Ｈ绻l(fā)生任何問題，會立即進(jìn)行信息傳遞。我們還可以直接修改運營數(shù)據(jù)以減少手動工作。
用例3 審查評分
業(yè)務(wù)挑戰(zhàn)
目前，我們將報價信息輸入到一個系統(tǒng)，但該系統(tǒng)與我們的運營系統(tǒng)并沒有打通。對于用戶而言，他們必須在報價系統(tǒng)中查詢客戶價格，然后將信息輸入到我們的主系統(tǒng)中。我們必須來回手動檢查兩個系統(tǒng)。
由于海上運輸?shù)馁M用計算非常復(fù)雜，我們希望將一部分通用流程自動化，以提高查詢流程的效率。我們開發(fā)了一個工作流，以根據(jù)報價系統(tǒng)審核運營系統(tǒng)中的費用清單。
解決方案
對于報價系統(tǒng)，它提供了REST API連接服務(wù)。因此，我們可以直接通過查詢調(diào)用報價。為此，我們利用Alteryx處理查詢并利用JSON解析工具下載JSON數(shù)據(jù)。之后，我們可以將輸出解析至多個表并將其儲存。我們還將其放入一個循環(huán)中以提取多個記錄。
通過API獲取數(shù)據(jù)后，我們現(xiàn)在可以將報價數(shù)據(jù)（藍(lán)色部分）與運營系統(tǒng)的數(shù)據(jù)（紅色部分）進(jìn)行比較。在綠色部分，我們應(yīng)用業(yè)務(wù)邏輯并做了相應(yīng)的映射，使兩個系統(tǒng)的主數(shù)據(jù)保持一致。
獲得收益
在首次試用新方法后，我們用自動化取代了40％的人工檢查。使用Alteryx，可以完成大部分費用清單的審查。因此清單樣本將小得多，花費在人工審查上的工作時間也更少。效率得到極大提升！
用例4 使用Alteryx提取不同文件類型里的數(shù)據(jù)
業(yè)務(wù)挑戰(zhàn)
在公司里，我們總會收到來自不同客戶和托運人的預(yù)訂。他們會提供各種文件類型（word、pdf、mht、html、jpg、png…）給我們，操作員們不得不手動將信息輸入到我們的運營系統(tǒng)中。該流程手動化程度非常高且極其耗時。
因為我們屬于流程管理團隊，我們的目標(biāo)是盡可能簡化和減少手動工作。從接收客戶的電子郵件到捕獲基本信息并更新至我們的系統(tǒng)YUNAS，我們都想在Alteryx中嘗試一下！
解決方案
首先，我們提取了與預(yù)訂相關(guān)的電子郵件，并將它們放入一個中心文件夾以備將來使用。每天可以對此流程進(jìn)行調(diào)度，減少手動工作，并降低忽略郵件的幾率。
接下來，我們必須提取數(shù)據(jù)并將其輸入到Alteryx中。與加載Excel或數(shù)據(jù)庫不同，Alteryx無法直接讀取這些文件。為了處理各類文件以實現(xiàn)我們的目標(biāo)，我們運用了不同的方法來讀取內(nèi)部數(shù)據(jù)。
Word
使用“運行命令”工具運行批處理文件。它用于更改文本中的文檔，以便可以在Alteryx中讀取。
MHT / HTML
這類文件的讀取相當(dāng)簡單直接。我們可以使用“動態(tài)輸入”來執(zhí)行。
由于Alteryx沒有能直接提取PDF內(nèi)信息的工具。我們使用Gallery中提供的一個工具，并使用R包來讀取PDF。然后便可以直接在Alteryx中讀取PDF文件了。
JPG / PNG
對于圖像，與PDF相同，我們無法將其直接導(dǎo)入到Alteryx。要讀取圖像文件，我們必須使用光學(xué)字符識別（OCR）技術(shù)。我們使用R包讀取圖像。對于這一部分，您還可以使用商用OCR工具并將其導(dǎo)入至Alteryx，以進(jìn)行數(shù)據(jù)轉(zhuǎn)換或混合。
獲得收益
這是對Alteryx讀取不同的文件類型進(jìn)行的一次很好的嘗試。數(shù)據(jù)不僅限于Excel或數(shù)據(jù)庫，還擴展到文檔和圖像。Alteryx有助于表現(xiàn)OCR功能，這是一種非常有趣的新體驗。將數(shù)據(jù)輸入Alteryx之后，我們可以為后續(xù)步驟執(zhí)行數(shù)據(jù)混合。
接著，我們進(jìn)一步使用Alteryx編寫XML文件，然后將數(shù)據(jù)傳輸回我們的運營系統(tǒng)。盡管Alteryx并不是執(zhí)行OCR的專屬工具，但是它高度的靈活性讓我們能夠探索不同的新事物，并帶來無限的可能性。
總而言之，我們?yōu)槭裁葱枰M(jìn)行Alteryx POC的原因是我們希望能利用手中擁有的所有數(shù)據(jù)。數(shù)據(jù)是我們公司的重要資產(chǎn)。但是，它們是孤立的并存儲在不同的系統(tǒng)中，很難將它們合并在一起，實現(xiàn)端到端每一步的可視化。像ERP系統(tǒng)一樣，最終目標(biāo)是將所有內(nèi)容都連接到一個平臺上，實現(xiàn)更優(yōu)化的管理。營銷數(shù)據(jù)、會計數(shù)據(jù)、CRM數(shù)據(jù)、運營數(shù)據(jù)、財務(wù)數(shù)據(jù)可以關(guān)聯(lián)在一起，向我們展示清晰的畫面，指導(dǎo)我們?nèi)绾胃纳茦I(yè)務(wù)。Alteryx讓我們擁有足夠吸引人的功能，例如自動發(fā)送電子郵件和XML導(dǎo)出功能。最后，我們希望在將來減少手動工作，遷移到自動化的未來。
的確，Alteryx令人印象最深刻的詞是“公民數(shù)據(jù)科學(xué)家”。我們很高興看到Alteryx正在逐步實現(xiàn)這一目標(biāo)。隨著數(shù)據(jù)變得日益重要，我們不可避免地要接觸多個數(shù)據(jù)源。學(xué)習(xí)如何同時處理如此大量的數(shù)據(jù)和應(yīng)對各種數(shù)據(jù)源是未來成功的關(guān)鍵。過去，我們從過往的經(jīng)驗中識別模式來分析數(shù)據(jù)。但是，這與現(xiàn)代的需求相距甚遠(yuǎn)。在Alteryx的幫助下，我相信每個人都一定能并最終成為“公民數(shù)據(jù)科學(xué)家”。
