數字化轉型的第一步、數據應用的最后一公里應該如何做?

數字化轉型是一個龐大的體系、漫長的過程,尤其是對于制造企業,所涉及的業務范圍較廣,在轉型過程中,由于時間、資金、人力等資源的有限,許多制造企業采取了按業務或按部門分階段執行,這種方式在一定程度上減輕了短期內轉型的壓力,對于部門來說提升了轉型的效率。
然而,到了數據應用階段,這種轉型方式的缺點逐漸顯現。企業雖然已經積累了一定量的歷史數據,但由于前期缺乏統籌性的規劃,導致諸多制造企業沒有建立起有效的數據管理機制和保障,出現了數據來源復雜、數據質量參差不齊、基礎數據分散、數據不一致、統計口徑不統一等問題,導致在應用時數據質量得不到保障,數據無法匹配、數據不可識別、數據不一致、冗余重復、時效性不強、精度不夠等問題頻發,數據結果與實際情況不匹配,無法作為業務改善及經營決策的參考依據,難以支撐上層應用,無法完全釋放數據的真正價值。
因此,企業可以通過構建的統一的大數據分析平臺將企業內大量的結構化、半結構化、非結構化數據以及外部數據,進行數據整合、數據管理,打好數據底座、再考慮建立數據應用實現數據驅動業務。
制造企業可以應用一站式的BI數據分析平臺,將各系統數據進行統一的整合、存儲、分析。把大數據分析所需的產品功能全部融入一個平臺下,進行統一管控。在運用時,可全面覆蓋數據分析過程中的各個環節,包括數據采集、清洗、整合、存儲、計算、建模、訓練、展現、協作等,讓用戶可以在一個統一的平臺上完成全流程數據分析任務,降低了實施、集成、培訓的成本。
除了一站式的BI數據分析平臺,數據倉庫的建設也是關鍵,通過搭建數據倉庫,構建按照主題模型存放數據的模型層,提升數據整合效用與科學性,構建指標層以提升基礎數據的復用程度,逐步統一數據出口。同時可以進一步推動數據管理的落地,數據質量檢測與反饋機制逐步優化落實在系統中,最終在數據整合、數據管理、數據應用三個部分相互之間推動良性循環。
數據倉庫是一個完整的生態圈,其建設是一個循序漸進的過程,既不能夠脫離業務的實際需要而存在,也不能夠純粹以業務驅動而忽略了IT架構。因此,在進行數據倉庫的開發時,需要同時從業務和技術兩方面考慮建設。
首先歸并各子系統數據,將原本散亂在各個系統中的業務數據進行統一化處理。在數據歸并后,結合企業的業務特征和系統架構,將不規范的數據根據數據標準轉換為規范的數據,將非結構化數據轉化為結構數據,并對數據進行提取的臨時存儲。
僅僅是數據的采集、提取和存儲還不夠,由于許多制造企業的業務體量大、渠道多,導致了數據龐雜,因此需要根據企業的業務邏輯,對數據進行重構。可以在平臺中構建數據匯總層,對數據進行快速的清洗、轉換,提高數據質量和可用性。以此,根據數據顆粒度,將事實與維度拼合成新的報表。同時,根據分析指標復用程度,將部分同維度指標集中合并成為新報表。
將數據清洗和轉換后,可以構建業務數據層,為不同應用場景的數據可視化、分析、挖掘準備并管理好數據。這樣才能使數據應用更加貼合該企業的使用場景,使報表呈現更加精準。
以此,將制造企業各業務系統中的數據統一處理,構建標準化的數據應用體系,為數據賦能業務奠定基礎。
案例:
該企業將大數據分析平臺的建設分為兩個階段。第一階段的工作重點是將各業務系統的數據進行連接,統一處理,實現貫通。一方面,通過業務數字化、標準化,借助IT技術,實現業務上下游信息快速傳遞、共享,實現數據全流程貫通,提升業務運作效率;另一方面,通過數據質量度量與持續改進,確保數據可以真實反映業務情況,使數據質量持續提升,減少返工、糾錯等成本。
統一的數據分析平臺為數據應用奠定了堅實的基礎,構建了一致的信息架構與標準,以及唯一可行的數據源。在此基礎上,將第二階段的重點放在了數據分析與洞察能力的提升,首先將各業務數據進行跨領域的匯聚與聯接,從各個數據角度進行整體性或某一關鍵問題的綜合分析,實現業務狀態透明可視,提供基于事實的決策支持依據。
該企業應用的一站式BI數據分析平臺,完成了數據源的統一,構建了標準化的數據治理體系,實現了遞進改善式的數據質量管理,具體如下:
1. 數據源:業務數字化是數據工作的前提,通過業務對象、規則與過程數字化,不斷提升數據質量,建立清潔、可靠的數據源;
2. 數據湖:基于“統籌推動、以用促建”的建設策略,嚴格按六項標準,通過物理與虛擬兩種入湖方式,匯聚該企業內部和外部的海量數據,形成清潔、完整、一致的數據湖;
3. 數據主題聯接:通過五種數據聯接方式,規劃和需求雙驅動,建立數據主題聯接,并通過服務支撐數據消費;
4. 數據消費:對準數據消費場景,通過提供統一的數據分析平臺,滿足自助式數據消費需求;
5. 數據治理:為保障各業務領域數據工作的有序開展,需建立統一的數據治理能力,如數據體系、數據分類、數據感知、數據質量、安全與隱私等。
