農發行：數據分析應用架構設計成功案例

方案概述

根據中國農業發展銀行信息化建設“十二五”規劃，在“十二五”期間，要對業務經營數據進行梳理，以保證數據的一致性和準確性為目的，實施數據質量工程；以數據交換平臺為基礎，建設數據倉庫；到2015年末，實現經營和管理數據在全行范圍的共享，以數據倉庫為基礎，推動建立面向主題、面向市場、面向決策、滿足內部管理和外部政策要求的智能應用，力爭形成全行完整統一、各有側重的決策支持平臺，為經營管理和客戶服務提供基礎信息和決策依據。

為將不同的業務報表集中到一個統一的系統框架下來，并為將來的簡單業務報表提供快捷的定制和實現手段，農發行在2009-2011年間，完成通用綜合報表平臺的建設和省行推廣，初步實現經營管理數據的集成和共享。

到2012年初，綜合報表平臺已經上線使用近三年時間，系統完成了初步建設目標后，隨著報表應用、使用用戶、數據量的迅速增長，系統也暴露出了一些問題，主要有：

1．ETL性能不理想，數據抽取轉換加載時間過長；

2．各個業務部門使用平臺制作報表難，主要表現在難以理解數據模型上；

3．數據量增長過快，在第一次優化前，數據已呈現爆炸式增長的趨勢；

4．仍然存在綜合業務系統與信貸管理系統數據不同步的問題；

5．數據及時性不能保證，導致有些時效性要求高的業務部門無法放心使用報表平臺。

項目建設概況

為了解決以上問題，保障系統的科學性、先進性、高效性、易用性，更為了全面夯實農發行數據分析應用側的技術架構，從2012年中到2014年初，于行內發起了更大規模的綜合報表平臺升級改造項目。

經過歷時五年，總共兩期項目的建設，農發行數據應用體現形成了一個較為完整的技術體系，囊括了數據倉庫、分析應用、數據管理、數據治理、數據外圍服務等范疇。

項目建設概況：

1、根據金融行業數據建模模型，建成了一個囊括會計核心系統（CBS），信貸系統（CM2006），外匯系統（EE）和債券系統（BOND）四大主要業務系統所有業務分析數據，并完全記錄其歷史變化信息的數據倉庫，包括ODS層、整合層、匯總層、應用集市層；

2、綜合報表平臺以數據倉庫為主要數據源，實現了各報表應用的數據同源、同構，統一數據口徑；

3、建立了一個包括“數據采集模塊、展現分析模塊”兩大模塊的分析應用綜合報表平臺

4、優化ETL性能，引入調度平臺和優化各ETL作業，對數據倉庫中飛速增長的業務數據進行有效的生命周期管理，大大優化了ETL性能，解決數據抽取轉換加載時間過長的問題。

5、建設各面向業務應用的數據集市，數據集市中的數據主要是概括級面向業務主題的數據，屬業務人員容易理解和使用的主題模型，便于業務人員使用綜合報表平臺自定義制作報表和進行各類報表展現分析；

6、綜合報表平臺中對會計報表專門設計了"會計指標庫"，通過定義會計指標所包含的科目、科目的屬性、條件以及會計指標的啟用和停用時間來滿足會計相關報表的設計；

7、億信BI可與i@Report無縫對接，不僅能夠通過i@Report從億信BI取數，實現采集數據的初始化，還可以將i@Report采集的數據在億信BI進行展現分析，前者能夠大大減少業務人員的補錄工作量，后者通過i@Report上報的數據不需要做任何ETL處理，即可通過億信BI進行豐富多樣的統計分析；

8、i@Report提供了從報表設計、報表發布、數據填報、數據審核、匯總上報和審批流程一整套解決方案，從報表定義到數據應用這一系列工作流程都是通過該平臺完成，無需人工逐級傳遞，減少了許多中間環節，從而幫助農發行提高數據采集的效率，縮短數據采集周期。

項目成果

截止2015年，農發行綜合報表平臺已經完成以下幾方面工作：

建成了一個囊括主要業務系統所有業務分析數據，并完全記錄其歷史變化信息的數據倉庫，包括ODS層、整合層、匯總層、應用集市層；

建成了一個包括“數據采集模塊、展現分析模塊”兩大模塊的分析應用綜合平臺，并在此基礎上，完成了多個業務部門共十四套報表應用的建設，解決內部管理和外部監管要求；

完成了數據抽取、轉換、加載的基礎技術體系建設、夯實，實現了數據處理效率的數量級優化，實現了智能調度、均衡負載/災備的建設；

完善了數據治理體系建設，完成了元數據、數據生命周期、數據標準、數據質量體系的建設；

完成了30個區域數據/應用中心建設，實現了數據中心對外數據服務建設，完成了數據動態傳輸、應用版本同步等輔助系統建設。

報表應用層面，在整體架構的基礎上，實現了面向9個業務部門的14套報表用，并且應用的數量仍將快速增長，形式將更豐富。