資料為橋邁向智能，渤海財險資料架構智能化演化_資料庫

點擊有驚喜

架構變革，建設AIOps前站

為什麼要AIOps。

簡單來講，一方面由於業務的發展企業的系統變得越來越龐大和複雜給營運帶來了巨大的壓力，通過智慧型工具代替人力是必經之路；另一方面，則需要通過新技術與智能演算法的匯入創造資料價值，助力業務決策，重塑企業價值。作為企業資料的載體，IT系統的變革無疑是智能化的前提。

拿保險行業來說，互連網創造了新的營銷模式和機遇，如電商退運保險、航班延誤險等使得傳統的保險行業逐漸邁向互連網領域。然而這些業務模式導致保單數量在特定情境下的爆髮式湧入，巨量片段化的交易給系統建設帶來了巨大的挑戰，傳統系統建設模式，不再能夠滿足效能安全穩定性等方面的需求，因此企業內部需要新的架構來適應。

渤海財險面對當前系統的營運瓶頸和未來的發展需求，從今年起對企業的資料進行了標準化情境化和線上化的改造，並基於分布式系統搭建了一體化的經營決策平台，從根本上解決了管理層看不到數，分析層取不到數，業務層拿不到數的現狀。為公司各級決策者提供了即時高效的資料支援，也在智能營運的方向上邁出了重要的一步。

本次系統改造主要解決了以下問題：

1、實現了資料的標準化和正常化

2、解決了系統間資料不通的障礙

3、建立了直觀的系統狀況展示層，為決策者提供有力支援

4、系統的分布式變革為業務的發展奠定了基礎

在剛剛過去的第七屆資料技術嘉年華上，渤海財險的系統處處長盧彬彬分享了企業資料架構的智能化演化之路。

系統改造的背景

在渤海財險原有的IT架構下，支撐著新核心、財務及BI等多套業務系統。根據業務的需要，各業務系統間採用了DB-LINK技術實現業務系統間的資料互訪需求，為業務的讀請求提供跨系統的資料支撐根據分析需要，BI系統每天晚上定時從各關鍵的業務系統內抽取資料，作為BI資料分析的來源資料。BI抽取資料採用傳統的ETL+1的形式，效率比較低，很難滿足即時性的需求。

從資料應用的角度來講，最前端的承保系統產生保單資訊，之後傳入到客服理賠，財務等系統進行處理，完成保單的處理。由於當前的系統是由不同的開發商開發的，在管理上有各自的要求，因此不同的系統之間資料並不能完全互連，使得跨條線的統一管理很難實現。

在當前的業務現狀下，每天所常用的各類報表和提數指令碼高達400多個，由於資料不能互連，在很大程度上影響了業務的進行。

整體來說，原有的IT系統架構面臨以下幾個問題： 效率：BI系統採用ETL的傳統抽取資料的方式，不能滿足即時性的需求
效能：傳統的架構採用小型機+儲存的模式，IO處理能力低下。跨系統的DBlink抽數也會帶來一定的效能影響，系統經常出現卡頓等情況，在高峰期尤為明顯。
擴充性：傳統的高端儲存不能靈活擴充，不能滿足業務靈活變動的需求。

因此，為了保證業務的高效穩定運行及靈活擴充，必須要對原有的IT系統進行改造。針對當前管理層看不到數，分析層取不到數，業務層拿不到數的情況，集團內部決定做以下改造：針對業務情境對資料進行情境化改造，根據行業標準對資料進行標準化，同時為了滿足即時需求，對資料進行線上化，經過這樣的改造，最終實現快速開發資料產品，標準化的資料群組織方式和即時高效的資料提供。 IT引領，創造資料價值

資料是企業的核心資產，而IT系統作為資料的載體，在企業的價值鏈中居于越來越重要的地位，通過IT系統的變革來創造資料價值，驅動業務變革，成為企業系統營運的目標與戰略方向。對於企業來說，資料能創造的價值包括：促進業務發展、控制經營成本、防範各類風險等，通過資料分析為企業提供決策依據，即時的資料查詢可以降低理賠客服系統的經營成本，並通過資料品質的提升而防範來自注入、稅務等的風險。這也是本次渤海財險系統改造的目標。 針對資料應用現狀，首先進行資料的標準化改造，對於原有系統，採用標準化校正，滿足要求的資料可以匯入到資料倉儲，不符合的資料按照一定標準進行改造處理之後再匯入。而新的系統的建設必須遵循標準和規範要求。

針對系統之間資料不通的現狀，在經營決策平台上，通過即時的資料分析和傳入，在運營系統和管理系統之間建立完整閉環。在生產系統產生經營資料和管理資料，財務資料等，並即時地傳遞到ODS系統，在ODS上提供簡單的系統查詢和清單下載。ODS層的資料集中之後，經過清洗、歸納和整理，形成情境類的資料，產生對應的多位表和統計表，再經過聚類、提鍊形成各種快報表徵圖等，為經營管理者的決策提供依據。

高效能低成本易擴充的架構方案

在以上的需求基礎上，對於整個平台的改造方案如下：通過經營決策平台統一抽取各個應用系統的資料，作為統一的互動平台，避免了系統之間的資料互動帶來的效能等問題。

為了滿足上述需求，需要強大的硬體能力，尤其是IO能力的支撐，經過大量的選型，最終選擇了資料服務的領先團隊雲和恩墨的zData分布式儲存管理軟體構建分布式架構。分布式儲存具有以下優勢： 多維動態擴充：計算節點和儲存節點可以按需動態擴充，容量與效能線性增長
資源集區化&雲化：計算資源和儲存資源集區化，統一管理,按需分配擴充
高效能：x86伺服器為基礎、使用快閃記憶卡、InfiniBand交換器實現高處理能力和IO輸送量
安全&冗餘：所有組件均有冗餘，儲存自動鏡像及故障自動重構，無需人工幹預和不影響線上業務。

高效能低成本易擴充的zData分布式儲存管理軟體，成為渤海財險系統改造的首選方案。

在正式搭建之前，渤海財險IT團隊在雲和恩墨工程師的協助下，從高可用、效能、情境、壓力等多各個維度進行了嚴密的測試。測試結果表明：

基於分布式儲存技術搭建的經營決策平台，在計算節點、儲存節點、InfiniBand交換器層面，均具有防單點故障的能力；
I/O輸送量達到10GB/s的數量級（50倍），IOPS達到200萬/s的數量級（80萬）
建資料表空間、大表建立、索引建立、全表掃描效能，對比傳統SAN儲存提升23~37倍不等。
在每秒4000會話的壓力下，事務數為43000/s，事務回應時間僅為30ms。

因此分布式儲存架構，不僅是解決當前渤海財險系統困境的最佳方案，更是企業進行雲化智能化改造的必經之路，而專業的資料服務團隊與產品，則協助企業在這條路上走得更好。

通過經營決策平台的建立，將各個系統的資料集中到一起，經過處理後以可視化的方式直觀地展現給使用者，為企業的管理經營提供了很大的決策依據。以下是渤海財險的平台展示：

自從決策平台上線後，系統上下載報表的耗時大幅降低。並且在建立資料品質檢測機制後，由於資料即時傳送，還可根據預先建立的資料檢驗規則制定自動化的周期性檢驗，並通過郵件、簡訊主動推送。各個業務線的人員反饋，系統體驗良好，極大地提升了效率和使用體驗。

盧彬彬表示，渤海財險未來的IT的演化方向基本上會在現有基礎穩定的情況下，逐步過渡到以分布式為核心的互連網架構上來。下一步，渤海財險將逐步實現基於公用雲端平台的災備，更好地保障資料的安全可靠。

盧彬彬說，在保證安全及監管風險的前提下，全行業都在朝著互連網思維方向轉變，現在及將來是互聯的天下，任何事物都是線上的，不只是保險行業，全行業、我們的衣食住行都在這個巨大的網中。不做線上化變革，終將被時代所拋棄。

資料為橋，渤海財險通過本次IT系統的改造，一方面通過系統分布式變革解決了營運的瓶頸，也為後續的業務擴充奠定了基礎；另一方面實現了資料的標準化情境化和線上化，極大地挖掘了資料的價值，為決策者提供有力依據，驅動業務創新。

思維創新引導技術變革，技術發展創造資料價值，隨著資料在企業中的地位日益凸顯，營運也將發生根本性的變化，從最初的被動管理維護資料，到通過資料分析來指導業務決策，各行業企業正在從傳統營運逐漸走向自動化營運，隨著技術的進一步發展，未來以資料為本，重塑企業價值，智能營運將成為無法復原轉的趨勢。

點擊有驚喜