資料倉儲系統的技術體系架構設計

 資料倉儲系統的技術體系架構設計

作者：成曉旭

 

聲明】

     由於本文闡釋的技術方案，源自線上生產系統，恕不提供完整而詳細的技術方案，更不會提供原始碼。歡迎大家討論技術方案、交流設計心得。

 

    該資料倉儲系統的主要功能是從眾多外部系統中，採集相關的業務資料，集中儲存到系統的資料庫中。系統內部對所有的未經處理資料通過一系列處理轉換之後，儲存到資料倉儲的基礎庫中；然後，通過業務需要進行一系列的資料轉換到相應的資料集市，供其他上層資料應用組件進行專題分析。

    因此，從資料被採集、轉換、儲存、分析、應用的角度對系統內部技術構件進行抽象，將系統內部分為採集層、處理層、應用程式層、配置層4個邏輯層次。資料分析系統的技術體系架構如：

  650) this.width=650;" src="http://www.bkjia.com/uploads/allimg/131229/1U5413446-0.gif" alt="" style="border-top-style: none; border-right-style: none; border-bottom-style: none; border-left-style: none; border-width: initial; border-color: initial; " />

    在採集層，主要應用介面適配器、網路檔案採集及轉換器、ESB匯流排等技術。

    介面適配器技術，用於適配各專業系統的資料擷取介面，通過介面適配器來屏蔽各專業介面方式的差異性；

    網路檔案採集及轉換器，用於從各專業系統的採集檔案資料，主要針對特定格式的各類網路資料檔案，負責對資料格式進行格式化、正常化等預先處理；

    ESB匯流排對標準的WebService/JMS介面方式的資料進行採集。

    在處理層，主要應用資料持久化、J2EE、BI等技術。

    資料持久化主要採用關聯式資料庫技術和檔案資料庫技術。關聯式資料庫技術，用於儲存系統採集、處理、計算等業務資料，儲存系統各類運行參數配置資訊，以及其他的運行過程資訊；檔案伺服器，為各類檔案型資料提供資料存放區和訪問服務；

    J2EE技術，是系統中所有B/S邏輯構件、應用程式、Web服務的容器，為各種B/S組件提供運行環境，並對其生命週期進行管控；

    BI的中繼資料管理為各類動態統計分析報表的資料彙總、多維分析、資料載入、資料生產、資料項目、計算規則、展示方式等提供組態管理。

    在應用程式層，用於人機互動的主要應用BI、Web等技術。

    Web技術，提供系統的B/S介面的應用，包括HTML、CSS、JS、Ajax等；

    BI技術，為各類動態統計分析結果提供報表、圖形、儀錶盤等豐富的展示方式；用於系統互動的ESB匯流排技術，以資料匯流排的方式發布WebService調用、或者下發JMS資料，通過統一的資料發布系統為外部系統提供服務資料共用服務。採用第三方標準中介軟體產品來實現，例如：SAP的BOEBusinessObjects Enterprise）、IBM的Cognos、MSTR的MicroStrategy等主流的BI中介軟體產品。

    在配置層，主要應用ETL可視化可配置平台、規則引擎、工作流程引擎等技術。

    ETL可視化配置技術，用於提供可視化、可配置的ETL資料幫浦、轉換、載入的處理，主要針對資料庫資料、FTP標準檔案格式的資料或者經過網路檔案採集及轉換器預先處理過的中間資料；

    規則引擎部分為採集成各類適配及採集器提供配置資料的集中管理，包括提供介面檔案的採集目錄、檔案名稱規則、資料項目約定以及ETL資料幫浦規則等的組態管理；

    工作流程引擎，提供從資料擷取介面配置、採集資料項目、ETL參數配置、指標關聯映射、BI參數關聯映射等全過程的流程化設定精靈。

    

本文出自 “IT旁觀者” 部落格，請務必保留此出處http://cxxsoft.blog.51cto.com/1350418/1083571