聊一聊資料倉儲中的中繼資料管理系統_資料庫

原文地址

一、中繼資料的定義

按照傳統的定義，中繼資料（Metadata）是關於資料的資料。在資料倉儲系統中，中繼資料可以協助資料倉儲管理員和資料倉儲的開發人員非常方便地找到他們所關心的資料；中繼資料是描述資料倉儲內資料的結構和建立方法的資料，可將其按用途的不同分為兩類：技術中繼資料（Technical Metadata）和業務中繼資料（Business Metadata）。

技術中繼資料是儲存關於資料倉儲系統技術細節的資料，是用於開發和管理資料倉儲使用的資料，它主要包括以下資訊： 資料倉儲結構的描述，包括倉庫模式、視圖、維、階層和匯出資料的定義，以及資料集市的位置和內容； 業務系統、資料倉儲和資料集市的體繫結構和模式 匯總用的演算法，包括度量和維定義演算法，資料粒度、主題領域、聚集、匯總、預定義的查詢與報告； 由作業環境到資料倉儲環境的映射，包括來源資料和它們的內容、資料分割、資料提取、清理、轉換規則和資料重新整理規則、安全（使用者授權和存取控制）。

業務中繼資料從業務角度描述了資料倉儲中的資料，它提供了介於使用者和實際系統之間的語義層，使得不懂電腦技術的業務人員也能夠“讀懂”資料倉儲中的資料。業務中繼資料主要包括以下資訊：使用者的業務術語所表達的資料模型、對象名和屬性名稱；訪問資料的原則和資料的來源；系統所提供的分析方法以及公式和報表的資訊；具體包括以下資訊： 企業概念性模型：這是業務中繼資料所應提供的重要的資訊，它表示企業資料模型的高層資訊、整個企業的業務概念和相互關係。以這個企業模型為基礎，不懂資料庫技術和SQL語句的業務人員對資料倉儲中的資料也能做到心中有數。 多維資料模型：這是企業概念性模型的重要組成部分，它告訴業務分析人員在資料集市當中有哪些維、維的類別、資料立方體以及資料集市中的彙總規則。這裡的資料立方體表示某主題領域業務事實表和維表的多維組織形式。
業務概念性模型和物理資料之間的依賴：以上提到的業務中繼資料只是表示出了資料的業務視圖，這些業務視圖與實際的資料倉儲或資料庫、多維資料庫中的表、欄位、維、層次等之間的對應關係也應該在中繼資料知識庫中有所體現。
二、中繼資料的作用

與其說資料倉儲是軟體開發項目，還不如說是系統整合項目，因為它的主要工作是把所需的資料倉儲工具整合在一起，完成資料的抽取、轉換和載入，OLAP分析和資料採礦等。如下圖所示，它的典型結構由作業環境層、資料倉儲層和業務層等組成。

其中，第一層（作業環境層）是指整個企業內有關業務的OLTP系統和一些外部資料源；第二層是通過把第一層的相關資料幫浦到一個中心區而組成的資料倉儲層；第三層是為了完成對業務資料的分析而由各種工具組成的業務層。圖中左邊的部分是中繼資料管理，它起到了承上啟下的作用，具體體現在以下幾個方面： 1.中繼資料是進行Data Integration所必需的

資料倉儲最大的特點就是它的整合性。這一特點不僅體現在它所包含的資料上，還體現在實施資料倉儲項目的過程當中。一方面，從各個資料來源中抽取的資料要按照一定的模式存入資料倉儲中，這些資料來源與資料倉儲中資料的對應關係及轉換規則都要儲存在中繼資料知識庫中；另一方面，在資料倉儲項目實施過程中，直接建立資料倉儲往往費時、費力，因此在實踐當中，人們可能會按照統一的資料模型，首先建設資料集市，然後在各個資料集市的基礎上再建設資料倉儲。不過，當資料集市數量增多時很容易形成“蜘蛛網”現象，而中繼資料管理是解決“蜘蛛網”的關鍵。如果在建立資料集市的過程中，注意了中繼資料管理，在整合到資料倉儲中時就會比較順利；相反，如果在建設資料集市的過程中忽視了中繼資料管理，那麼最後的整合過程就會很困難，甚至不可能實現。 2.中繼資料定義的語義層可以協助使用者理解資料倉儲中的資料

終端使用者不可能象資料倉儲系統管理員或開發人員那樣熟悉資料庫技術，因此迫切需要有一個“翻譯”，能夠使他們清晰地理解資料倉儲中資料的含意。中繼資料可以實現業務模型與資料模型之間的映射，因而可以把資料以使用者需要的方式“翻譯”出來，從而協助終端使用者理解和使用資料。 3.中繼資料是保證資料品質的關鍵

資料倉儲或資料集市建立好以後，使用者在使用的時候，常常會產生對資料的懷疑。這些懷疑往往是由於底層的資料對於使用者來說是不“透明”的，使用者很自然地對結果產生懷疑。而藉助中繼資料管理系統，最終的使用者對各個資料的來龍去脈以及資料幫浦和轉換的規則都會很方便地得到，這樣他們自然會對資料具有信心；當然也可便捷地探索資料所存在的品質問題。甚至國外有學者還在中繼資料模型的基礎上引入品質維，從更高的角度上來解決這一問題。 4.中繼資料可以支援需求變化

隨著資訊技術的發展和企業職能的變化，企業的需求也在不斷地改變。如何構造一個隨著需求改變而平滑變化的軟體系統，是軟體工程領域中的一個重要問題。傳統的資訊系統往往是通過文檔來適應需求變化，但是僅僅依靠文檔還是遠遠不夠的。成功的中繼資料管理系統可以把整個業務的工作流程、資料流和資訊流有效地管理起來，使得系統不依賴特定的開發人員，從而提高系統的可擴充性。 三、中繼資料管理現狀

由以上幾節我們瞭解到中繼資料幾乎可以被稱為是資料倉儲乃至商業智慧（BI）系統的“靈魂”，正是由於中繼資料在整個資料倉儲生命週期中有著重要的地位，各個廠商的資料倉儲解決方案都提到了關於對中繼資料的管理。但遺憾的是對於中繼資料的管理，各個解決方案都沒有明確提出一個完整的管理員模式；它們提供的僅僅是對特定的局部中繼資料的管理。當前市場上與中繼資料有關的主要工具見下圖：

如圖所示，與中繼資料相關的資料倉儲工具大致可分為四類： 1. 資料幫浦工具;

把業務系統中的資料幫浦、轉換、整合到資料倉儲中，如Ardent的DataStage、Pentaho的開源ETL產品Kettle、ETI的Extract等。這些工具僅提供了技術中繼資料，幾乎沒有提供對業務中繼資料的支援。 2. 前端展現工具：

包括OLAP分析、報表和商業智慧工具等，如Cognos的PowerPlay、Business Objects的BO，以及國內廠商帆軟的FineBI／FineReport等。它們通過把關係表映射成與業務相關的事實和維來支援多維業務視圖，進而對資料倉儲中的資料進行多維分析。這些工具都提供了業務中繼資料與技術中繼資料相對應的語義層。 3. 建模工具：

為非技術人員準備的業務建模工具，這些工具可以提供更高層的與特定業務相關的語義。如CA的ERwin、Sysbase的PowerDesigner以及Rational的Rose等。 4. 中繼資料存放區工具：

中繼資料通常儲存在專用的資料庫中，該資料庫就如同一個“黑盒子”，外部無法知道這些工具所用到和產生的中繼資料是如何儲存的。還有一類被稱為中繼資料知識庫（Metadata Repository）的工具，它們獨立於其它工具，為中繼資料提供一個集中的儲存空間。這些工具包括微軟的Repository，Ardent的MetaStage和Sybase的WCC等。 5.中繼資料管理工具：

目前國內的中繼資料管理工具大概有三類。一是像IBM、CA等公司都提供的專門工具，比如IBM收購Ascential得到的MetaStage，CA的DecisionBase都是如此；二是像DAG的MetaCenter，開源產品Pentaho Metadata，它們不依託於某項BI產品，是一種第三方的中繼資料管理工具；三是像普元、石竹這樣的整合商也有自己的中繼資料管理工具：普元MetaCube、新炬網路中繼資料管理系統、石竹MetaOne等。
專門的中繼資料管理工具，對自家產品相容較好，一旦涉及跨系統管理，就不盡如人意了。從國內的實際應用來看，DAG的MetaCenter這一工具使用最多，目前所看到的在電信、金融領域建設的中繼資料管理項目基本上都是應用了這一產品。
我從互連網上搜尋了幾乎所有的中繼資料廠家：Pentaho開源的MetaData產品，支援源碼下載試用，可以進行整合開發；普元MetaCube下載後，配置麻煩，目前為止還沒有調通；其他公司產品均不提供下載試用。 四、中繼資料管理標準

沒有規矩不成方圓。中繼資料管理之所以困難，一個很重要的原因就是缺乏統一的標準。在這種情況下，各公司的中繼資料管理解決方案各不相同。近幾年，隨著中繼資料聯盟MDC（Meta Data Coalition）的開放資訊模型OIM（Open Information Model）和OMG組織的公用倉庫模型CWM（Common Warehouse Model）標準的逐漸完善，以及MDC和OMG組織的合并，為資料倉儲廠商提供了統一的標準，從而為中繼資料管理鋪平了道路。
從中繼資料的發展曆史不難看出，中繼資料管理主要有兩種方法： 對於相對簡單的環境，按照通用的中繼資料管理標準建立一個集中式的中繼資料知識庫。  對於比較複雜的環境，分別建立各部分的中繼資料管理系統，形成分布式中繼資料知識庫，然後，通過建立標準的中繼資料交換格式，實現中繼資料的整合管理。 

目前OMG家的CWM（Common Warehouse MetaModel）標準已成為中繼資料管理界的統一標準：
OMG是一個擁有500多會員的國際標準組織，著名的CORBA標準即出自該組織。公用倉庫元模型（Common Warehouse Metamodel）的主要目的是在異構環境下，協助不同的資料倉儲工具、平台和中繼資料知識庫進行中繼資料交換。2001年3月，OMG頒布了CWM 1.0標準。CWM模型既包括中繼資料存放區，也包括中繼資料交換，它是基於以下三個工業標準制定的： UML：它對CWM模型進行建模。 MOF（元對象設施）：它是OMG元模型和中繼資料的儲存標準，提供在異構環境下對中繼資料知識庫的提供者。 XMI（XML中繼資料交換）：它可以使中繼資料以XML檔案流的方式進行交換。

原文地址