資料倉儲概念（二） - ODS

        ODS（英語：Operational Data Store)是一種資料架構或資料庫設計的概念，出現原因是來自於當需要整合來自多個系統的資料，結果又要給一或多個系統使用時。

一、概念

        ODS (Operational Data Store)操作型資料存放區，ODS具備資料倉儲的部分特徵和OLTP系統的部分特徵，它是“整合的、當前或接近當前的、不斷變化的”資料，一般不保留資料的變動軌跡，是資料倉儲體繫結構中的一個可選部分。

        ODS的資料具有面向主題、整合的、可變的和資料是當前的或是接近當前的4個基本特徵。同樣也可以看出ODS是介於DB和DW 之間的一種資料存放區技術，和原來面嚮應用的分散的DB相比，ODS中的資料群組織方式和資料倉儲（DW）一樣也是面向主題的和整合的，所以對進入ODS的資料也象進入資料倉儲的資料一樣進行整合處理。另外ODS只是存放當前或接近當前的資料，如果需要的話還可以對ODS中的資料進行增、刪和更新等操作，雖然DW中的資料也是面向主題和整合的，但這些資料一般不進行修改，所以ODS和DW的區別主要體現資料的可變性、當前性、穩定性、匯總度上。

二、ODS與DW比較

ODS	DW
主要是和源系統資料表結構相同，表結構隨著源系統變化	面向主題的表模型，模型相對穩定
一般只保留最新資料或較短時間段的資料	曆史資料，記錄軌跡
追求時間視窗短，滿足報表資料的實效性	批處理時間視窗較長
Update、Insert、Merge操作	主要是Insert操作

三、ODS與DW應用實施

實施方案	特點	風險
資料倉儲（DW）	一般包含一個資料準備層，先進行來源資料採集和清洗；有穩定成熟的模型；	投入大、風險高
操作型資料存放區（ODS）	主要是快速採集來源資料；一般也會採用DW的一些技術；可以部分保留較少天數的曆史資料，不能滿足企業的中遠期決策需求；缺點是數沒有穩定的資料層；	投資小、但涉及技術較多
ODS+DW	一般ODS用於報表資料來源，同時為DW提供資料；DW作決策支援，提供曆史資料；	一般需要分步實施，降低風險

實施方案	實施結果	優勢	劣勢
ODS	企業能夠把握ODS中的當前綜合資料對企業當前的運營情況隨時掌控	可以滿足企業的即時監控和即時業務需求	不能解決企業的中遠決策需求
DW	企業能夠分析DW中的曆史資料，進行中遠期的規劃	可以解決企業的中遠決策需求	不能滿足企業的即時監控和即時業務需求

四、常用術語

ETL(Extract Transform  Load)	例如IBM Datastage、Informatic  PowerCenter
DM（Data Mart）資料集市	資料集市也可叫做“小資料倉儲”。如果說資料倉儲是建立在企業級的資料模型之上的話。那麼資料集市就是企業級資料倉儲的一個子集,他主要面向部門級業務,並且只面向某個特定的主題。資料集市可以在一定程度上解決訪問資料倉儲的瓶頸
Cognos	報表開發展現工具
Cube	資料立方體，Cognos基於檔案的多維資料群組織，用於多維分析
主要資料	主要的業務資料，例如客戶資訊、卡、帳戶
Metadata中繼資料	資料的資料，包括資料來源中繼資料、ETL規則中繼資料、OD中繼資料、報表中繼資料、介面檔案中繼資料、商務規則中繼資料等

五、ODS優缺點

主要優點：

1、提供T+1同構表給MIS系統使用，減輕了對源交易系統的資料訪問壓力；
2、屏蔽了眾多的、異構的資料庫，例如DB2/400、sqlserver，物理上集中存放到oracle資料庫，降低了MIS系統部署難度；
3、可以統一進行清洗和簡單的處理，例如統一Trim；
4、提供部分整合後的主要資料層供使用者訪問，可以降低源系統變化帶來的影響；
5、對多個應用系統公用的資料指標可以統一加工，提供公用加工層表；
6、提供各源系統批處理結束標誌，方便MIS日報開發；
7、對MIS系統的批次工作可以提供統一調度；
8、提供部分錶的歷史資料儲存，方便MIS使用；

缺點和不足：

1、改善源系統的資料品質的能力有限，例如:如果源系統沒有最後修改日期欄位，ODS也較難提供增量資料給後面的應用系統；
2、增大了資料錯誤的機率；如果通過ETL工具也可以直接存取多個源系統資料並完成資料加工，在資料準確性上保障更高；
3、因為不能掌握全部的源系統資料，例如繁多的登記薄，一段時間內還需要由需求推動同構表的分析和採集工作；
4、沒有穩定的、面向主題的資料模型；
5、不能大量地儲存曆史資料；
6、批處理時間視窗內不能提供資料訪問；