資料倉儲與ODS

標籤：不能   www   企業級   監控   學習   資料來源   壓力   data   lock   

1. 引言

本篇主要講述操作資料儲存（ODS）系統產生的背景、定義、特點，以及它與資料倉儲的區別。
在前兩篇，筆者介紹了什麼是資料倉儲？為什麼需要資料倉儲？資料倉儲系統的體繫結構是什嗎？因此可能在讀者心裡已經形成了企業資料存放區的DB~DW兩層體繫結構的概念，但在實際應用中，並不總是這樣，有時候我們可能需要ODS這一系統來搭建DB~ODS~DW三層資料體系，那麼什麼是ODS？為什麼需要ODS？ODS與DW的區別又是什嗎？下面將在第2-6節介紹ODS的理論知識，在第7節以電信電訊廠商為例介紹ODS的實際應用。由於是學習心得，如有錯誤或者不嚴謹的地方，希望讀者批評指正。

2. ODS產生的背景

人們對資料的處理行為可以劃分為操作型資料處理和分析型資料處理，操作型資料處理一般放在傳統的資料庫(Database,DB)中進行，分析型資料處理則需要在資料倉儲(Data Warehouse,DW)中進行。但是並不是所有的資料處理都可以這樣劃分，換句話說，人們對資料的處理需求並不只有這兩類，比如，有些操作型處理並不適合放在傳統的資料庫上完成，也有些分析型處理不適合在資料倉儲中進行。這時候就需要第三種資料存放區體系，操作資料儲存(Operational Data Store,ODS)系統就因此產生。它的出現，也將DB~DW兩層資料架構轉變成DB~ODS~DW三層資料架構。

那麼，什麼是ODS?
ODS是用於支援企業日常的、全域應用的資料集合。
(PS：這樣定義，可能還是不清楚，看完下面3、4節應該就能明白~)

 

3. ODS資料的基本特徵

ODS中的資料具有以下4個基本特徵：
① 面向主題的：進入ODS的資料是來源於各個操作型資料庫以及其他外部資料源，資料進入ODS前必須經過 ETL過程（抽取、清洗、轉換、載入等）。
② 整合的：ODS的資料來源於各個操作型資料庫，同時也會在資料清理加工後進行一定程度的綜合。
③ 可更新的：可以聯機修改。這一點區別於資料倉儲。
④ 當前或接近當前的：“當前”是指資料在存取時刻是最新的，“接近當前”是指存取的資料是最近一段時間得到的。

4. ODS的功能

（1）實現企業級的OLTP操作：
傳統的操作型資料庫往往只存放企業某一類業務或者某一個部門的資料，因此無法面向企業全域資料的OLTP，而ODS可以實現。因為ODS的資料是面向整個企業進行整合匯總的，克服了原來面嚮應用的操作型資料庫資料分散的缺陷。
（2）實現即時的OLAP操作：
在資料倉儲上進行OALP，往往由於資料量十分龐大而需要較長的時間。而在企業實際應用中，對於一些較低層次的決策，往往並不需要太多的曆史資料，可能只需要參考當前的或者接近當前的資料就可以完成，並且要求具有較快的回應時間，因此資料倉儲顯然無法滿足這樣的要求，但是ODS可以實現。ODS中不僅有面向企業全域的細節資料和摘要資料，而且規模比資料倉儲小，具有較強的即時響應能力。

小結：通過3、4節的介紹，可以這樣解釋ODS的概念：
ODS是這樣一種資料存放區系統，它將來自不同資料來源的資料（各種操作型資料庫、外部資料源等）通過ETL過程匯聚整合成面向主題的、整合的、企業全域的、一致的資料集合（主要是最新的或者最近的細節資料以及可能需要的摘要資料），用於滿足企業准即時的OLAP操作和企業全域的OLTP操作，並為資料倉儲提供整合後的資料，將資料倉儲系統中的ETL過程下沉到ODS中完成以減輕資料倉儲的壓力。

 

5. DB~ODS~DW三層體繫結構

ODS和DW面向不同的使用者，為不同的需求產生，因此都有不可替代的作用，兩者相互結合、相互補充。
ODS在三層體繫結構中扮演著承上啟下的作用。
一方面，ODS在原來獨立的各個DB的基礎上建立了一個一致的、企業全域的、面向主題的資料環境，使原有的DB系統得到改造。
另一方面，ODS使DW卸去了Data Integration、結構轉換等一系列負擔，對DW的資料追加通過ODS完成，大大簡化的DW的資料轉送介面和DW管理資料的複雜度。
ODS系統的建設，彌補了DB~DW兩層體繫結構的不足，但是ODS並不是必需的，當企業並不需要操作型整合資訊時，基於DB~DW兩層體繫結構是較優的，如果需要，那麼DB~ODS~DW三層體繫結構則是較優的。

6. ODS與DW的區別

ODS在DB~ODS~DW三層體繫結構中起到一個承上啟下的作用。
ODS中的資料雖然具有DW中的資料的面向主題的、整合的特點，但是也有很多區別。
（1）存放的資料內容不同：
ODS中主要存放當前或接近當前的資料、細節資料，可以進行聯機更新。
DW中主要存放細節資料和曆史資料，以及各種程度的綜合資料，不能進行聯機更新。
ODS中也可以存放綜合資料，但只在需要的時候產生。
（2）資料規模不同：
由於存放的資料內容不同，因此DW的資料規模遠遠超過ODS。
（3）支援人員不同：
ODS需要支援面向記錄的聯機更新，並隨時保證其資料與資料來源中的資料一致。
DW則需要支援ETL技術和資料快速存取技術等。
（4）面向的需求不同：
ODS主要面向兩個需求：一是用於滿足企業進行全域應用的需要，即企業級的OLTP和即時的OLAP；二是向資料倉儲提供一致的資料環境用於資料幫浦。
DW主要用於高層戰略決策，供挖掘分析使用。
（5）使用者不同：
ODS主要使用者是企業中層管理員，他們使用ODS進行企業日常管理和控制。
DW主要使用者是企業高層和資料分析人員。

7. ODS在電信行業的具體應用

（1）電訊廠商為什麼要建ODS？
隨著市場的不斷變化，電信電訊廠商需要以“產品”為中心向以“客戶”為中心轉型，而這種轉型需要建立客戶統一視圖資訊，並實現資訊在各渠道、前後端的共用，但是目前這些資料分布在各個生產系統中，並存在各種資料不一致的現象。因此，提出了以ODS系統來解決這一問題。具體地說，希望通過ODS系統來滿足以下三種需求：
① 建立企業全域的客戶統一視圖資訊，指導客戶品牌經營和精確管理；
② 建立統一的資料共用平台，快速支撐跨系統應用，促進企業資料模型的落地，形成企業標準資料；
③ 提升企業資料品質，解決生產系統之間資料不一致、資料品質差的問題。
（2）ODS的系統定位：
ODS系統是一個跨系統的資料共用平台，承接作業環境和分析環境。

企業資料架構建立在統一的資料模型的基礎上，由生產系統自有資料庫、操作資料儲存（ODS）、企業資料倉儲（EDW）三個層面組成。其中，ODS儲存按主題分類的面向運營的准即時資料，提供統一的企業資料檢視；生產系統自有資料庫儲存該生產系統內部即時交易資料；EDW儲存面向經營決策分析的曆史資料和綜合資料。
ODS對生產系統產生的資料進行清洗、過濾、轉換、整合，是提供給EDW高品質資料的重要來源之一，同時為各個生產系統提供准即時的運營報表等跨系統共用資料服務。另外，在企業運營層，對於需要同時利用跨系統的操作型資料和相關分析結果資料的協作性應用需求，ODS也起到關鍵支撐作用。
（3）ODS的營運目標：
① 統一準即時的資料共用
② 生產經營資料品質檢查
③ 統一客戶視圖的提供與展示
④ 生產經營報表統一的提供與展示
⑤ 關鍵生產經營績效指標與經營風險的監控
⑥ 跨系統的批次運算
（4）ODS與生產系統的比較：
相同點：
① 均包含當前的細粒度運營資料；
② 使用者都是一線的生產和管理員；
③ 都是資料品質管理閉環流程中的一個環節（ODS對所儲存的資料進行一致性、完整性、正確性的校正，形成資料校正結果並返回給源系統進行修正）；
不同點：
① ODS不產生運營資料，運營資料由各個生產系統產生；
② 在資料品質管理閉環流程中，ODS負責探索資料品質問題，生產系統負責解決資料品質問題；
③ ODS為其他系統提供准即時的資料共用服務，生產系統提供即時的資料共用服務；
④ ODS提供基於跨系統資料的查詢應用，生產系統通過與ODS合作提供跨系統的准即時查詢應用；
⑤ ODS系統提供基於跨系統資料的固定或者動態報表，生產系統提供基於單系統的、即時性要求高的固定或動態報表；
⑥ ODS負責批量資料的計算，生產系統負責事務驅動的資料計算。
（5）ODS與EDW的比較：
相同點：
① ODS和EDW都不是運營資料的產生系統，都是通過ETL等過程從各種資料來源中載入資料；
② ODS和EDW的資料都是階層式存放區，既有細節資料，又有根據不同維度匯總的綜合資料；
③ ODS和EDW都可以提供基於跨系統整合後資料的報表類應用。
不同點：
① ODS中的細節資料時效性高，並提供給其他系統共用，而EDW中的細節資料時效性低，不提供給其他系統共用，只供自身挖掘分析使用；
② ODS中的資料匯總維度較少，EDW中資料匯總維度多。
③ ODS提供的報表內容主要是面向生產運營過程中資料的統計與監控，不做進一步分析和挖掘，而EDW中的報表內容主要是針對跨系統的資料進行深度分析和挖掘，著重趨勢分析並提供評估和決策功能；
④ ODS面向一線生產的管理員，EDW面向專業分析人員和企業中高層管理員；
⑤ ODS中的運用資料來源是生產系統，EDW運營資料主要從ODS中擷取，ODS中沒有的才從生產系統中擷取；
⑥ ODS中的資料儲存期限短於EDW中的資料儲存期限。

轉載自：https://www.cnblogs.com/hbsygfz/p/4759680.html

資料倉儲與ODS