設計和實現OLAP解決方案 [轉]

標籤：

第一講 簡介
首先，啥叫資料倉儲？

資料倉儲就是資料的倉庫！用外文說叫Data Warehouse，簡稱DW。

是不是哐當倒下一片啊，要不咱換個專業點的說法？

資料倉儲是一個面向主題的、整合的、相對穩定的、反映曆史變化的、包含商業資訊的資料集合，用於支援管理決策。

看得懂不？諒你也不懂。

算了，別叫這真了。

等你明白了捨生取義，你自然會明白什麼是資料倉儲的。

 

資料倉儲裡面有大量包含商業資訊的資料，但是我們很難從中捕獲資訊，因為資料倉儲一般有很大的資料量，要整理這些資料還是很麻煩的。

 

OLAP系統就是來解決其中一部份目標的。

先說什麼是OLAP，發音噢勒普。線上分析處理，還是看不懂吧？

就是讓你高效訪問資料倉儲的。

相對應的有一個OLTP，叫聯機交易處理，就是我們平常用的資料庫。

OLTP通常有大量並發添加和修改，隨時變化，包含大量的資料，具有複雜的結構。

 

當我們把OLTP裝載到DW中，一般就不再有修改，隨著資料的增加而定期更新，而不是隨頻繁發生的事務而更新。結構和安全性也更簡化，目的是提高分析查詢的效率，而不是進行交易處理。

 

還有資料集市，叫Data Mart，資料集市是資料倉儲的一種特殊形式，典型的資料集市包含面向專門主題的適合特定業務功能的企業資料子集。

你可以認為資料集市是資料倉儲的一部份。

 

 

第二講 OLAP概述
OLAP 技術使資料倉儲能夠快速響應重複而複雜的分析查詢，從而使資料倉儲能有效地用於聯機分析。OLAP 的多維資料模型和資料彙總技術可以組織並匯總大量的資料，以便能夠利用聯機分析和圖形工具迅速對資料進行評估。當分析人員搜尋答案或試探可能性時，在得到對曆史資料查詢的回答後，經常需要進行進一步查詢。OLAP 系統可以快速靈活地為分析人員提供即時支援。

 

通常的OLAP應用有財務報表、市場分析、市場計劃、客戶服務等。

目前國內已經有大量豐富的應用，比如銀行、證券、電信、生產、銷售行業，都有很多的成功案例。

 

在OLAP中，資料不再以關係型資料結構存放，而是以多維的資料結構存放。不再具有Detail的資料，而是只有Roll up後的資訊。

 

微軟的Analysis Service是一個不錯的OLAP系統，一點不吹牛的說，它處理速度快，查詢速度快，功能完整，支援海量資料，而且處理後的資料量很小，沒有資料爆炸的問題。

 

第三講 資料倉儲結構

資料倉儲的基本結構就是Star Schema和SnowFlake Schema，星型結構和雪花結構。

瞭解結構之前先得理解兩個基本名詞：事實表FactTable和維度資料表Dimension Table。

什麼是事實和維度呢？我今天在U-mart買了兩塊巧克力，價格23.54￥。

這就是一個事實。其中包含的資訊有客戶：我；日期：今天；地點：U-mart；產品：巧克力；數量：2；價格：23.54￥。客戶、日期、地點、產品就是維度Dimension，數量和價格是度量值Measure。

 

 

 

這就是一個星型結構描述。

維度資料表至少包含維度Key和Name，Key和Name可以是同一列。維度也可能沒有維度資料表，比如這個架構中的日期維度就沒有維度資料表。

一個Cube架構Cube Schema有且只有一個事實表，不過你要用幾個base table組合成一個view來做事實表也可以。(Cube 的Partition裡面可以使用不同的事實表，這是後話。)

 

維度是有層次level的，一個維度至少有兩個層次，在大多數情況下維度成員會按金字塔形布局排列，最上面總有一個All的層次，比如客戶維度就有(所有客戶)-(客戶)這兩個層次。維度除了常規維度外，還有父子維度、虛擬維度等。後面會詳細介紹各種維度。

如果一個維度有多於2個層次，那麼這個維度可能有多個維度資料表，例如：

 

 

 

這樣的就是雪花結構。

 

 

From: http://www.cnblogs.com/aspnetx/archive/2006/11/13/559214.html

設計和實現OLAP解決方案 [轉]