資料倉儲的設計目的,資料倉儲設計目的
資料倉儲設計的目的或者衡量成功的標準:
1. 資料倉儲必須使組織機構的資訊變得容易存取。
2. 資料倉儲必須一致地展示組織機構的資訊。
3. 資料倉儲必須具有廣泛的適應性和便於修改。
4. 資料倉儲必須在推薦有效決策方面承擔最基本的角色。
5. 資料倉儲為業務群體所接受的前提是被認定是成功的。
資料倉儲與資料庫的不同
簡而言之,資料庫是面向事務的設計,資料倉儲是面向主題設計的。
資料庫一般儲存線上交易資料,資料倉儲儲存的一般是曆史資料。
資料庫設計是盡量避免冗餘,一般採用符合範式的規則來設計,資料倉儲在設計是有意引入冗餘,採用反範式的方式來設計。
資料庫是為捕獲資料而設計,資料倉儲是為分析資料而設計,它的兩個基本的元素是維表和事實表。維是看問題的角度,比如時間,部門,維表放的就是這些東西的定義,事實表裡放著要查詢的資料,同時有維的ID。
單從概念上講,有些晦澀。任何技術都是為應用服務的,結合應用可以很容易地理解。以銀行業務為例。資料庫是事務系統的資料平台,客戶在銀行做的每筆交易都會寫入資料庫,被記錄下來,這裡,可以簡單地理解為用資料庫記帳。資料倉儲是分析系統的資料平台,它從事務系統擷取資料,並做匯總、加工,為決策者提供決策的依據。比如,某銀行某分行一個月發生多少交易,該分行當前存款餘額是多少。如果存款又多,消費交易又多,那麼該地區就有必要設立ATM了。
顯然,銀行的交易量是巨大的,通常以百萬甚至千萬次來計算。事務系統是即時的,這就要求時效性,客戶存一筆錢需要幾十秒是無法忍受的,這就要求資料庫只能儲存很短一段時間的資料。而分析系統是事後的,它要提供關注時間段內所有的有效資料。這些資料是海量的,匯總計算起來也要慢一些,但是,只要能夠提供有效分析資料就達到目的了。
資料倉儲,是在資料庫已經大量存在的情況下,為了進一步挖掘資料資源、為了決策需要而產生的,它決不是所謂的“大型資料庫”。那麼,資料倉儲與傳統資料庫比較,有哪些不同呢?讓我們先看看W.H.Inmon關於資料倉儲的定義:面向主題的、整合的、與時間相關且不可修改的資料集合。
“面向主題的”:傳統資料庫主要是為應用程式進行資料處理,未必按照同一主題儲存資料;資料倉儲側重於資料分析工作,是按照主題儲存的。這一點,類似於傳統農貿市場與超市的區別—市場裡面,白菜、蘿蔔、香菜會在一個攤位上,如果它們是一個小販賣的;而超市裡,白菜、蘿蔔、香菜則各自一塊。也就是說,市場裡的菜(資料)是按照小販(應用程式)歸堆(儲存)的,超市裡面則是按照菜的類型(同主題)歸堆的。
“與時間相關”:資料庫儲存資訊的時候,並不強調一定有時間資訊。資料倉儲則不同,出於決策的需要,資料倉儲中的資料都要標明時間屬性。決策中,時間屬性很重要。同樣都是累計購買過九車產品的顧客,一位是最近三個月購買九車,一位是最近一年從未買過,這對於決策者意義是不同的。
“不可修改”:資料倉儲中的資料並不是最新的,而是來源於其它資料來源。資料倉儲反映的是曆史資訊,並不是很多資料庫處理的那種日常交易資料(有的資料庫例如電信計費資料庫甚至處理即時資訊)。因此,資料倉儲中的資料是極少或根本不修改的;當然,向資料倉儲添加資料是允許的。
資料倉儲的出現,並不是要取代資料庫。目前,大部分資料倉儲還是用關聯式資料庫管理系統來管理的。可以說,資料庫、資料倉儲相輔相成、各有千秋。
補充一下,資料倉儲的方案建設的目的,是為前端查詢和分析作為基礎,由於有較大的冗餘,所以需要的儲存也較大。為了更好地為前端應用服務,資料倉儲必須有如下幾點優點,否則是失敗的資料倉儲方案。
1.效率足夠高。客戶要求的分析資料一般分為日、周、月、季、年等,可以看出,日為周期的資料要求的效率最高,要求24小時甚至12小時內,客戶能看到昨天的資料分析。由於有的企業每日的資料量很大,設計不好的資料倉儲經常會出問題,延遲1-3日才能給出資料,顯然不行的。
2.資料品質。客戶要看各種......餘下全文>>
怎設計、建立一個面向CRM的資料倉儲?
1 CRM系統
1.1 CRM簡介
一個完整的CRM主要可分成3個部分:操作型CRM、協作型CRM和分析型CRM。操作型CRM是CRM中最基本的功能系統,它提供整個CRM的流程管理功能,主要是提供以客戶為中心的市場、銷售,服務與支援等商務程序的自動化。協作型CRM是以客戶服務中心為主要表現形式,以電腦電話語音整合技術為核心,使客戶可以通過電話、傳真、E-mail、Web網站等方式更快捷、更有效地與企業進行互動。
分析型CRM是通過對操作型CRM、協作型CRM、其它公司專屬應用程式系統和外部資料源中儲存的與客戶相關的資料的整合,建立以客戶為中心的資料倉儲,獲得企業範圍內客戶資料的一致視圖,並以整合後的客戶資料為基礎,通過查詢與報表分析、OLAP分析和資料採礦等手段擷取關於客戶的知識,為客戶提供個人化的產品和服務,提高客戶的滿意度和忠誠度,實現客戶終身價值的最大化。本文主要針對的是分析型CRM。
1.2在CRM中應用資料倉儲的必然性
資料倉儲是CRM的中心環節甚至是CRM的靈魂所在,它儲存了企業內部和外部的各種資料,並將這些來源資料整理成一致的、隨時間變化的以及最大限度最佳化分析的客戶資訊庫,通過OLAF分析和資料採礦來發現大量客戶資訊中所隱藏的規律,為企業進行經營決策提供支援。另一方面,它將CRM的業務平台與分析平台進行了有效地分離,使得業務型資料庫可以專註於交易處理,既提高了交易處理的效率又最佳化了分析處理的能力。
傳統的企業交易處理系統部是各個部門根據自身交易處理的需要保留部分資料,而且各個模組之間的聯絡並不緊密,雖然客戶的部分資訊也能從這些系統中擷取,但遠遠不能滿足需要。例如,對於一個典型的以客戶行為為目標的分析,通常需要更多的日常積累的、反映曆史變化的資料才有可能進行有效地分析,然而在這一點上傳統的教據庫系統是很難做到的(不論是從資料的儲存量還是從資料的整合來考慮)。因此,資料倉儲的引入是必然的。
1.3分析型CRM的體繫結構
將資料倉儲技術引入到對客戶資訊的管理與組織上來,即建立一個面向CRM應用系統的客戶資訊數掘倉庫,它實現了來自企業內部及外部的多種分割應用的客戶資訊的整合和統一,這正是分析型CRM的基本任務。1所示為分析型CRM的體繫結構。其中,客戶資訊資料倉儲是分析型CRM的核心,它的任務主要是從OLTP系統中抽取資料、把抽取出的資料進行統一的格式轉換,將資料載入到資料倉儲環境中(以上3步稱為ETL,即extract,transform,load,抽取,轉換,裝載),管理和維護資料倉儲中的資料。最後,通過對這些資料的OLAP分析和資料採礦,企業管理者可以得到許多有價值的資訊,從而更好地為客戶服務。
建立資料倉儲時,這裡採用的是一種可擴充的資料倉儲體繫結構,即中介層包括兩種類型的資料庫:一種是基本的包含多個主題的資料倉儲;另一種足從屬的針對某一主題的資料集市。1所示,這雷根據資料倉儲中的4個主題分別設計了4千資料集市。採用可擴充的體繫結構,可以縮短資料倉儲的建設周期,降低費用支出,並且避免了直接建立資料集市而不建立資料倉儲所存在的擴充性較差、多個教據集市間難以保持同步的鋏點。
2客戶資訊資料倉儲的設計
設計客戶資訊資料倉儲的第一步就是要確立主題。主題是一個抽象的概念,是在較高層次上將公司資訊系統中的資料綜合、歸類並進行分析利用的對象。設計資料倉儲首先要從操作型環境中的資料入手,結合決策支援的實際需要,確定資料倉儲的主題。根據所涉及的分析型CRM的功能,該客戶資訊資料倉儲包含了客......餘下全文>>