ZT:資料倉儲常見名詞淺釋

來源:互聯網
上載者:User
資料
ZT:資料倉儲常見名詞淺釋


    Data Warehouse本世紀80年代中期,"資料倉儲之父"William H.Inmon先生在其《建立資料倉儲》一書中定義了資料倉儲的概念,隨後又給出了更為精確的定義:資料倉儲是在企業管理和決策中面向主題的、整合的、與時間相關的、不可修改的資料集合。與其他資料庫應用不同的是,資料倉儲更像一種過程,對分布在企業內部各處的業務資料的整合、加工和分析的過程。而不是一種可以購買的產品。Data mart資料集市,或者叫做"小資料倉儲"。如果說資料倉儲是建立在企業級的資料模型之上的話。那麼資料集市就是企業級資料倉儲的一個子集,他主要面向部門級業務,並且只是面向某個特定的主題。資料集市可以在一定程度上緩解訪問資料倉儲的瓶頸。

OLAP線上分析處理(OLAP)的概念最早是由關聯式資料庫之父E.F.Codd於1993年提出的。當時,Codd認為聯機交易處理(OLTP)已不能滿足終端使用者對資料庫查詢分析的需要,SQL對大資料庫進行的簡單查詢也不能滿足使用者分析的需求。使用者的決策分析需要對關聯式資料庫進行大量計算才能得到結果,而查詢的結果並不能滿足決策者提出的需求。因此Codd提出了多維資料庫和多維分析的概念,即OLAP。

    Codd提出OLAP的12條準則來描述OLAP系統:

  準則1 OLAP模型必須提供多維概念視圖
  準則2 透明性準則
  準則3 存取能力推測
  準則4 穩定的報表能力
  準則5 客戶/伺服器體繫結構
  準則6 維的等同性準則
  準則7 動態疏鬆陣列處理準則
  準則8 多使用者支援能力準則
  準則9 非受限的跨維操作
  準則10 直觀的資料操縱
  準則11 靈活的報表產生
  準則12 不受限的維與聚集層次ROLAP

基於Codd的12條準則,各個軟體開發廠家見仁見智,其中一個流派,認為可以沿用關係型資料庫來儲存多維資料,於是,基於疏鬆陣列表示方法的星型結構(star schema)就出現了。後來又演化出雪花結構。為了與多維資料庫相區別,則把基於關係型資料庫的OLAP稱為Relational OLAP,簡稱ROLAP。代表產品有Informix Metacube、Microsoft SQL Server OLAP Services。

MOLAPArbor Software嚴格遵照Codd的定義,自行建立了多維資料庫,來存放聯機分析系統資料,開創了多維資料存放區的先河,後來的很多家公司紛紛採用多維資料存放區。被人們稱為Muiltdimension OLAP,簡稱MOLAP,代表產品有Hyperion(原Arbor Software) Essbase、Showcase Strategy等。Client OLAP相對於Server OLAP而言。部分分析工具廠家建議把部分資料下載到本地,為使用者提供本地的多維分析。代表產品有Brio Designer,Business Object。

DSS決策支援系統(Decision Support System),相當於基於資料倉儲的應用。決策支援就是在收集所有有關資料和資訊,經過加工整理,來為企業決策管理層提供資訊,為決策者的決策提供依據。

ETL資料幫浦(Extract)、轉換(Transform)、清洗(Cleansing)、裝載(Load)的過程。構建資料倉儲的重要一環,使用者從資料來源抽取出所需的資料,經過資料清洗,最終按照預先定義好的資料倉儲模型,將資料載入到資料倉儲中去。

Ad hoc query即席查詢,資料庫應用最普遍的一種查詢,利用資料倉儲技術,可以讓使用者隨時可以面對資料庫,擷取所希望的資料。

EIS領導資訊系統(Executive Information System),指為了滿足無法專註於電腦技術的領導人員的資訊查詢需求,而特意制定的以簡單的圖形介面訪問資料倉儲的一種應用。

BPR商務程序重整(Business Process Reengineering),指利用資料倉儲技術,發現並糾正企業商務程序中的弊端的一項工作,資料倉儲的重要作用之一。

BI商業智慧(Business Intelligence),指資料倉儲相關技術與應用的通稱。指利用各種智能技術,來提升企業的商業競爭力。

Data Mining資料採礦,Data Mining是一種決策支援過程,它主要基於AI、機器學習、統計學等技術,高度自動化地分析企業原有的資料,做出歸納性的推理,從中挖掘出潛在的模式,預測客戶的行為,協助企業的決策者調整市場策略,減少風險,做出正確的決策

CRM客戶關係管理(Customer Relationship Management),資料倉儲是以資料庫技術為基礎但又與傳統的資料庫應用有著本質區別的新技術,CRM就是基於資料倉儲技術的一種新應用。但是,從商業運作的角度來講,CRM其實應該算是一個古老的"應用"了。比如,酒店對客人資訊的管理,如果某個客人是某酒店的老主顧,那麼該酒店很自然地會知道這位客人的某些習慣和喜好,如是否喜歡靠路邊,是否吸煙,是否喜歡大床,喜歡什麼樣的早餐,等等。當客人再次光臨時,不用客人自己提出來,酒店就會提供客人所喜歡的房間和服務。這就是一種CRM。

Meta Data中繼資料,關於資料倉儲的資料,指在資料倉儲建設過程中所產生的有關資料來源定義,目標定義,轉換規則等相關的關鍵資料。同時中繼資料還包含關於資料含義的商業資訊,所有這些資訊都應當妥善儲存,並很好地管理。為資料倉儲的發展和使用提供方便。




相關文章

Beyond APAC's No.1 Cloud

19.6% IaaS Market Share in Asia Pacific - Gartner IT Service report, 2018

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。