資料庫:ETL學習筆記之一:ETL是什嗎?

來源:互聯網
上載者:User

對於資料倉儲以及ETL的知識,我基本上是個門外漢。一切都得從頭開始,記個筆記,方便自已瞭解學習進度。

首先,我們來瞭解最基本的定義:
嗯,也有人將ETL簡單稱為資料幫浦。至少在未學習之前,領導告訴我的是,你需要做一個資料幫浦的工具。
其實呢,抽取是ETL中的關鍵環節,顧名思義,也就將資料從不同的資料來源中抓取(複製)出來。
太簡單了!
上面的解釋無首無尾,有點象能讓你吃飽的第七個燒餅,
仔細一想,抽取是不可能單獨存在,我們需要將與之關聯的一些其它環節拿出來。

於是,得到ETL的定義:
將資料幫浦(Extract)、轉換(Transform)、清洗(Cleansing)、裝載(Load)的過程。
好的,既然到了這一個層次,我們完全會進一步展開聯想,引出上面這個抽象事件的前因後果,

抽取的源在哪裡?
裝載的目的又是什麼呢?

抽取源:大多數情況下,可以認為是關聯式資料庫,專業一點,就是交易處理系統(OLTP)。當然,廣義一點,可能會是其它資料庫或者是檔案系統。
目的地:OK,我們希望是資料倉儲。資料倉儲是啥?在學習之前,它對我來說是個抽象的怪物,看過一些簡單的資料之後,才瞭解這個怪物一點都不怪。堆積用來分析的資料的倉庫。是了,是用來分析的,於是,它區別於OLTP中的資料存放區。

然後,我們來看看為什麼要ETL?
在我看來,有兩個原因。
一:效能 將需要分析的資料從OLTP中抽離出來,使分析和交易處理不衝突。咦?這不是資料倉儲的效果嗎?是了,
資料倉儲,大多數情況下,也就是通過ETL工具來產生地。
二:控制 使用者可以完全控制從OLTP中抽離出來的資料,擁有了資料,也就擁有了一切。
嗯,OLAP分析,資料採礦等等等……。

最後,總結一下,
從資料上看,ETL是一門大學問,對於大學問,實在有些怕怕,所以,我覺得應該停下來想一想,下一步我該幹點啥?
嗯,時不我待,我沒有辦法一切從頭開始,
是了,從應用出發,看看現在工作中,最急需的是什嗎?

鴨子要變成一盤菜,並不是舉手將之置於油鍋之勞。
OK,要將生米變為熟飯,鴨子放上大盤,一堆廢話之後,我得先看看廚房裡都有了一些啥?

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.