hadoop知識體系

標籤：

目錄結構知識點還是挺全的，可以按照點學習。

一、Hadoop入門，瞭解什麼是Hadoop	二、Distributed File SystemHDFS，是資料庫管理員的基礎課程
1、Hadoop產生背景 2、Hadoop在大資料、雲端運算中的位置和關係 3、國內外Hadoop應用案例介紹 4、國內Hadoop的就業情況分析及課程大綱介紹 5、分布式系統概述 6、Hadoop生態圈以及各組成部分的簡介 7、Hadoop核心MapReduce例子說明	1、Distributed File SystemHDFS簡介 2、HDFS的系統組成介紹 3、HDFS的組成部分詳解 4、副本存放策略及路由規則 5、NameNode Federation 6、命令列介面 7、Java介面 8、用戶端與HDFS的資料流講解 9、HDFS的可用性（HA）
三、初級MapReduce，成為Hadoop開發人員的基礎課程	四、進階MapReduce，進階Hadoop開發人員的關鍵課程
1、如何理解map、reduce計算模型 2、剖析偽分布式下MapReduce作業的執行過程 3、Yarn模型 4、序列化 5、MapReduce的類型與格式 6、MapReduce開發環境搭建 7、MapReduce應用開發 8、更多樣本講解，熟悉MapReduce演算法原理	1、使用壓縮分隔減少輸入規模 2、利用Combiner減少中間資料 3、編寫Partitioner最佳化負載平衡 4、如何自訂定序 5、如何自訂分組規則 6、MapReduce最佳化 7、編程實戰
五、Hadoop叢集與管理，是資料庫管理員的進階課程	六、ZooKeeper基礎知識，構建分布式系統的基礎架構
1、Hadoop叢集的搭建 2、Hadoop叢集的監控 3、Hadoop叢集的管理 4、叢集下運行MapReduce程式	1、ZooKeeper體現結構 2、ZooKeeper叢集的安裝 3、操作ZooKeeper
七、HBase基礎知識，面向列的即時分散式資料庫	八、HBase叢集及其管理
1、HBase定義 2、HBase與RDBMS的對比 3、資料模型 4、系統架構 5、HBase上的MapReduce 6、表的設計	1、叢集的搭建過程講解 2、叢集的監控 3、叢集的管理
九、HBase用戶端	十、Pig基礎知識，進行Hadoop計算的另一種架構
1、HBase Shell以及示範 2、Java用戶端以及代碼示範	1、Pig概述 2、安裝Pig 3、使用Pig完成手機流量統計業務
十一、Hive，使用SQL進行計算的Hadoop架構	十二、Sqoop，Hadoop與rdbms進行資料轉換的架構
1、資料倉儲基礎知識 2、Hive定義 3、Hive體繫結構簡介 4、Hive叢集 5、用戶端簡介 6、HiveQL定義 7、HiveQL與SQL的比較 8、資料類型 9、表與表分區概念 10、表的操作與CLI用戶端示範 11、資料匯入與CLI用戶端示範 12、查詢資料與CLI用戶端示範 13、資料的串連與CLI用戶端示範 14、使用者自訂函數（UDF）的開發與示範	1、配置Sqoop 2、使用Sqoop把資料從MySQL匯入到HDFS中 3、使用Sqoop把資料從HDFS匯出到MySQL中 十三、Storm 1、Storm基礎知識：包括Storm的基本概念和Storm應用      情境，體繫結構與基本原理，Storm和Hadoop的對比 2、Storm叢集搭建：詳細講述Storm叢集的安裝和安裝時      常見問題 3、Storm組件介紹: spout、bolt、stream groupings等 4、Storm訊息可靠性：訊息失敗的重發 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm編程實戰
十四、論壇日誌分析項目
該項目的資料來自於某網站論壇的日誌，它是為本課程量身定做的，非常適合我們Hadoop課程學習。有的同學覺得應該介紹更多項目，其實做過幾個項目後，就會發現項目的思路是相同的，只是業務不同而已。 大家寫過這個項目後，就對Hadoop的各個架構在項目中是如何使用的，以及Hadoop與JavaEE結合有一個比較清晰的認識與瞭解。

hadoop知識體系