深入淺出Hadoop實戰開發視頻教程

深入淺出Hadoop實戰開發視頻教程

Hadoop是什麼，為什麼要學習Hadoop?

    Hadoop是一個分布式系統基礎架構，由Apache基金會開發。使用者可以在不瞭解分布式底層細節的情況下，開發分布式程式。充分利用叢集的威力高速運算和儲存。Hadoop實現了一個Distributed File System（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上。而且它提供高傳輸率（high throughput）來訪問應用程式的資料，適合那些有著超大資料集（large data set）的應用程式。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming
access）檔案系統中的資料。

   Hadoop 是一個能夠對大量資料進行分散式處理的軟體架構。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和儲存會失敗，因此它維護多個工作資料副本，確保能夠針對失敗的節點重新分配處理。Hadoop 是高效的，因為它以並行的方式工作，通過平行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級資料。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

   Hadoop帶有用Java 語言編寫的架構，因此運行在 Linux 生產平台上是非常理想的。本課程的講解是採用linux平台進行類比講解，完全基於真實情境進行類比現實

 

亮點一:技術點全面,體系完善

   本課程在兼顧Hadoop課程知識體系完善的前提下，把實際開發中應用最多、最深、最實用的技術抽取出來，通過本課程，你將達到技術的新高點，進入雲端運算的美好世界。在技術方面你將徹底掌握基本的Hadoop叢集；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作機制；HDFS基本組態管理；MapReduce原理； HBase的系統架構；HBase的表結構；HBase如何使用MapReduce；MapReduce進階編程；split的實現詳解；Hive入門；Hive結合MapReduce；Hadoop的叢集安裝等眾多知識點。

 

亮點二:基礎+實戰=應用,兼顧學與練

課程每階段都安排了實戰應用項目,以此方便學生能更快的掌握知識點的應用，如在第一階段,課程結合HDFS應用,講解了圖片伺服器的設計、以及如何利用Java API去對HDFS操作、在第二階段;課程結合HBase實現微博項目的各種功能，使學員可以活學活用。在第三階段:HBase和MapReduce結合時下了實現話單查詢與統計系統，在第四階段，Hive實戰部分，通過實戰資料統計系統，使學員在最短的時間內掌握Hive的進階應用程式。

 

 亮點三:講師豐富的電信集團雲平台運作經驗

講師robby擁有豐富的電信集團工作經驗，目前負責雲平台的各方面工作，並擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求，絕不紙上談兵。

 

更多技術亮點參考課程大綱:（本大綱以章節形式命名要為防止某些章節1章節內容超過1課時)

 

第1章節:

> Hadoop背景

> HDFS設計目標

> HDFS不適合的情境

> HDFS架構詳盡分析

> MapReduce的基本原理

 

第2章節

> Hadoop的版本介紹

> 安裝單機版Hadoop

> 安裝Hadoop叢集

 

第3章節 

> HDFS命令列基本操作

> Namenode的工作機制

> HDFS基本組態管理

 

 第4章節

> HDFS應用實戰：圖片伺服器(1) - 系統設計

> 應用的環境搭建 php + bootstrap + java

> 使用Hadoop Java API實現向HDFS寫入檔案

 

第5章節 
> HDFS應用實戰：圖片伺服器(2)

> 使用Hadoop Java API實現讀取HDFS中的檔案

> 使用Hadoop Java API實現擷取HDFS目錄列表

> 使用Hadoop Java API實現刪除HDFS中的檔案

第6章節

> MapReduce的基本原理

> MapReduce的運行過程

> 搭建MapReduce的java開發環境

> 使用MapReduce的java介面實現WordCount

 

第7章節

> WordCount運算過程分析

> MapReduce的combiner

> 使用MapReduce實現資料去重

> 使用MapReduce實現資料排序

> 使用MapReduce實現資料平均成績計算

 

第8章節

> HBase詳細介紹

> HBase的系統架構

> HBase的表結構，RowKey，列族和時間戳記

> HBase中的Master，Region以及Region Server

第9章節
> 使用HBase實現微博應用（1）

> 使用者註冊，登陸和登出的設計

> 搭建環境 struts2 + jsp + bootstrap + jquery + HBase Java API

> HBase和使用者相關的表結構設計

> 使用者註冊的實現

 

第10章節 

> 使用HBase實現微博應用（2）

> 使用session實現使用者登入和登出

> “關注"功能的設計 

> “關注"功能的表結構設計

> “關注"功能的實現

第11章節

> 使用HBase實現微博應用（3）

> “發微博"功能的設計

> “發微博"功能的表結構設計

> “發微博"功能的實現 

> 展現整個應用的運行

 

第12章節 

> HBase與MapReduce介紹

> HBase如何使用MapReduce

 

第13章節 

> HBase應用實戰：話單查詢與統計（1）

> 應用的整體設計

> 開發環境搭建

> 表結構設計

 

第14章節 

> HBase應用實戰：話單查詢與統計（2）

> 話單入庫單設計與實現

> 話單查詢的設計與實現

 

第15章節

> HBase應用實戰：話單查詢與統計（3）

> 統計功能設計 

> 統計功能實現

 

第16章節 
> 深入MapReduce（1）

> split的實現詳解

> 自訂輸入的實現

> 執行個體講解

 

第17章節 

> 深入MapReduce（2）

> Reduce的partition 

> 執行個體講解

 

第18章節 

> Hive入門

> 安裝Hive

> 使用Hive向HDFS存入結構化資料

> Hive的基本使用

第19章節 
> 使用MySql作為Hive的中繼資料庫

> Hive結合MapReduce

 

第20章節
> Hive應用實戰:資料統計（1）

> 應用設計，表結構設計

 

第21章節 
> Hive應用實戰：資料統計（2）
> 資料錄入與統計的實現
 
第一節：點擊下載
第二節：點擊下載
第三節：點擊下載 

聯絡QQ：739573551 

文章來自於：http://www.ibeifeng.com/goods.php?id=254