Cloudera Hadoop 4 實戰課程(Hadoop 2.0、叢集介面化管理、電商線上查詢+日誌離線分析)

標籤：

課程大綱及內容簡介:

 

每節課約35分鐘，共不下40講

 

第一章（11講）

·分布式和傳統單機模式

·Hadoop背景和工作原理

·Mapreduce工作原理剖析

·第二代MR--YARN原理剖析

·Cloudera Manager 4.1.2安裝

·Cloudera Hadoop 4.1.2 安裝 

·CM下叢集管理一

·CM下叢集管理二

·Hadoop fs 命令詳解

·cloudera manager管理叢集
·cloudera manager下叢集進階管理

 

第二章（約10講）

·Hive資料表和資料存放區
·Hive的Java擴充開發
·Hive UDF和UDAF開發
·Hive JDBC串連
·Hive常見情境，實戰練習
·Hive -f 傳參架構開發
 由於hive內建命令hive -f無法傳參數，導致hive跨檔案的使用基本癱瘓，
 無法大量推廣。該架構可以任意傳參，讓hive企業級應用開發更高效和簡潔。

第三章（約5講）

·Sqoop原理
·Sqoop使用詳解
·用Sqoop實現HDFS/Hive與關聯式資料庫的資料互動
·用Sqoop實現HBase與關聯式資料庫的資料互動

第四章（約8講）

·Hbase原理
·Hbase系統架構
·Hbase儲存機制
·Hbase基本使用
·Hbase表設計思路和方案
·常見應用情境
·和Hive互動
·Java訪問、WEB開發

第五章 項目實戰（約8講）

電商業日誌流量分析項目，互連網企業對海量日誌的分析是Hadoop應用的一個重要用途，也是對網站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從幕後處理到前台呈現的每一個技術環節。
包括：
 ·業務需求介紹
 ·資料建模
 ·後台演算法設計
 ·後台業務處理
 ·前台WEB展示等
 ...
 

課程詳細大綱列表:

 

第一講：Cloudera Manager介紹與安裝
第二講：Cloudera Manager詳解
第三講：CDH4.1介紹與環境搭建一
第四講：CDH4.1環境搭建二
第五講：Hadoop工作原理、調度策略
第六講：Hadoop開發作業形式
第七講：CM下CDH4.1叢集進階管理一
第八講：CM下CDH4.1叢集進階管理二
第九講：小結及Hadoop工作原理
第十講：Hive工作原理和基本使用
第十一講：Hive中繼資料管理和文法詳解
第十二講：Hive表和儲存結構
第十三講：營運案例分享_單機儲存均衡和壞block處理
第十四講：Hive QL 一
第十五講：Hive QL 二
第十六講：UDF和UDAF開發
第十七講：UDAF開發和JDBC訪問
第十八講：Hive最佳化規則總結
第十九講：Hive資料壓縮技術
第二十講：Hive-f封裝支援傳參一
第二十一講：Hive-f封裝支援傳參二
第二十二講：Sqoop使用一
第二十三講：Sqoop使用二
第二十四講：Sqoop作業調度
第二十五講：HBase體繫結構
第二十六講：HBase 表設計案例
第二十七講：HBase資料載入(Sqoop和Java)
第二十八講：HBase儲存機制
第二十九講：Java操作HBase一
第三十講：Java操作HBase二
第三十一講：Java操作HBase三
第三十二講：hbase與Hive介面及項目介紹
第三十三講：訂單線上即時查詢_Schema設計和HBase資料載入
第三十四講：訂單線上即時查詢_DAO層實現
第三十五講：訂單線上即時查詢_DAO層和前台實現
第三十六講：電商日誌流量分析_項目介紹
第三十七講：電商日誌流量分析_業務實現一
第三十八講：電商日誌流量分析_業務實現二
第三十九講：電商日誌流量分析_業務實現三
第四十講：電商日誌流量分析_業務實現四

第四十一講:CDH5搭建之CM5安裝部署

第四十二講:CDH5搭建和CM介面化叢集管理 

 

Cloudera Hadoop 4 實戰課程(Hadoop 2.0、叢集介面化管理、電商線上查詢+日誌離線分析)