標籤：
基於Hadoop離線巨量資料分析平台項目實戰
課程學習入口：http://www.xuetuwuyou.com/course/184
課程出自學途無憂網：http://www.xuetuwuyou.com
課程簡介:
某購物電商網站資料分析平台，分為收集資料、資料分析和資料展示三大層面。其中資料分析主要依據大資料Hadoop生態系統常用組件進行處理，此項目真實的展現了大資料在企業中實際應用。
課程內容
（1）檔案收集架構 Flume
①Flume 設計架構、原理（三大組件）
②Flume 初步使用，即時採集資料
③實際案例：使用Flume監控資料，即時收集儲存HDFS中
（2）巨量資料分析平台架構
①資料平台三大模組
讓技術產生價值!
②分析平台業務資料
③大資料平台技術選型和搭建配置測試
（3）資料分析平台七大業務分析
①具體的七大業務分析，針對不同的資料
②將資料收到 HDFS/Hive/HBase，使用MapReduce和Hive離線分析，其中涉及地區分析、使用者相關資訊分析及外鏈分析等。
③依據業務深入MapReduce使用
④資料處理時，針對不同問題如何最佳化調整等
課程目錄：
第1章：大資料離線項目：企業大資料項目業務及設計
1.大資料項目的開發流程
2.大資料的應用領域（一）
3.大資料的應用領域（二）
4.巨量資料分析平台（一）
5.巨量資料分析平台（二）
6.資料量及叢集規模的規劃（一）
7.資料量及叢集規模的規劃（二）
8.企業常見資料分析需求（一）
9.企業常見資料分析需求（二）
第2章：大資料離線項目：資料擷取架構Flume
10.Flume的介紹及其架構組成
11.Flume的安裝部署
12.Flume的測試回合
13.Flume中配置使用file channel及HDFS sink
14.Flume中配置HDFS檔案產生大小及時間分區
15.Flume中配置Spooling Dir的使用
16.Flume中配置Spooling Dir的檔案過濾
17.Flume中配置扇入架構的介紹
18.Flume中配置扇入架構的測試實現
19.Flume中配置扇出架構的實現
20.Flume中Taildir的介紹及編譯
21.Flume中Taildir的配置及測試使用
第3章：大資料離線項目：Nginx+Flume實現資料擷取
22.項目技術架構介紹
23.項目技術架構圖
24.項目中架構的技術選型
25.Tengine的介紹及源碼編譯
26.Tengine的啟動及測試
27.配置使用service命令管理nginx服務
28.SDK與Nginx關聯測試
29.SDK的設計思路及重要事件類型的介紹
30.JS SDK 與 JAVA SDK的代碼實現
31.Nginx中配置自訂收集方案
32.Flume進行資料擷取
33.Flume的負載平衡及容錯移轉及美團的使用案例
第4章：大資料離線項目：ETL的業務分析及實現（一）
34.Nginx日誌分割指令碼的實現（一）
35.Nginx日誌分割指令碼的實現（二）
36.Nginx日誌上傳指令碼的實現
37.ETL的流程分析
38.資料分析項目的匯入
39.日誌解析類的實現（一）
40.日誌解析類的實現（二）
41.日誌解析類的實現（三）
42.日誌解析類的實現（四）
43.ETL具體代碼流程分析
44.項目中Hbase表的設計
第5章：大資料離線項目：ETL的業務分析及實現（二）
45. ETL的Map類的實現（一）
46.ETL的Map類的實現（二）
47.ETL的Driver類的實現（一）
48. ETL的Driver類的實現（二）
49.ETL的Driver類的實現（三）
50.ETL的本地運行測試
51. ETL的叢集運行測試
第6章：大資料離線項目：資料分析的思路及代碼實現
52.新增訪客的統計分析實現思路（一）
53.新增訪客的統計分析實現思路（二）
54.使用MapReduce實現思路分析
55.Hbase中值和欄位的過濾（一）
56.Hbase中值和欄位的過濾（二）
57.Hbase中值和欄位的過濾（三）
58.新增使用者統計Map代碼的實現（一）
59.新增使用者統計Map代碼的實現（二）
60.新增使用者統計Map代碼的實現（三）
61.新增使用者統計Reduce及Driver代碼的實現（一）
62.新增使用者統計Reduce及Driver代碼的實現（二）
第7章：大資料離線項目：Hourly分析及可視化展示
63.MapReduce中自訂輸入輸出
64.新增使用者統計代碼的講解（一）
65.新增使用者統計代碼的講解（二）
66.hourly分析-hbase與hive的整合
67.hourly分析-活躍使用者的分析
68.hourly分析-會話長度的分析
69.hourly分析-平均訪問時間長度分析及sqoop匯出
70.使用zeus實現專案工作調度（一）
71.使用zeus實現專案工作調度（二）
72.使用zeus實現專案工作調度（三）
73.使用zeus實現專案工作調度（四）
74.資料展示層及Highcharts的使用講解（一）
75.資料展示層及Highcharts的使用講解（二）
76.項目總結（一）
77.項目總結（二）
hadoop課程整合推薦：
跟軒宇老師學習大資料基礎架構Hadoop
課程觀看地址：http://www.xuetuwuyou.com/course/193
Hadoop架構設計與源碼分析
課程觀看地址：http://www.xuetuwuyou.com/course/88
Hadoop實戰+超大叢集調優
課程觀看地址：http://www.xuetuwuyou.com/course/97
Hadoop零基礎高端實戰培訓（CDH5、hive、Sqoop）
課程觀看地址：http://www.xuetuwuyou.com/course/62
基於Hadoop離線巨量資料分析平台項目實戰
