大資料Spark企業階層專案實戰(實戰sparksql和kafka的流資料處理應用)下載

標籤：

連結:http://pan.baidu.com/s/1dFqbD4l 密碼:treq

1.課程研發環境
　　項目原始碼以spark1.5.2，jdk8,scala2.10.5為基準。
　　開發工具:SCALA IDE eclipse;
　　其他工具:shell指令碼
2.內容簡介
　　本教程從最基礎的Spark介紹開始，介紹Spark的各種部署模式以及動手進行搭建，然後逐步介紹其中RDD的計算模型，建立和常用的操作，以及其中一些分散式運算，RDD持久化，容錯，shuffle機制，共用變數等內容。
　　而後在RDD的基礎上，講解SparkSQL的子架構，介紹dataframe，使用情境，建立方法，對parquet等檔案格式和不同類型的資料來源的支援，對hive的相容和整合，以及對傳統資料庫的JDBC的支援，和thriftserver的部署等。再配合一些實戰動手的實驗來加深對dataframe的理解和應用。
　　然後，講解sparkstreaming的子架構，介紹DSTREAM的概念，使用情境，資料來源，操作，容錯，效能調優，還有與kafka的整合。
　　最後以2個項目來實際帶學習者到開發環境中去動手開發，調試，一些基於SparkSQL，SparkStreaming，kafka的實戰項目，加深大家對Spark應用開發的理解。其中簡化了企業裡的實際商務邏輯，加強對錯誤調試的分析和思路上的啟發，使得學習者更容易掌握Spark的開發技巧。

大資料Spark企業階層專案實戰(實戰sparksql和kafka的流資料處理應用)下載