【Spark亞太地區研究院系列叢書】Spark實戰高手之路-第一章 構建Spark叢集（第四步）（7）

標籤：spark spark書籍 spark熱點 spark技術 spark教程 雲端運算 大資料

第四步：通過Spark的IDE搭建並測試Spark開發環境

 Step 1：匯入Spark-hadoop對應的包，次選擇“File”–> “Project Structure” –> “Libraries”，選擇“+”，將spark-hadoop 對應的包匯入:

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/4A/2E/wKioL1QjvFuijA0cAAGYTLtlqJ8564.jpg" style="float:none;" title="1.png" alt="wKioL1QjvFuijA0cAAGYTLtlqJ8564.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/4A/2D/wKiom1QjvDmxXkngAAEfnxZDTbQ384.jpg" style="float:none;" title="2.png" alt="wKiom1QjvDmxXkngAAEfnxZDTbQ384.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/4A/2E/wKioL1QjvF_hAf5-AAD9ETir8sU678.jpg" style="float:none;" title="3.png" alt="wKioL1QjvF_hAf5-AAD9ETir8sU678.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/4A/2D/wKiom1QjvDyhMQg4AAD_yXweVAg544.jpg" style="float:none;" title="4.png" alt="wKiom1QjvDyhMQg4AAD_yXweVAg544.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/4A/2E/wKioL1QjvGKQQQiNAAEZywO5Oqg613.jpg" style="float:none;" title="5.png" alt="wKioL1QjvGKQQQiNAAEZywO5Oqg613.jpg" />

點擊“OK”確認：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/4A/2D/wKiom1QjvD-C1oYkAAEaIGrfTRY643.jpg" style="float:none;" title="6.png" alt="wKiom1QjvD-C1oYkAAEaIGrfTRY643.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M01/4A/2E/wKioL1QjvGOS_eEPAACXyI8m0C0378.jpg" style="float:none;" title="7.png" alt="wKioL1QjvGOS_eEPAACXyI8m0C0378.jpg" />

點擊“OK”:

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M01/4A/2D/wKiom1QjvEGBMHvpAAEn5IY6bYY697.jpg" style="float:none;" title="8.png" alt="wKiom1QjvEGBMHvpAAEn5IY6bYY697.jpg" />

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/4A/2E/wKioL1QjvGbAXApSAAErYJJt3I4478.jpg" style="float:none;" title="9.png" alt="wKioL1QjvGbAXApSAAErYJJt3I4478.jpg" />

IDEA工作完成後會發現Spark的jar包匯入到了我們的工程中：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/4A/2D/wKiom1QjvETC0p_rAAEAa4s3PKE272.jpg" style="float:none;" title="10.png" alt="wKiom1QjvETC0p_rAAEAa4s3PKE272.jpg" />

Step 2：開發第一個Spark程式。開啟Spark內建的Examples目錄：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M01/4A/2E/wKioL1QjvHfyKPkoAAGYG6f_eD0851.jpg" style="float:none;" title="11.png" alt="wKioL1QjvHfyKPkoAAGYG6f_eD0851.jpg" />

此時發現內部有很多檔案，這些都是Spark給我提供的執行個體。

在我們的在我們的第一Scala工程的src下建立一個名稱為SparkPi的Scala的object：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M02/4A/2D/wKiom1QjvFWgT0B9AAC52Yrx6kQ464.jpg" style="float:none;" title="12.png" alt="wKiom1QjvFWgT0B9AAC52Yrx6kQ464.jpg" />

此時開啟Spark內建的Examples下的SparkPi檔案：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/4A/2E/wKioL1QjvHyBFnfrAAFAmnvKvSM596.jpg" style="float:none;" title="13.png" alt="wKioL1QjvHyBFnfrAAFAmnvKvSM596.jpg" />

我們把該文的內容直接拷貝到IDEA中建立的SparkPi中：

650) this.width=650;" src="http://s3.51cto.com/wyfs02/M01/4A/2D/wKiom1QjvFmza2gxAAGYZKmKyHw387.jpg" style="float:none;" title="14.png" alt="wKiom1QjvFmza2gxAAGYZKmKyHw387.jpg" />

本文出自 “Spark亞太地區研究院” 部落格，請務必保留此出處http://rockyspark.blog.51cto.com/2229525/1558103

【Spark亞太地區研究院系列叢書】Spark實戰高手之路-第一章 構建Spark叢集（第四步）（7）