【互動問答分享】第17期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

標籤：style   color   io   ar   使用   strong   sp   檔案   資料   

 

“決勝雲端運算大資料時代”

Spark亞太地區研究院100期公益大講堂 【第17期互動問答分享】

 

Q1：為了加快spark shuffle 的執行速度是否可以把spark_local_dirs 指向一塊固態硬碟上面，這樣做是否有效果。

• 可以把spark_local_dirs指向一塊固態硬碟上面,這樣會非常有效提升Spark執行速度；

• 同時想更快的提升Spark運行速度的話可以指定多個Shuffle輸出的目錄，讓Shuffle並行讀寫磁碟；

Q2：solidation=true只是在同一機器上進行合并對吧

• solidation=true是在同一台機器上進行合并；

• 當進行合并的時候會把屬於同一個Reducer的bucket放入同一個檔案，這回極大的減少Shuffler檔案的數量，提升效能；

Q3：未來spark與hadoop會共存嗎

• Spark和hadoop會共存， Spark+Hadoop= A winning  combination；

• 並存的時候，Hadoop主要使用HDFS進行資料存放區，Spark負責對大資料一體化多元化的計算；

 

【互動問答分享】第17期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂