spark新能最佳化之shuffle新能調優

標籤：

shuffle調優參數

new SparkConf().set("spark.shuffle.consolidateFiles", "true")

spark.shuffle.consolidateFiles：是否開啟shuffle block file的合并，預設為false//設定從maPartitionRDD上面到到下個stage的resultTask時資料的傳輸快可以彙總（具體原理可以看下shuffle的原理設定和沒設定的區別）
spark.reducer.maxSizeInFlight：reduce task的拉取緩衝，預設48m//設定拉取的緩衝大,可以一次性拉取比較多的資料量達到減少拉取資料的次數
spark.shuffle.file.buffer：map task的寫磁碟緩衝，預設32k//設定磁碟buff緩衝,減少溢寫到磁碟的次數，從而加高buff處的效能
spark.shuffle.io.maxRetries：拉取失敗的最大重試次數，預設3次//此處可以防止mirror GC或者Full GC的時候task線程被java的記憶體回收線程給佔用,造成拉取失敗,如果重試次數為3每次5秒,總共才15秒，FullGC是1分鐘的話。就時間遠遠不夠。spark會認為拉取失敗報錯甚至導致這個application崩潰
spark.shuffle.io.retryWait：拉取失敗的稍候再試，預設5s//同上
spark.shuffle.memoryFraction：用於reduce端彙總的記憶體比例，預設0.2，超過比例就會溢出到磁碟上//設定或者加大reduce記憶體比可以加大reduce的記憶體減少溢寫磁碟的次數

spark新能最佳化之shuffle新能調優