sparkR叢集啟動指令碼的封裝。

標籤：

[Author]: kwu

sparkR預設是以單機方式啟動並執行。實現sparkR的叢集啟動，需要指定master地址，佔用記憶體、CPU，及UI連接埠等，這對分析人員來說是比較麻煩的。

如何?對其啟動的封裝，方便分析人員來使用：

建立啟動的指令檔 

 vi bdcmagicR

輸入以下內容

#!/bin/bash  function rand(){      min=$1      max=$(($2-$min+1))      num=$(($RANDOM+1000000000)) #增加一個10位的數再求餘      echo $(($num%$max+$min))  }    rnd=$(rand 400000 500000)  echo $rnd  /opt/modules/spark/bin/sparkR --master spark://10.130.2.20:7077 --executor-memory 8g --total-executor-cores 45 --conf spark.ui.port=$rnd

說明：

1）首先使用一個隨機函數產生一個40000到50000之間隨機數，用來做UI的連接埠。

2）然後指定指定master地址，佔用記憶體、CPU。

3）最後把bdcmagicR 加入環境變數即可。

使用時，在終端輸入 bdcmagicR

即可以叢集方式啟動運行sparkR

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

sparkR叢集啟動指令碼的封裝。