Spark腳步檔案作用說明

標籤：style   blog   http   java   os   strong   檔案   art   

  見明知意的檔案名稱，還用我來介紹？？可以說我閑的蛋疼，反正我已經做了記錄了，哈哈

  sbin目錄下的指令檔

slaves.sh               在所有定義在${SPARK_CONF_DIR}/slaves的機器上執行一個shell命令spark-config.sh         被其他所有的spark指令碼所包含，裡面有一些spark的目錄結構資訊spark-daemon.sh將一條spark命令變成一個守護進程spark-daemons.sh        在所有定義在${SPARK_CONF_DIR}/slaves的機器上執行一個spark命令spark-executor          運行org.apache.spark.executor.MesosExecutorBackend，具體作用暫時沒關注start-all.sh            啟動master進程，以及所有定義在${SPARK_CONF_DIR}/slaves的機器上啟動Worker進程start-history-server.sh 啟動記錄進程start-master.sh         啟動spark master進程start-slave.sh          啟動某機器上spark slave進程start-slaves.sh         在所有定義在${SPARK_CONF_DIR}/slaves的機器上啟動Worker進程stop-all.sh             在所有定義在${SPARK_CONF_DIR}/slaves的機器上停止Worker進程stop-history-server.sh  停止記錄進程stop-master.sh          停止spark master進程stop-slaves.sh          停止某機器上spark slave進程

 bin目錄下的指令檔

 這個目錄下有很多.cmd的腳步，就不管了，只關注在linux上可能用到的腳步

compute-classpath.sh    計算spark的classpath並列印出來load-spark-env.sh       載入spark-env.sh中的配置資訊，確保僅會載入一次run-example             運行example需要用到spark-class             內部最終為變成用java運行java類spark-shell             Spark Shell串連spark 叢集spark-submit            提交作業到master

寫完後發現一哥們更有意思，把所有腳步的執行流程都解釋出來了，可以移步到這裡去看

http://www.cnblogs.com/hujunfei/category/563669.html

收工