Eclipse遠端偵錯Spark

http://zhangrenhua.com部落格已搬家

背景  在安裝好spark的前提下，我們寫的代碼需要進行遠端偵錯怎麼辦。看了網上很多文檔發現每一個是正確的，今天特分享分享。
修改設定檔 修改${spark_home}/bin/spark-class檔案，找到JAVA_OPTS： 參數說明： -Xdebug 啟用調試特性
-Xrunjdwp 啟用JDWP實現，包含若干子選項：
transport=dt_socket JPDA front-end和back-end之間的傳輸方法。dt_socket表示使用通訊端傳輸。
address=8888 JVM在8888連接埠上監聽請求，這個設定為一個不衝突的連接埠即可。
server=y y表示啟動的JVM是被調試者。如果為n，則表示啟動的JVM是調試器。
suspend=y y表示啟動的JVM會暫停等待，直到調試器串連上才繼續執行。suspend=n，則JVM不會暫停等待。

啟動Spark Application  本文以我自己的代碼舉例說明： 先將寫好的代碼打包放到伺服器上，然後執行下面代碼。如參數不懂可查官方文檔（註：一定要選擇yarn-client模式運行）： spark-submit --class spark.Demo --masteryarn-client /home/hadoop/apptest/spark-demo.jar /tmp/data.txt --executor-memory 1024m
在Eclipse設定遠端偵錯的ip和port




總結 啟動並執行jar檔案必須要和Eclipse上的源碼保持一致。