spark-sql用hive表格，在yarn-cluster模式下運行遇到的問題及解決辦法

標籤：

1、編程時無法載入hive包，需要在編譯好的spark(用spark-shell啟動，用spark-sql能夠直接存取hive表)的lib目錄下，考出assembly包，為其建立一個maven的repository，然後添加到dependency裡面。最笨的建立repository的辦法就是直接建立相應路徑，然後把spark-core裡面的.pom修改一下target裡面的名稱，直接copy。

2、用yarn-cluster提交時，遇到：spark sql java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive這樣的問題，這是程式沒有將$SPARK_HOME/lib裡面的datanucleus包匯入，在--jars裡面加入即可：$(echo $SPARK_HOME/lib/*.jar| tr ‘ ‘ ‘\n‘ | grep datanucleus | tr ‘\n‘ ‘,‘)

3、載入jar包後，發現遇到： spark metastore.RetryingHMSHandler: NoSuchObjectException錯誤，這是spark沒有找到hive-site.xml檔案，在--files裡面加入即可。

spark-sql用hive表格，在yarn-cluster模式下運行遇到的問題及解決辦法