錯誤描述:直接啟動spark-shell,pia,出錯了,之前一直是這樣啟動的啊,一點錯也沒有。心情不好的時候真的想一刪了之,然後再下一個版本來用。可是想一想如果下載的也是這個樣子,那我豈不是浪費時間,又做重複的事情,賠了夫人又折兵,雖然我沒有夫人。。。。恩,還是靜心看了看錯誤,忽然想起前段時間使用spark sql 從hive裡面取資料來著,但是我的hive-site.xml和驅動包已經考到了對應的目錄了,怎麼還給我整這麼一出,我估計是沒有配置好路徑的問題。然後我就直接在啟動spark-shell的時候指定了spark-sql需要的驅動包,因為spark-shell啟動的時候會啟動spark-sql。錯誤記錄檔和解決方案如下:
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
at org.datanucleus.store.rdbms.connectionpool.DBCPConnectionPoolFactory.createConnectionPool(DBCPConnectionPoolFactory.java:50)
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)
... 127 more
解決方案:
[root@hadoop0 bin]# ./spark-shell --driver-class-path /usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar