spark-shell啟動的問題解決_hadoop

                                            spark-shell啟動的問題解決

     今兒在啟動spark-shell的時候模型奇妙的出現如下幾個問題

    1)連接埠佔用：4040連接埠被佔用，我們知道這裡的4040是worker的連接埠使用，但是被佔用啦，如下圖所示:

 

     使用如下命令：netstat -ap |grep 4040

tcp6       0      0 [::]:4040               [::]:*                  LISTEN      2456/java 

      發現被進程id 2456所佔用了連接埠。幹掉他

      kill   -9   2456

     2)因磁碟空間不足，記憶體不足，系統掉電等其他原因導致dataNode datablock丟失.從而進入了安全模式，使用如下命令bin/hadoop dfsadmin -safemode leave。再繼續掃描磁碟，刪除壞塊兒bin/hdfs fsck / -delete之後就可以使用了。

Minimally replicated blocks:   0 (0.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     0.0
 Corrupt blocks:                43
 Missing replicas:              0
 Number of data-nodes:          0
 Number of racks:               0
FSCK ended at Fri Mar 25 20:51:22 PDT 2016 in 103 milliseconds