hadoop問題總結:datanode啟動後,在web50070連接埠發現不到datanode節點(能力工場)

標籤：hadoop   datanode   namenode   

直接上問題:這兩天為了實驗,安裝了兩套叢集:

    (1)32位hadoop1叢集(5個節點);

    (2)64位hadoop2叢集(6個節點)

   兩個叢集中都遇到過這樣的問題:在namenode正常啟動hadoop叢集後,查看datanode是正常的顯示存在進程,但是在web介面中查看的時候,探索資料節點全部屬於宕機,或者就是乾脆直接沒有datanode.還有種情況,datanode啟動後,jps查看是在的,但是一會再去查看,發現掛掉了.還有就是,儲存空間顯示佔用100%

    其實這兩個叢集問題是一樣的,都是由於我自己在格式化namenode之後,沒有去刪除主從節點上面的用於儲存資料的檔案夾(即dfs.name.dir配置的路徑下的檔案),導致內部namenode存在的關於檔案系統的元資訊和資料節點對應不上造成的.

解決方案:

刪除掉各個節點上面的tmp(可能與我設定的路徑和檔案不同,對應你自己在hdfs-site.xml中設定的dfs.name.dir路徑就好了),然後格式化叢集,最後重啟叢集,問題搞定了.

本文出自 “小馬哥” 部落格，請務必保留此出處http://nengli100.blog.51cto.com/7607178/1577430

hadoop問題總結:datanode啟動後,在web50070連接埠發現不到datanode節點(能力工場)