Hadoop： CDH 5--不同步的 JournalNode

Hadoop： CDH 5--不同步的 JournalNode

Author: Fu

cloudera manager出現了hdfs的警告，類似下圖：

  解決的思路是： 1、首先解決簡單的問題，查看警告提示的設定的閥值時多少，這樣就可以快速定位到問題在哪了，果然JournalNode Sync Status提示最先消去； 2、然後解決Sync Status問題，首先找到提示的解釋，在官網上可見。然後查看配置參數有無問題，沒問題就看log，果然在log中看到了報錯資訊； 3、最後可定位到該提示是由於JournalNode節點間同步檔案沒有保持一致，那麼使用修複（優雅）或是拷貝（不優雅）的方式即可解決； 4、針對一個問題，解決的方法有多種，有的是“優雅的辦法”，有的是“不優雅的辦法”，不幸的是我使用了“不優雅的辦法”解決了該問題。 如果哪位朋友知道怎麼可以初始化JournalNode下的dfs.journalnode.edits.dir目錄（把某個namenode上的namespace中繼資料同步到JournalNode節點上），可以告訴我哦，先謝了。   下面是解決問題的整個過程：
第一反應是肯定是JournalNode在同步namespace的鏡像和edit log時出現了點問題，很顯然是108和109兩個節點上的JournalNode同步出現了問題。 我這裡時配置了五個節點的JournalNode，現在有2個JournalNode出現了問題，理論上應該是warning，而不是critical。 當出現"Sync Status"、"JournalNode Sync Status"這一類提示的時候，在cloudera官網上時能找到相關解釋的，例如：關於namenode的health check在的提示在下面連結中是能找到相關說明的： 英文地址(推薦)： http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cm_ht_namenode.html 中文地址(有少量缺失)： http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ht_namenode.html
經過檢查，可以看見存放同步檔案的目錄/diskc/dfs/jn目錄找不到，ssh遠程連入該節點查看果然沒有這個目錄。 到這裡，基本上可以定位到問題了，解決的辦法有2種：一是通過相關命令來初始化這個目錄（我覺得這種方法才是解決該問題的正確方法），二是直接拷貝正常journalnode上的檔案過來。 本人使用的是方法二，這裡有一點需要注意，就是複製的時間不能過長，應該是不能超過journalnode_sync_status_startup_tolerance設定的值（個人理解），因為第一次打zip包下載在傳到其它節點上後使用就逾時了，第二次使用scp直接拷貝就可以了，命令如下： rm -rf journalhdfs1
scp -r -i /root/xxxxxxx.pem root@ip-xxx-xx-xx-111:/hadop-cdh-data/jddfs/nn/journalhdfs1 ./
chown -R hdfs:hdfs journalhdfs1 註：在namespace中繼資料過大時，需要注意dfs.image.transfer.bandwidthPerSec參數的設定，它是同步資料時的頻寬節流設定。 然後重啟了這兩個JournalNode（也可以先關閉，檔案複製好之後啟動）節點，問題解決。
http://www.cnblogs.com/leocook/p/hadoop_faq001.html