Hadoop營運那些事

在實際的生產環境營運一個Hadoop叢集有一些必須要關注的事情。

1、Namenode的高可靠性

2、節點配置與管理

3、Mapreduce的記憶體配置

4、啟用trash

首要的是保證資料安全可靠，其次再去考慮儲存效率、計算效率、營運效率的最佳化與提高，當你覺得Hadoop叢集的效能太差太差的時候，其實是你對Hadoop的瞭解太少，Hadoop的效率沒有被發揮出來。

資料的可靠性，可以通過高可用、高可靠的NameNode，以及具體資料多副本來實現。啟用Trash可以讓你在誤刪除資料之後快要絕望的時候給你反悔的機會，這個一定要啟動的，就算你設定的時間短一點都沒有關係，後悔藥就靠它了。

節點的配置就太多了，最為重要當屬不同配置的機器要有自己個人化的配置了，尤其是記憶體的配置最為重要。

參考文獻：

http://www.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/

MapReduce: 提高MapReduce效能的七點建議[譯] 

Hadoop學習總結之五：Hadoop的運行痕迹 

Hadoop管理員的十個最佳實務

Hadoop平台最佳化綜述（一）

Hadoop維護管理

hadoop叢集管理之 Namenode恢複

hadoop叢集管理之 添加節點datanode

hadoop叢集管理之 刪除節點

hadoop叢集管理之 Hadoop資源回收筒trash

2012華東營運技術大會的資料--hadoop營運經驗分享

Hadoop-0.20.2 作業記憶體控制策略

Hadoop-0.21.0公平調度器演算法分析

Apache hadoop的mail list

Cloudera CDH google group

http://wiki.apache.org/hadoop/