【轉載】HDFS 上傳檔案不均衡和Balancer太慢的問題

標籤：

向HDFS上傳檔案，如果是從某個datanode開始上傳檔案，會導致上傳的資料優先寫滿當前datanode的磁碟，這對於運行分布式程式是非常不利的。

解決的辦法：

1、從其他非datanode節點上傳

可以將hadoop的安裝目錄複寫一份到一個不在叢集中的節點（直接從非datanode的namenode上傳也可以，但是這樣不太好，會增加namenode的負擔，並且時間長了會讓namenode上放了各種亂七八糟的檔案），在這個節點上不啟動任何hadoop進程，但是可以當作用戶端使用。上傳檔案到叢集。

也可以自己寫一個上傳檔案的程式、在其他非叢集節點上運行來上傳檔案。在程式中要注意自己設定必要的配置，比如namenode的url、副本數等等，因為如果不設定，會使用你程式中所帶的hadoop jar包中的預設配置，而不是叢集的預設配置。

 

2、使用balancer

可以通過 ：

1. hdfs balancer -threshold XX  

來進行平衡，xx是一個百分比。關於這個命令的用法網上一搜一大堆。

 

但是預設情況下，這個平衡時非常慢的，因為預設的hadoop不允許balancer佔用很大的網路頻寬。

可以通過 ：hdfs dfsadmin -setBalanacerBandwidth newbandwidth

來設定頻寬，單位是位元組。這個值將覆蓋dfs.balance.bandwidthPerSec參數。

注意:新值在DataNode上不是持久的。

【轉載】HDFS 上傳檔案不均衡和Balancer太慢的問題