Linux系統之工具篇(二)叢集管理軟體clustershell,linuxclustershell
一、簡介實驗室機房有大概百台的伺服器需要管理,加上需要搭建Hadoop以及Spark叢集等,因此,一個輕量級的叢集管理軟體就顯得非常有必要了。經過一段時間的瞭解以及嘗試,最終選擇了clustershell這個軟體,原因如下:1、安裝方便。一條指令就能輕鬆安裝。2、配置方便。很多叢集管理軟體都需要在所有的伺服器上都安裝軟體,而且還要進行很多的串連操作。clustershell就相當的方便了,僅僅需要所有機器能夠ssh無密碼登入即可,然後只在一台伺服器上安裝clustershell即可。3、使用方便。clustershell的命令相對來說非常簡單,只有一兩個指令以及三四個參數需要記。二、安裝1.安裝clustershell安裝非常簡單,只有一條指令即可,一般伺服器都是紅帽系列的,使用yum安裝。
yum install clustershell
2.配置ssh無密碼登入配置ssh登入相對比較簡單,在搭建hadoop叢集的時候都會需要這一步。3.配置/etc/hosts在hosts中檔案中將ip和主機名稱對應起來,使用比較方便。
4.配置關鍵檔案clustershell的設定檔在/etc/clustershell目錄下,其中的groups是最常用的,我只配置了這一個檔案。
其中all這一項後面添加的是所有的節點。hadoop這一項是我自己添加的group,也可以添加其他的組。
三、使用clustershell在使用的時候有一個非常重要的指令就是clush,目前為止我也只用到了這一個指令。clush [-option] 後面就是日常的linux上執行的指令即可,沒什麼複雜的,都十分簡單。但是有一點要注意,clustershell執行的類似與一次操作的指令,比如你可以touch一個新檔案在所有節點上,但是你不能同時在所有節點上vim編輯一個新檔案。細節還需琢磨。clush有幾個比較重要的參數: -b : 相同輸出結果合并-w : 指定節點-a : 所有節點-g : 指定組--copy : 群發檔案1.查看所有節點的java安裝路徑,輸出結果合并
clush -b -a echo $JAVA_HOME
2.查看hadoop組所有節點的java安裝路徑,輸出結果不合并
clush -g hadoop echo $JAVA_HOME
3.在所有節點上建立一個空檔案
clush -g hadoop touch 1.txt
4.叢集分發檔案把本地的一個groups檔案分發到hadoop組中所有節點的/home/hadoop目錄下
clush -b -g hadoop --copy groups --dest /home/hadoop
四、官方文檔clustershell還有很多功能,但是需求驅動學習,目前我能用到的功能在上面體現了,有需求的話會再學習深一點。上傳一個官方文檔,有深入學習clustershell,可以下載一下。http://download.csdn.net/detail/picassolovecoding/8073989
有更好玩的功能可以互相交流。