用Shell指令碼過濾Hadoop中不能訪問的節點

標籤：指令碼   hadoop   叢集   ssh   

最近使用的一個叢集hp1，因為維護叢集的人不給力，節點總是過一段時間就掉一兩個。今天發現重啟hadoop時，HDFS已經進入保護模式了。

決定把slaves節點中的無法訪問的節點全部過濾掉，所以寫了一個小指令碼，在這裡記錄一下，以後方便直接拿來使用。

PS：用C Shell編寫的

代碼如下：

#!/bin/cshif ( $#argv < 1 ) thenecho "Usage: $0 host_file"exit 1endifset NODES = `cat $1`foreach NODE ( $NODES )ping -q -c 1 $NODE > /dev/nullif ( $? == 0 )thenecho $NODEendifend

順便附帶一個ssh檢查的指令碼：

#!/bin/cshset nodes = `cat slaves`foreach i ( $nodes )echo $issh $i exitend

用Shell指令碼過濾Hadoop中不能訪問的節點