Storm入門教程 第三章 Storm安裝部署步驟[轉]

標籤：

本文以Twitter Storm官方Wiki為基礎，詳細描述如何快速搭建一個Storm叢集，其中，項目實踐中遇到的問題及經驗總結，在相應章節以“注意事項”的形式給出。

3.1 Storm叢集組件

Storm叢集中包含兩類節點：主控節點（Master Node）和工作節點（Work Node）。其分別對應的角色如下：

1. 主控節點（Master Node）上運行一個被稱為Nimbus的背景程式，它負責在Storm叢集內分發代碼，分配任務給工作機器，並且負責監控叢集運行狀態。Nimbus的作用類似於Hadoop中JobTracker的角色。

2. 每個工作節點（Work Node）上運行一個被稱為Supervisor的背景程式。Supervisor負責監聽從Nimbus分配給它執行的任務，據此啟動或停止執行任務的背景工作處理序。每一個背景工作處理序執行一個Topology的子集；一個運行中的Topology由分布在不同工作節點上的多個背景工作處理序組成。

 

Storm叢集組件

Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper叢集來實現的。此外，Nimbus和Supervisor進程都是快速失敗（fail-fast)和無狀態（stateless）的；Storm叢集所有的狀態要麼在Zookeeper叢集中，要麼儲存在本地磁碟上。這意味著你可以用kill -9來殺死Nimbus和Supervisor進程，它們在重啟後可以繼續工作。這個設計使得Storm叢集擁有不可思議的穩定性。

3.2 安裝Storm叢集

這一章節將詳細描述如何搭建一個Storm叢集。下面是接下來需要依次完成的安裝步驟：

1. 搭建Zookeeper叢集；

2. 安裝Storm依賴庫；

3. 下載並解壓Storm發布版本；

4. 修改storm.yaml設定檔；

5. 啟動Storm各個後台進程。

3.2.1 搭建Zookeeper叢集

Storm使用Zookeeper協調叢集，由於Zookeeper並不用於訊息傳遞，所以Storm給Zookeeper帶來的壓力相當低。大多數情況下，單個節點的Zookeeper叢集足夠勝任，不過為了確保故障恢複或者部署大規模Storm叢集，可能需要更大規模節點的Zookeeper叢集（對於Zookeeper叢集的話，官方推薦的最小節點數為3個）。在Zookeeper叢集的每台機器上完成以下安裝部署步驟：

1. 下載安裝Java JDK，官方下載連結為http://java.sun.com/javase/downloads/index.jsp，JDK版本為JDK 6或以上。

2. 根據Zookeeper叢集的負載情況，合理設定Java堆大小，儘可能避免發生swap，導致Zookeeper效能下降。保守起見，4GB記憶體的機器可以為Zookeeper分配3GB最大堆空間。

3. 下載後解壓安裝Zookeeper包，官方下載連結為http://hadoop.apache.org/zookeeper/releases.html。

4. 根據Zookeeper叢集節點情況，在conf目錄下建立Zookeeper設定檔zoo.cfg：

tickTime=2000 dataDir=/var/zookeeper/ clientPort=2181 initLimit=5 syncLimit=2 server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

其中，dataDir指定Zookeeper的資料檔案目錄；其中server.id=host:port:port，id是為每個Zookeeper節點的編號，儲存在dataDir目錄下的myid檔案中，zoo1~zoo3表示各個Zookeeper節點的hostname，第一個port是用於串連leader的連接埠，第二個port是用於leader選舉的連接埠。

5. 在dataDir目錄下建立myid檔案，檔案中只包含一行，且內容為該節點對應的server.id中的id編號。

6. 啟動Zookeeper服務：

java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg

或者

bin/zkServer.sh start

7. 通過Zookeeper用戶端測試服務是否可用：

java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181

或者

bin/zkCli.sh -server 127.0.0.1:2181

注意事項：

由於Zookeeper是快速失敗（fail-fast)的，且遇到任何錯誤情況，進程均會退出，因此，最好能通過監控程式將Zookeeper管理起來，保證Zookeeper退出後能被自動重啟。詳情參考這裡。 Zookeeper運行過程中會在dataDir目錄下產生很多日誌和快照檔案，而Zookeeper運行進程並不負責定期清理合并這些檔案，導致佔用大量磁碟空間，因此，需要通過cron等方式定期清除沒用的日誌和快照檔案。詳情參考這裡。具體命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

3.2.2 安裝Storm依賴庫

接下來，需要在Nimbus和Supervisor機器上安裝Storm的依賴庫，具體如下：

1. ZeroMQ 2.1.7 – 請勿使用2.1.10版本，因為該版本的一些嚴重bug會導致Storm叢集運行時出現奇怪的問題。少數使用者在2.1.7版本會遇到”IllegalArgumentException”的異常，此時降為2.1.4版本可修複這一問題。

2. JZMQ

3. Java 6

4. Python 2.6.6

5. unzip

以上依賴庫的版本是經過Storm測試的，Storm並不能保證在其他版本的Java或Python庫下可運行。

3.2.2.1 安裝ZMQ 2.1.7

下載後編譯安裝ZMQ：

wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make install

注意事項：

如果安裝過程報錯uuid找不到，則通過如下的包安裝uuid庫：sudo yum install e2fsprogslsudo yum install e2fsprogs-devel

3.2.2.2 安裝JZMQ

下載後編譯安裝JZMQ：

git clone https://github.com/nathanmarz/jzmq.gitcd jzmq./autogen.sh./configuremakesudo make install

為了保證JZMQ正常工作，可能需要完成以下配置：

1. 正確設定 JAVA_HOME環境變數
2. 安裝Java開發包
3. 升級autoconf
4. 如果你是Mac OSX，參考這裡

注意事項：

如果運行 ./configure 命令出現問題，參考這裡。

3.2.2.3 安裝Java 6

1. 下載並安裝JDK 6，參考這裡；

2. 配置JAVA_HOME環境變數；

3. 運行java、javac命令，測試java正常安裝。

3.2.2.4 安裝Python2.6.6

1. 下載Python2.6.6：

wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

2. 編譯安裝Python2.6.6：

tar –jxvf Python-2.6.6.tar.bz2 cd Python-2.6.6 ./configure make make install

3. 測試Python2.6.6：

python -V Python 2.6.6

3.2.2.5 安裝unzip

1. 如果使用RedHat系列Linux系統，執行以下命令安裝unzip：

yum install unzip

2. 如果使用Debian系列Linux系統，執行以下命令安裝unzip：

apt-get install unzip

3.2.3 下載並解壓Storm發布版本

下一步，需要在Nimbus和Supervisor機器上安裝Storm發行版本。

1. 下載Storm發行版本，推薦使用Storm0.8.1：

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

2. 解壓到安裝目錄下：

unzip storm-0.8.1.zip

3.2.4 修改storm.yaml設定檔

Storm發行版本解壓目錄下有一個conf/storm.yaml檔案，用於配置Storm。預設配置在這裡可以查看。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf/storm.yaml中進行配置的：

1) storm.zookeeper.servers: Storm叢集使用的Zookeeper叢集地址，其格式如下：

storm.zookeeper.servers: - “111.222.333.444″ - “555.666.777.888″

如果Zookeeper叢集使用的不是預設連接埠，那麼還需要storm.zookeeper.port選項。

2) storm.local.dir: Nimbus和Supervisor進程用於儲存少量狀態，如jars、confs等的本地磁碟目錄，需要提前建立該目錄並給以足夠的存取權限。然後在storm.yaml中配置該目錄，如：

storm.local.dir: "/home/admin/storm/workdir"

3) java.library.path: Storm使用的本地庫（ZMQ和JZMQ）載入路徑，預設為”/usr/local/lib:/opt/local/lib:/usr/lib”，一般來說ZMQ和JZMQ預設安裝在/usr/local/lib 下，因此不需要配置即可。

4) nimbus.host: Storm叢集Nimbus機器地址，各個Supervisor工作節點需要知道哪個機器是Nimbus，以便下載Topologies的jars、confs等檔案，如：

nimbus.host: "111.222.333.444"

5) supervisor.slots.ports: 對於每個Supervisor工作節點，需要配置該工作節點可以啟動並執行worker數量。每個worker佔用一個單獨的連接埠用於接收訊息，該配置選項即用於定義哪些連接埠是可被worker使用的。預設情況下，每個節點上可運行4個workers，分別在6700、6701、6702和6703連接埠，如：

supervisor.slots.ports:    - 6700    - 6701    - 6702    - 6703

3.2.5 啟動Storm各個後台進程

最後一步，啟動Storm的所有後台進程。和Zookeeper一樣，Storm也是快速失敗（fail-fast)的系統，這樣Storm才能在任意時刻被停止，並且當進程重啟後被正確地恢複執行。這也是為什麼Storm不在進程內儲存狀態的原因，即使Nimbus或Supervisors被重啟，運行中的Topologies不會受到影響。

以下是啟動Storm各個後台進程的方式：

1. Nimbus: 在Storm主控節點上運行”bin/storm nimbus >/dev/null 2>&1 &”啟動Nimbus背景程式，並放到後台執行；
2. Supervisor: 在Storm各個工作節點上運行”bin/storm supervisor >/dev/null 2>&1 &”啟動Supervisor背景程式，並放到後台執行；
3. UI: 在Storm主控節點上運行”bin/storm ui >/dev/null 2>&1 &”啟動UI背景程式，並放到後台執行，啟動後可以通過http://{nimbus host}:8080觀察叢集的worker資源使用方式、Topologies的運行狀態等資訊。

注意事項：

啟動Storm後台進程時，需要對conf/storm.yaml設定檔中設定的storm.local.dir目錄具有寫入權限。 Storm後台進程被啟動後，將在Storm安裝部署目錄下的logs/子目錄下產生各個進程的記錄檔。 經測試，Storm UI必須和Storm Nimbus部署在同一台機器上，否則UI無法正常工作，因為UI進程會檢查本機是否存在Nimbus連結。 為了方便使用，可以將bin/storm加入到系統內容變數中。

至此，Storm叢集已經部署、配置完畢，可以向叢集提交拓撲運行了。

3.3 向叢集提交任務

1. 啟動Storm Topology：

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology實現代碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。

2. 停止Storm Topology：

storm kill {toponame}

其中，{toponame}為Topology提交到Storm叢集時指定的Topology任務名稱。

3.4 參考資料

1. https://github.com/nathanmarz/storm/wiki/Tutorial

2. https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster

Storm入門教程 第三章 Storm安裝部署步驟[轉]