Windows OS上安裝運行Apache Kafka教程

標籤：ons   xib   zookeeper   describe   tps   分布式   jre   視頻   data   

下面是分步指南，教你如何在Windows OS上安裝運行Apache Zookeeper和Apache Kafka。

 

簡介

 

本文講述了如何在Windows OS上配置並啟動Apache Kafka，這篇指南將會指導你安裝Java和Apache Zookeeper。

 

Apache Kafka是一個快速可擴充的訊息佇列，能夠應對繁重的讀寫負載，即IO相關工作。更多資訊請參見http://kafka.apache.org。由於Zookeeper能提供可靠的分布式協調服務，Apache Kafka需要運行一個Zookeeper執行個體。更多Zookeeper的相關資訊請查看https://zookeeper.apache.org/。

 

關於在Windows安裝Kafka的具體步驟，可以查看這個視頻：https://youtu.be/OJKesEpO6ok

 

下載所需檔案

 

• 根據系統OS和CPU架構，在這裡下載Server JRE http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

• 在這裡下載並安裝7-zip http://www.7-zip.org/download.html

• 在這裡下載Zookeeper，並用7-zip解壓 http://zookeeper.apache.org/releases.html

• 在這裡下載Kafka並用7-zip解壓 http://kafka.apache.org/downloads.html

 

針對此教程，我們將Zookeeper與Kafka解壓到C盤，不過也可以選擇其他位置。這裡我們要使用完全的zookeeper，而不是用Kafka打包的那個，因為這是一個單節點的Zookeeper執行個體。也可以運行打包了zookeeper的Kafka，位置在\kafka\bin\windows庫中。

 

安裝

 

A. JDK安裝

 

1.啟動JRE安裝，選中複選框“修改目標路徑”，然後點擊安裝。

 

 

2.修改安裝目錄，檔案夾名稱中不能有空格，例如：C:\Java\jre1.8.0_xx\（預設情況下是C:\Program Files\Java\jre1.8.0_xx），然後點擊下一步。

3.現在點擊控制台->系統->進階系統設定->環境變數，開啟系統內容變數對話方塊。

4.點擊使用者變數中的新使用者變數按鈕，然後在變數名稱那裡輸入JAVA_HOME，並將自訂的jre路徑填入變數值。如所示：

 

 

Java路徑與版本可能會根據所使用Kafka的版本而有所改變

 

5.現在點擊ok。

6.剛才開啟的“環境變數“對話方塊中有“系統變數”一欄，在其中尋找路徑變數。

7.編輯路徑與類型“;%JAVA_HOME%\bin”，如：

 

 

8.確認Java安裝開啟cmd，輸入類型“java –version”，應該能夠看到剛剛安裝的java版本。

 

 

如果命令列提示與類似，請繼續。否則，需要重新檢查安裝版本是否與OS架構匹配（x86, x64），以及環境變數路徑是否正確。

 

B. Zookeeper安裝

 

1.進入Zookeeper設定目錄，比如C:\zookeeper-3.4.7\conf

2. 將“zoo_sample.cfg”重新命名為“zoo.cfg”。

3. 在任意文字編輯器（如notepad）中開啟zoo.cfg，我個人更喜歡notepad++。

4. 找到並編輯dataDir=/tmp/zookeeper to :\zookeeper-3.4.7\data

5. 與Java中的做法類似，我們在系統內容變數中添加：

　　a. 在系統變數中添加ZOOKEEPER_HOME = C:\zookeeper-3.4.7

　　b. 編輯系統變數，命名為路徑 System Variable%ZOOKEEPER_HOME%\bin;

6. 在zoo.cfg檔案中修改預設的Zookeeper連接埠（預設連接埠2181）。

7. 開啟新的cmd，輸入zkserver，運行Zookeeper。

8. 命令列提示如下：

 

 

恭喜，Zookeeper已經完成並在連接埠2181運行。

 

C. 安裝Kafka

 

1. 進入Kafka配置目錄，例如C:\kafka_2.11-0.9.0.0\config

2. 編輯檔案“server.properties”

3. 找到並編輯“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs”

4. 如果Zookeeper在某些其他的機器或叢集上運行，可以將“zookeeper.connect:2181”修改為自訂IP與連接埠。在這個示範中我們使用了同一個機器，因此沒必要做修改。檔案中的Kafka連接埠和broker.id也是可以配置的。其他設定不變。

5. Kafka會按照預設，在9092連接埠上運行，並串連zookeeper的預設連接埠：2181。

 

D. 運行Kafka伺服器

 

重要：請確保在啟動Kafka伺服器前，Zookeeper執行個體已經準備好並開始運行。

 

1.進入Kafka安裝目錄C:\kafka_2.11-0.9.0.0\

2.按下Shift+右鍵，選擇“開啟命令視窗”選項，開啟命令列。

3.現在輸入.\bin\windows\kafka-server-start.bat .\config\server.properties 並斷行符號。

 

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

 

4.如果一切正常，命令列應當是這樣：

 

 

5.現在Kafka已經準備好並開始運行，可以建立主題來儲存訊息了。我們也能從Java/Scala代碼中，或直接從命令列中產生或使用資料。

 

E. 建立主題

 

1. 現在建立主題，命名為“test”，replication factor=1（因為只有1個Kafka伺服器在運行）。如果叢集中所啟動並執行Kafka伺服器不止1個，可以相應增加replication-factor，從而提高資料可用性和系統容錯性。

2. 在C:\kafka_2.11-0.9.0.0\bin\windows開啟新的命令列。

3. 輸入下面的命令，斷行符號：

 

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

 

F. 建立Producer及Consumer來測試伺服器。

 

1.在C:\kafka_2.11-0.9.0.0\bin\windows開啟新的命令列。

2.輸入以下命令，啟動producer：

 

kafka-console-producer.bat --broker-list localhost:9092 --topic test

 

3.在同樣的位置C:\kafka_2.11-0.9.0.0\bin\windows再次開啟新的命令列。

4.現在輸入下列命令啟動consumer：

 

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

 

5.現在有兩個命令列視窗，如：

 

 

6.在producer命令列中任意輸入內容，斷行符號；在其他consumer命令列中能看到相應訊息。

 

 

7.如果能夠將訊息推送到consumer端並顯示出來的話，Kafka安裝就完成了。

一些有用的命令

 

1. 列出主題：kafka-topics.bat –list –zookeeper localhost:2181

2. 描述主題：kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

3. 從頭讀取訊息：kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning

4. 刪除主題：kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181

 

    原文地址：Setting Up and Running Apache Kafka on Windows OS

    文章Gopal Tiwari

    譯者：孫薇

    責編：仲浩

Windows OS上安裝運行Apache Kafka教程