Centos下 安裝和測試kafka

標籤：

系統Centos6.5

工具SecureCRT

1.首先下載kafka壓縮包

kafka_2.9.2-0.8.1.1.tgz

解壓

tar -zxvf kafka_2.9.2-0.8.1.1.tgz

 

2.修改設定檔

首先要有zookeeper ，安裝zookeeper 步驟在另外一隨筆裡 http://www.cnblogs.com/yovela/p/5178210.html

學到一個新命令：cd XXXX && ls就能進入同時查看檔案目錄

2.1.修改zookeeper.properties

vi config/zookeeper.properties

dataDir=/usr/program/zoopkeeper/zookeeper-3.4.5/tmp
clientPort=2181
maxClientCnxns=0

基本修改dataDir就可以了，其他的不要改，不記得了又要回來看

2.2.修改server.properties

vi server.properties

host.name=ip

log.dirs=/usr/program/kafka/kafka_2.9.2-0.8.1.1/kafka-logs

基本改這兩個就可以了

2.3.修改/etc/hosts

如果報unknownhostException,就去修改這裡

vi /etc/hosts

在最下面加上

ip    使用者名稱

ip是主機ip，使用者名稱是@符號後面跟著的那個

3.啟動 與 測試

3.1啟動zookeeper服務

在kafka目錄下

[[email protected] kafka_2.9.2-0.8.1.1]# bin/zookeeper-server-start.sh config/zookeeper.properties &

斷行符號後等它跑完，按斷行符號即可，這時用jps查看，可以看到QuorumPeerMain，說明zookeeper啟動好了

3.2 啟動kafka服務

[[email protected] kafka_2.9.2-0.8.1.1]# bin/kafka-server-start.sh config/server.properties &

斷行符號後等它跑完（會有兩次輸出，等待片刻），按斷行符號即可，這時用jps查看，可以看到kafka，說明kafka啟動好了

3.3建立topic

bin/kafka-topics.sh --zookeeper bogon:2181 --topic mytopic --replication-factor 1 --partitions 1 --create

bogon是我的host名，mytopic是topic名

斷行符號後等待片刻

最後會打出一句INFO Closing socket connection toXXXXXXX

不要慌，正常的

3.4

查看剛剛建立topic

bin/kafka-topics.sh --zookeeper bogon:2181 --list

輸出如上，在中間有 列出，最開始沒注意到，當時還以為 出錯了。。。。。。。

3.5運行producer

輸入hello kafka後按斷行符號

bin/kafka-console-producer.sh --broker-list bogon:9092 --topic mytopic  
hello kafka

3.6運行customer

SecureCRT新開一個會話，串連到這台服務，同樣進入kafka的目錄

bin/kafka-console-consumer.sh --zookeeper bogon:2181 --topic mytopic --from-beginning 

斷行符號後可以看到剛剛的hello kafka

ps:異常處理

報異常：

Failed to load class "org.slf4j.impl.StaticLoggerBinder"

解決方案：

下載slf4j-1.7.6.zip
wget http://www.slf4j.org/dist/slf4j-1.7.6.zip

解壓
unzip slf4j-1.7.6.zip

把slf4j-nop-1.7.6.jar 包複製到kafka libs目錄下面

 

最後，刪除topic

這個我還沒解決，log刪了，命令也打了，也重啟了，就是刪不掉，按照這個教程去做了，也還是list到被刪除的topic，有解決的小夥伴可以告訴我哈，http://www.aboutyun.com/blog-1415-887.html

 

推薦教程網址：

1.http://www.cnblogs.com/oftenlin/p/4047504.html

2.http://www.cnblogs.com/sunxucool/p/4459020.html

Centos下 安裝和測試kafka