安裝redis和kafka的

標籤：

一,添加硬碟

1>掛載好新硬碟後輸入fdisk -l命令看當前磁碟資訊

2>可以看到除了當前的第一塊硬碟外還有一塊sdb的第二塊硬碟，然後用fdisk /dev/sdb 進行分區

3>進入fdisk命令，輸入h可以看到該命令的協助，按n進行分區

4>這裡輸入e即分為邏輯分區，按p即分為主要磁碟分割，我們要將這塊盤分為主要磁碟分割即輸入p

5>到這裡輸入該主要磁碟分割為第幾個主要磁碟分割，由於是新盤我們輸入1來分第一個主要磁碟分割

6>First Cylinder是選擇該分區的起始磁碟數，這裡可自訂也可不做選擇，預設是1，如無特殊需求強烈建議選擇預設，也就是1來分區（直接按斷行符號）

7>接下來是定義該分區的大小，如果按預設（按斷行符號）即是使用全部可用儲存額，也可以是用M或m單位結尾的數字(大寫M是大B的意思，如果輸入1M實際上是X8也就是8m的空間)，這裡我們先分一個1G的空間，所以輸入+1024m

8>之後輸入w寫入分區，等待結束皆可

9>再輸入fdisk -l 可以看到我們剛才分的一個分區，之後用mkfs -t ext3 -c /dev/sdb1進行格式化，如有多個分區可把sdb1改成sdb2 sdb3...以此類推，具體可用fdisk -l看到每個分區的名字

10>藍色部分是寫硬碟卷標的，如不想要卷標可直接按斷行符號，現在分區好了我們用mount 掛載一下該分區即可使用了，這裡我把它掛載到mnt目錄下，也可以自建一個目錄掛載

11>來看一下分區大小是否和預定的一樣，使用df -TH命令看一下當前掛載的分區和大小，看到我們剛分的分區了吧

12>如果想每次系統重啟都能自動掛載該分區可修改/etc/fstab檔案，在最後加一段 /dev/sdb1    /www    ext3    defaults 1 2 (格式說明：/dev/sdb1 代表哪個分區  ext3是該分區的格式 defaults 是掛載時所要設定的參數(唯讀，讀寫，啟用quota等)，輸入defaults包括的參數有(rw、dev、exec、auto、nouser、async) ，1是使用dump是否要記錄，0是不要。 2是開機時檢查的順序，是boot系統檔案就為1，其他檔案系統都為2，如不要檢查就為0)

二、安裝redis1>安裝

wget http://download.redis.io/redis-stable.tar.gz

tar xvzf redis-stable.tar.gz

cd redis-stable

make

2>配置

方便期間用cp命令複製到usr目錄下運行。

cp redis-server /usr/local/bin/

cp redis-cli /usr/local/bin/

然後建立目錄，存放設定檔

mkdir /etc/redis

mkdir /var/redis

mkdir /var/redis/log

mkdir /var/redis/run

mkdir /var/redis/6379

在redis解壓根目錄中找到設定檔範本，複製到如下位置。

cp redis.conf /etc/redis/6379.conf

通過vim命令修改

daemonize yes

pidfile /var/redis/run/redis_6379.pid

logfile /var/redis/log/redis_6379.log

dir /var/redis/6379

最後運行redis：

$ redis-server /etc/redis/6379.conf

三、安裝kafka1>安裝jdk2>安裝kafka

進入下載頁面：http://kafka.apache.org/downloads.html 

3> 配置

/bin 啟動和停止命令等。 

/config 設定檔 

/libs 類庫 

4>啟動和停止

1) 啟動Zookeeper server： 

bin/zookeeper-server-start.sh config/zookeeper.properties &

2)啟動Kafka server:

bin/kafka-server-start.sh config/server.properties &  

3) 停止

bin/kafka-server-stop.sh 

bin/zookeeper-server-stop.sh 

5> 單機連通性測試 

1) 運行producer：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

早版本的Kafka，--broker-list localhost:9092需改為--zookeeper localhost:2181 

2) 運行consumer：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在producer端輸入字串並斷行符號，查看consumer端是否顯示。

6> 分布式連通性測試

1) Zookeeper Server, Kafka Server, Producer都放在伺服器server1上，ip地址為192.168.1.10 

Consumer放在伺服器server2上，ip地址為192.168.1.12。 

2) 分別運行server1的producer和server2的consumer， 

bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test 

bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning

3) 在producer的console端輸入字串，consumer報Connection refused錯誤： 

broker, producer和consumer都註冊到zookeeper上，producer和consumer的參數明確指定。問題出在broker的設定檔server.properties上： 

檔案server.properties上

# Hostname the broker will bind to. If not set, the server will bind to all interfaces  

#host.name=localhost  

原因是host名稱沒有指定，就是127.0.0.1，consumer去broker拿資料就有問題。設定為192.168.1.10，重啟服務就好了。

安裝redis和kafka的