Redis-cluster叢集【第四篇】：redis-cluster叢集配置

標籤：

Redis分區：

為什麼要分區：隨著Redis儲存的資料越來越龐大，會導致Redis的效能越來越差！

目前分區的方法：

1、用戶端分區在應用程式層面分區，程式裡指定什麼資料存放在那個Redis  優勢：比較靈活    缺點：加個節點擴容就很費勁2、代理Proxy分區  第三方的Twemproxy  使用代理的缺點，你代理什麼效能，那麼你整個Redis的效能就是什麼樣的！3、redis cluster4、codis （豌豆莢）開源  Redis cluster： 這裡摘錄：http://redisdoc.com/topic/cluster-tutorial.html#id2 叢集分區：
Redis 叢集使用資料分區（sharding）而非一致性雜湊（consistency hashing）來實現： 一個 Redis 叢集包含 16384 個雜湊槽（hash slot）， 資料庫中的每個鍵都屬於這 16384 個雜湊槽的其中一個， 叢集使用公式 CRC16(key) % 16384 來計算鍵 key 屬於哪個槽， 其中 CRC16(key) 語句用於計算鍵 key 的 CRC16 校正和 。 叢集中的每個節點負責處理一部分雜湊槽。 舉個例子， 一個叢集可以有三個雜湊槽， 其中：

    * 節點 A 負責處理 0 號至 5500 號雜湊槽。
    * 節點 B 負責處理 5501 號至 11000 號雜湊槽。
    * 節點 C 負責處理 11001 號至 16384 號雜湊槽。

這種將雜湊槽分布到不同節點的做法使得使用者可以很容易地向叢集中添加或者刪除節點。 比如說：

    * 如果使用者將新節點 D 添加到叢集中， 那麼叢集只需要將節點 A 、B 、 C 中的某些槽移動到節點 D 就可以了。
    * 與此類似， 如果使用者要從叢集中移除節點 A ， 那麼叢集只需要將節點 A 中的所有雜湊槽移動到節點 B 和節點 C ， 然後再移除空白（不包含任何雜湊槽）的節點 A 就可以了。

因為將一個雜湊槽從一個節點移動到另一個節點不會造成節點阻塞， 所以無論是添加新節點還是移除已存在節點， 又或者改變某個節點包含的雜湊槽數量， 都不會造成叢集下線。
Redis 叢集中的主從複製
為了使得叢集在一部分節點下線或者無法與叢集的大多數（majority）節點進行通訊的情況下， 仍然可以正常運作， Redis 叢集對節點使用了主從複製功能： 叢集中的每個節點都有 1 個至 N 個複製品（replica）， 其中一個複製品為主節點（master）， 而其餘的 N-1 個複製品為從節點（slave）。
在之前列舉的節點 A 、B 、C 的例子中， 如果節點 B 下線了， 那麼叢集將無法正常運行， 因為叢集找不到節點來處理 5501 號至 11000 號的雜湊槽。
另一方面， 假如在建立叢集的時候（或者至少在節點 B 下線之前）， 我們為主節點 B 添加了從節點 B1 ， 那麼當主節點 B 下線的時候， 叢集就會將 B1 設定為新的主節點， 並讓它代替下線的主節點 B ， 繼續處理 5501 號至 11000 號的雜湊槽， 這樣叢集就不會因為主節點 B 的下線而無法正常運作了。

不過如果節點 B 和 B1 都下線的話， Redis 叢集還是會停止運作。

Redis 叢集的一致性保證（guarantee）
Redis 叢集不保證資料的強一致性（strong consistency）： 在特定條件下， Redis 叢集可能會丟失已經被執行過的寫命令。
使用非同步複製（asynchronous replication）是 Redis 叢集可能會丟失寫命令的其中一個原因。 考慮以下這個寫命令的例子：

    * 用戶端向主節點 B 發送一條寫命令。
    * 主節點 B 執行寫命令，並向用戶端返回命令回複。
    * 主節點 B 將剛剛執行的寫命令複製給它的從節點 B1 、 B2 和 B3 。

如你所見， 主節點對命令的複製工作發生在返回命令回複之後， 因為如果每次處理命令請求都需要等待覆制操作完成的話， 那麼主節點處理命令請求的速度將極大地降低 —— 我們必須在效能和一致性之間做出權衡。
如果真的有必要的話， Redis 叢集可能會在將來提供同步地（synchronou）執行寫命令的方法。
Redis 叢集另外一種可能會丟失命令的情況是， 叢集出現網路分裂（network partition）， 並且一個用戶端與至少包括一個主節點在內的少數（minority）執行個體被孤立。
舉個例子， 假設叢集包含 A 、 B 、 C 、 A1 、 B1 、 C1 六個節點， 其中 A 、B 、C 為主節點， 而 A1 、B1 、C1 分別為三個主節點的從節點， 另外還有一個用戶端 Z1 。
假設叢集中發生網路分裂， 那麼叢集可能會分裂為兩方， 大多數（majority）的一方包含節點 A 、C 、A1 、B1 和 C1 ， 而少數（minority）的一方則包含節點 B 和用戶端 Z1 。
在網路分裂期間， 主節點 B 仍然會接受 Z1 發送的寫命令：

    * 如果網路分裂出現的時間很短， 那麼叢集會繼續正常運行；
    * 但是， 如果網路分裂出現的時間足夠長， 使得大多數一方將從節點 B1 設定為新的主節點， 並使用 B1 來代替原來的主節點 B ， 那麼 Z1 發送給主節點 B 的寫命令將丟失。

注意， 在網路分裂出現期間， 用戶端 Z1 可以向主節點 B 發送寫命令的最大時間是有限制的， 這一時間限制稱為節點逾時時間（node timeout）， 是 Redis 叢集的一個重要的配置選項：

    * 對於大多數一方來說， 如果一個主節點未能在節點逾時時間所設定的時限內重新聯絡上叢集， 那麼叢集會將這個主節點視為下線， 並使用從節點來代替這個主節點繼續工作。
    * 對於少數一方， 如果一個主節點未能在節點逾時時間所設定的時限內重新聯絡上叢集， 那麼它將停止處理寫命令， 並向用戶端報告錯誤。

Redis Cluster安裝：

1、安裝環境：首先確保安裝了Redis

cd /opt/mkdir `seq 7001 7008`cp /etc/redis/6379.conf ./把相關的資訊都統一修改為：6379  （連接埠、記錄檔、儲存dir持久化）sed  ‘s/6379/7001/g‘ 6379.conf > 7001/redis.confsed  ‘s/6379/7002/g‘ 6379.conf > 7002/redis.confsed  ‘s/6379/7003/g‘ 6379.conf > 7003/redis.confsed  ‘s/6379/7004/g‘ 6379.conf > 7004/redis.confsed  ‘s/6379/7005/g‘ 6379.conf > 7005/redis.confsed  ‘s/6379/7006/g‘ 6379.conf > 7006/redis.confsed  ‘s/6379/7007/g‘ 6379.conf > 7007/redis.confsed  ‘s/6379/7008/g‘ 6379.conf > 7008/redis.conffor i in `seq 7001 7009`;do cd /opt/$i && /usr/local/bin/redis-server redis.conf ; done

 2、安裝管理工具，源碼內建了一個管理Cluster叢集的工具是用ruby寫的所以需要安裝ruby

yum -y install ruby rubygems 安裝ruby的管理工具redisgem install redis  

 3、複製管理工具

cp /opt/redis-3.0.4/src/redis-trib.rb /usr/local/bin/redis-trib查看redis-trib協助redis-trib help

 4、建立叢集  7001-7006   6個redis為叢集node           7007-7008   “2個redis為back node”

[[email protected]]$ redis-trib create --replicas 1 192.168.0.201:7001 192.168.0.201:7002 192.168.0.201:7003 192.168.0.201:7004 192.168.0.201:7005 192.168.0.201:7006>>> Creating clusterConnecting to node 192.168.0.201:7001: OKConnecting to node 192.168.0.201:7002: OKConnecting to node 192.168.0.201:7003: OKConnecting to node 192.168.0.201:7004: OKConnecting to node 192.168.0.201:7005: OKConnecting to node 192.168.0.201:7006: OK>>> Performing hash slots allocation on 6 nodes...Using 3 masters:192.168.0.201:7001192.168.0.201:7002192.168.0.201:7003                                                                          Adding replica 192.168.0.201:7004 to 192.168.0.201:7001Adding replica 192.168.0.201:7005 to 192.168.0.201:7002Adding replica 192.168.0.201:7006 to 192.168.0.201:7003M: 699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001                              slots:0-5460 (5461 slots) masterM: 96892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002   slots:5461-10922 (5462 slots) masterM: f702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003   slots:10923-16383 (5461 slots) masterS: d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004                              replicates 699f318027f87f3c49d48e44116820e673bd306aS: d880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005   replicates 96892fd3f51292e922383ddb6e8018e2f772deedS: a77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006   replicates f702fd03c1e3643db7e385915842533ba5aab98dCan I set the above configuration? (type ‘yes‘ to accept):  YES>>> Nodes configuration updated>>> Assign a different config epoch to each node>>> Sending CLUSTER MEET messages to join the clusterWaiting for the cluster to join...>>> Performing Cluster Check (using node 192.168.0.201:7001)M: 699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001   slots:0-5460 (5461 slots) masterM: 96892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002   slots:5461-10922 (5462 slots) masterM: f702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003   slots:10923-16383 (5461 slots) masterM: d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004   slots: (0 slots) master   replicates 699f318027f87f3c49d48e44116820e673bd306aM: d880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005   slots: (0 slots) master   replicates 96892fd3f51292e922383ddb6e8018e2f772deedM: a77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006   slots: (0 slots) master   replicates f702fd03c1e3643db7e385915842533ba5aab98d[OK] All nodes agree about slots configuration.>>> Check for open slots...>>> Check slots coverage...[OK] All 16384 slots covered. #create --replicas 1    這裡--replicas 1 是指定複製幾份，相當於每個master有幾個從#redis cluaster最低要求有3個master#master的定義  host1:port host2:port  host3:port如果--replicas 1 那麼：#host1:port == master  host2:port 是：host1:port 是host1:port 從#如果--replicas 2 那麼：#host1:port == master host2:port & host3:port 是host1:port 的從M: 這個是cluaster 自動產生的ID 叢集在通訊的時候是使用這個ID來區分的

 4、串連cluster，（串連任意的Cluster叢集中的伺服器即可）

redis-cli -c -h 192.168.0.201 -p 7001   的需要加-c的參數   可以串連叢集的任意節點！192.168.0.201:7001> cluster nodes  查看cluster節點f702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003 master - 0 1444813870405 3 connected 10923-16383699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001 myself,master - 0 0 1 connected 0-5460d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004 slave 699f318027f87f3c49d48e44116820e673bd306a 0 1444813870105 4 connecteda77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006 slave f702fd03c1e3643db7e385915842533ba5aab98d 0 1444813868605 6 connected96892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002 master - 0 1444813869405 2 connected 5461-10922d880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005 slave 96892fd3f51292e922383ddb6e8018e2f772deed 0 1444813869105 5 connected192.168.0.201:7001> cluster info  查看cluster資訊cluster_state:okcluster_slots_assigned:16384cluster_slots_ok:16384cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:6cluster_size:3cluster_current_epoch:6cluster_my_epoch:1cluster_stats_messages_sent:1809cluster_stats_messages_received:1809

5、叢集擴容

redis-trib add-node 192.168.0.201:7007 192.168.0.201:7001  命令解釋：redis-trib add-node 要加的節點和連接埠  現有任意節點和連接埠加完之後查看結果：192.168.0.201:7001> cluster infocluster_state:okcluster_slots_assigned:16384cluster_slots_ok:16384cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:7cluster_size:3cluster_current_epoch:6cluster_my_epoch:1cluster_stats_messages_sent:2503cluster_stats_messages_received:2503192.168.0.201:7001> cluster nodesf702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003 master - 0 1444814061587 3 connected 10923-16383699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001 myself,master - 0 0 1 connected 0-5460d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004 slave 699f318027f87f3c49d48e44116820e673bd306a 0 1444814062087 4 connecteda77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006 slave f702fd03c1e3643db7e385915842533ba5aab98d 0 1444814061087 6 connecteda1301a9e1fd24099cd8dc49c47f2263e3124e4d6 192.168.0.201:7007 master - 0 1444814063089 0 connected96892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002 master - 0 1444814062589 2 connected 5461-10922d880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005 slave 96892fd3f51292e922383ddb6e8018e2f772deed 0 1444814061587 5 connected192.168.0.201:7001>  

 6、新加上來沒有資料-及沒有槽位，我們可以用命令讓他重新分區（分區）

redis-trib reshard 192.168.0.201:7007

 7、在添加一個伺服器做從

在添加一個7008 讓他做7008的從[[email protected]]$ redis-trib add-node 192.168.0.201:7008 192.168.0.201:7001加進來之後預設就是mater但是他沒有任何的槽位192.168.0.201:7001> cluster nodesf702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003 master - 0 1444814915795 3 connected 11089-16383699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001 myself,master - 0 0 1 connected 166-5460d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004 slave 699f318027f87f3c49d48e44116820e673bd306a 0 1444814917298 4 connecteda77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006 slave f702fd03c1e3643db7e385915842533ba5aab98d 0 1444814916297 6 connecteda02a66e0286ee2f0a9b5380f7584b9b20dc032ff 192.168.0.201:7008 master - 0 1444814915796 0 connecteda1301a9e1fd24099cd8dc49c47f2263e3124e4d6 192.168.0.201:7007 master - 0 1444814915295 7 connected 0-165 5461-5627 10923-1108896892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002 master - 0 1444814916898 2 connected 5628-10922d880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005 slave 96892fd3f51292e922383ddb6e8018e2f772deed 0 1444814916798 5 connected然後串連到7008的這個redis執行個體上，然後複製7007的ID192.168.0.201:7008> cluster replicate a1301a9e1fd24099cd8dc49c47f2263e3124e4d6OK然後看下：192.168.0.201:7008> cluster nodes699f318027f87f3c49d48e44116820e673bd306a 192.168.0.201:7001 master - 0 1444815074072 1 connected 166-5460a1301a9e1fd24099cd8dc49c47f2263e3124e4d6 192.168.0.201:7007 master - 0 1444815073071 7 connected 0-165 5461-5627 10923-1108896892fd3f51292e922383ddb6e8018e2f772deed 192.168.0.201:7002 master - 0 1444815073671 2 connected 5628-10922a77b16c4f140c0f5c17c907ce7ee5e42ee2a7b02 192.168.0.201:7006 slave f702fd03c1e3643db7e385915842533ba5aab98d 0 1444815073571 3 connectedf702fd03c1e3643db7e385915842533ba5aab98d 192.168.0.201:7003 master - 0 1444815072571 3 connected 11089-16383d0994ce7ef68c0834030334afcd60013773f2e77 192.168.0.201:7004 slave 699f318027f87f3c49d48e44116820e673bd306a 0 1444815073071 1 connectedd880581504caff4a002242b2b259d5242b8569fc 192.168.0.201:7005 slave 96892fd3f51292e922383ddb6e8018e2f772deed 0 1444815073871 2 connecteda02a66e0286ee2f0a9b5380f7584b9b20dc032ff 192.168.0.201:7008 myself,slave a1301a9e1fd24099cd8dc49c47f2263e3124e4d6 0 0 0 connected192.168.0.201:7008>

8、Cluster的主從複製這個操作也是向master發送請求，然後master做個BGSAVE然後拿過來之後重載一下！如果master特別大的所以要起個多個redis執行個體，每個裡面存一部分。
也需要注意，涉及到多key的操作！是不行的因為你不同的key存在不同的地方！

192.168.7.107:7002> set key101 shuaige-> Redirected to slot [1601] located at 192.168.7.107:7001OK192.168.7.107:7001> set key102 shuaige-> Redirected to slot [13858] located at 192.168.7.107:7003OK192.168.7.107:7003> set key103 shuaige-> Redirected to slot [9731] located at 192.168.7.107:7002OK192.168.7.107:7002> set key104 shuaige-> Redirected to slot [5860] located at 192.168.7.107:7007OK192.168.7.107:7007> set key105 shuaige-> Redirected to slot [1733] located at 192.168.7.107:7001OK192.168.7.107:7001> 

 

Redis-cluster叢集【第四篇】：redis-cluster叢集配置