redis的分布式解決方式--codis

標籤：

codis是豌豆莢開源的分布式server。眼下處於穩定階段。

原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md

Codis 是一個分布式 Redis 解決方式, 對於上層的應用來說, 串連到 Codis Proxy 和串連原生的 Redis Server 沒有明顯的差別 (不支援的命令列表), 上層應用能夠像使用單機的 Redis 一樣使用, Codis 底層會處理請求的轉寄, 不停機的資料移轉等工作, 全部後邊的一切事情, 對於前面的client來說是透明的, 能夠簡單的覺得後邊串連的是一個記憶體無限大的 Redis 服務.

基本架構例如以下：

Codis 由四部分組成:

Codis Proxy (codis-proxy)
Codis Manager (codis-config)
Codis Redis (codis-server)
ZooKeeper

codis-proxy 是client串連的 Redis 代理服務, codis-proxy 本身實現了 Redis 協議, 表現得和一個原生的 Redis 沒什麼差別 (就像 Twemproxy), 對於一個業務來說, 能夠部署多個 codis-proxy, codis-proxy 本身是無狀態的.

codis-config 是 Codis 的管理工具, 支援包含, 加入/刪除 Redis 節點, 加入/刪除 Proxy 節點, 發起資料移轉等操作. codis-config 本身還內建了一個 http server, 會啟動一個 dashboard, 使用者能夠直接在瀏覽器上觀察 Codis 叢集的執行狀態.

codis-server 是 Codis 項目維護的一個 Redis 分支, 基於 2.8.13 開發, 增加了 slot 的支援和原子的資料移轉指令. Codis 上層的 codis-proxy 和 codis-config 僅僅能和這個版本號碼的 Redis 互動才幹正常執行.

ZooKeeper(下面簡稱ZK)是一個分布式協調服務架構。能夠做到各節點之間的資料強一致性。簡單的理解就是在一個節點改動某個變數的值後。在其它節點能夠最新的變化。這樣的變化是事務性的。

通過在ZK節點上注冊監聽器，就能夠獲得資料的變化。

Codis 依賴 ZooKeeper 來存放資料路由表和 codis-proxy 節點的元資訊, codis-config 發起的命令都會通過 ZooKeeper 同步到各個存活的 codis-proxy.

註：1.codis新版本號碼支援redis到2.8.21

2.codis-group實現redis的水平擴充

以下我們來部署環境：

10.80.80.124 zookeeper_1 codis-configcodis-server-master,slavecodis_proxy_1

10.80.80.126 zookeeper_2 codis-server-master,slavecodis _proxy_2

10.80.80.123 zookeeper_3 codis-serve-master,slavecodis _proxy_3

說明：

1.為了確保zookeeper的穩定性與可靠性。我們在124、126、123上搭建zookeeper叢集來對外提供服務；

2.codis-cofig作為分布式redis的管理工具。在整個分布式server中僅僅須要一個就能夠完畢管理工作。

3.codis-server和codis-proxy在3台伺服器提供redis和代理服務。

 

一.部署zookeeper叢集

1.配置hosts（在3台server上）

10.80.80.124 codis1
10.80.80.126 codis2
10.80.80.123 codis3

2.配置java環境（在3台server上）

 

vim /etc/profile##JAVA###export JAVA_HOME=/usr/local/jdk1.7.0_71export JRE_HOME=/usr/local/jdk1.7.0_71/jreexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarsource /etc/profile

3.安裝zookeeper（在3台server上）

 

 

cd /usr/local/srcwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gztar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local

4.配置環境變數（在3台server上）

 

 

vim /etc/profile#zookeeperZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6export PATH=$PATH:$ZOOKEEPER_HOME/binsource /etc/profile

5.改動zookeeper設定檔（在3台server上）

 

 

#建立zookeeper的資料檔案夾和記錄檔夾mkdir -p /data/zookeeper/zk1/{data,log}cd /usr/local/zookeeper-3.4.6/confcp zoo_sample.cfg zoo.cfgvim /etc/zoo.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/data/zookeeper/zk1/datadataLogDir=/data/zookeeper/zk1/logclientPort=2181server.1=codis1:2888:3888server.2=codis2:2888:3888server.3=codis3:2888:3888

6.在dataDir下建立myid檔案。相應節點id（在3台伺服器上）

 

 

#在124上 cd /data/zookeeper/zk1/dataecho 1 > myid#在126上 cd /data/zookeeper/zk1/dataecho 2 > myid#在123上 cd /data/zookeeper/zk1/dataecho 3 > myid

7.啟動zookeeper服務（在3台server上）

 

 

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

註：在你所在的當前檔案夾下會產生一個zookeeper.out的記錄檔，裡面記錄了啟動過程中的具體資訊；因為叢集沒有所有資訊，會報“myid 2或myid 3 未啟動”的資訊，當叢集所有啟動後就會正常，我們能夠忽略。

 

 

 

8.查看zookeeper全部節點的狀態（在3台server上）

 

#124/usr/local/zookeeper-3.4.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfgMode: leader#126/usr/local/zookeeper-3.4.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfgMode: follower#123/usr/local/zookeeper-3.4.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfgMode: follower

 

 

二.部署codis叢集

1.安裝go語言（在3台server上）

 

tar -zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local/

2.加入go環境變數（在3台server上）

 

 

vim /etc/profile#goexport PATH=$PATH:/usr/local/go/binexport GOPATH=/usr/local/codissource /etc/profile

3.安裝codis（在3台server上）

 

 

go get github.com/wandoulabs/codiscd $GOPATH/src/github.com/wandoulabs/codis#運行編譯測試指令碼，編譯go和reids。

 

./bootstrap.sh make gotest #將編譯好後，把bin檔案夾和一些指令碼複製過去/usr/local/codis檔案夾下 mkdir -p /usr/local/codis/{conf,redis_conf,scripts} cp -rf bin /usr/local/codis/ cp sample/config.ini /usr/local/codis/conf/ cp -rf sample/redis_conf /usr/local/codis cp -rf sample/* /usr/local/codis/scripts

4.配置codis-proxy（在3台server上。在此以124為例）

 

 

#124cd /usr/local/codis/confvim config.inizk=codis1:2181,codis2:2181,codis3:2181product=codis#此處配置圖形化介面的dashboard。注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087dashboard_addr=192.168.3.124:18087coordinator=zookeeperbackend_ping_period=5session_max_timeout=1800session_max_bufsize=131072session_max_pipeline=128proxy_id=codis_proxy_1#126cd /usr/local/codis/confvim config.inizk=codis1:2181,codis2:2181,codis3:2181product=codis#此處配置圖形化介面的dashboard，注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087dashboard_addr=192.168.3.124:18087coordinator=zookeeperbackend_ping_period=5session_max_timeout=1800session_max_bufsize=131072session_max_pipeline=128proxy_id=codis_proxy_2#123cd /usr/local/codis/confvim config.inizk=codis1:2181,codis2:2181,codis3:2181product=codis#此處配置圖形化介面的dashboard，注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087dashboard_addr=192.168.3.124:18087coordinator=zookeeperbackend_ping_period=5session_max_timeout=1800session_max_bufsize=131072session_max_pipeline=128proxy_id=codis_proxy_3

5.改動codis-server的設定檔（在3台伺服器上）

 

 

#建立codis-server的資料檔案夾和記錄檔夾mkdir -p /data/codis/codis-server/{data,logs}cd /usr/local/codis/redis_conf#主庫vim 6380.confdaemonize yespidfile /var/run/redis_6380.pidport 6379logfile "/data/codis_server/logs/codis_6380.log"save 900 1save 300 10save 60 10000dbfilename 6380.rdbdir /data/codis_server/data#從庫cp 6380.conf 6381.confsed -i ‘s/6380/6381/g‘ 6381.conf

6.加入核心參數

 

 

echo "vm.overcommit_memory = 1" >>  /etc/sysctl.confsysctl -p

7.依照啟動流程啟動

 

 

cat /usr/loca/codis/scripts/usage.md0. start zookeeper 1. change config items in config.ini 2. ./start_dashboard.sh 3. ./start_redis.sh 4. ./add_group.sh 5. ./initslot.sh 6. ./start_proxy.sh 7. ./set_proxy_online.sh 8. open browser to http://localhost:18087/admin

儘管scripts檔案夾以下有對應啟動指令碼，也能夠用startall.sh所有啟動。但剛開始建議手動啟動，以熟悉codis啟動過程。

 

 

因為之前zookeeper已經啟動，以下我們來啟動其它項目。

註：1.在啟動過程中須要指定相關記錄檔夾或設定檔檔案夾，為便於統一管理。我們都放在/data/codis下；

2.dashboard在codis叢集中僅僅須要在一台server上啟動就可以，此處在124上啟動；凡是用codis_config的命令都是在124上操作，其它啟動項須要在3台server上操作。

相關命令例如以下：

 

/usr/local/codis/bin/codis-config -husage: codis-config  [-c <config_file>] [-L <log_file>] [--log-level=<loglevel>]<command> [<args>...]options:   -cset config file   -Lset output log file, default is stdout   --log-level=<loglevel>set log level: info, warn, error, debug [default: info]commands:serverslotdashboardactionproxy

 

(1)啟動dashboard（在124上啟動）

 

#dashboard的記錄檔夾和訪問檔案夾mkdir -p /data/codis/codis_dashboard/logscodis_home=/usr/local/codislog_path=/data/codis/codis_dashboard/logsnohup $codis_home/bin/codis-config -c $codis_home/conf/config.ini -L $log_path/dashboard.log dashboard --addr=:18087 --http-log=$log_path/requests.log &>/dev/null &

 

通過10.80.80.124:18087就可以訪問圖形管理介面

(2)啟動codis-server（在3台伺服器上）

 

/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf/usr/local/codis/bin/codis-server /data/codis_server/conf/6381.conf

(3)加入 Redis Server Group（124上）

 

注意：每個 Server Group 作為一個 Redis server組存在, 僅僅同意有一個 master, 能夠有多個 slave, group id 僅支援大於等於1的整數

眼下我們在3台server上分了3組，因此我們須要加入3組。每組由一主一從構成

 

#相關命令/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini serverusage:codis-config server listcodis-config server add <group_id> <redis_addr> <role>codis-config server remove <group_id> <redis_addr>codis-config server promote <group_id> <redis_addr>codis-config server add-group <group_id>codis-config server remove-group <group_id>#group 1/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6380 master/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6381 slave#group 2/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6380 master/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6381 slave#group 3/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6380 master/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6381 slave

 

注意：1.點擊“Promote to Master”就會將slave的redis提升為master，而原來的master會自己主動下線。

 

2./usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 能夠加入機器到對應組中。也能夠更新redis的主/從角色。

3.若為新機器，此處的keys應該為空白

(4) 設定 server group 服務的 slot 範圍（124上）

 

#相關命令/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slotusage:codis-config slot init [-f]codis-config slot info <slot_id>codis-config slot set <slot_id> <group_id> <status>codis-config slot range-set <slot_from> <slot_to> <group_id> <status>codis-config slot migrate <slot_from> <slot_to> <group_id> [--delay=<delay_time_in_ms>]codis-config slot rebalance [--delay=<delay_time_in_ms>]#Codis 採用 Pre-sharding 的技術來實現資料的分區, 預設分成 1024 個 slots (0-1023), 對於每個key來說, 通過下面公式確定所屬的 Slot Id : SlotId = crc32(key) % 1024 每個 slot 都會有一個特定的 server group id 來表示這個 slot 的資料由哪個 server group 來提供。

 

我們在此將1024個slot分為三段，分配例如以下： /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 0 340 1 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 341 681 2 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 682 1023 3 online

(5)啟動codis-proxy（在3台伺服器上）

 

 

#codis_proxy的記錄檔夾mkdir -p /data/codis/codis_proxy/logscodis_home=/usr/local/codislog_path=/data/codis/codis_proxy/logsnohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

 

黑線處：codis讀取server的主機名稱。

注意：若client相關訪問proxy，須要在client加入hosts

(6)上線codis-proxy

 

codis_home=/usr/local/codislog_path=/data/codis/codis_proxy/logsnohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

註：啟動codis_proxy後。proxy此時處於offline狀態。無法對外提供服務，必須將其上線後才幹對外提供服務。

 

 

ok，至此codis已經能夠對外提供服務了。

 

三.HA

codis的ha分為前端proxy的ha以及後端codis-server的ha，在此簡單說下proxy的ha。

對於上層proxy來說，尤其是javaclient來，codis提供jodis(改動過的jedis)來實現proxy的ha。

它會通過監控zk上的注冊資訊來即時獲得當前可用的proxy列表，既能夠保證高可用性。也能夠通過輪流請求全部的proxy實現負載平衡；支援proxy的自己主動上線和下線。

 

http://www.cnblogs.com/yxwkf/p/5199019.html

redis的分布式解決方式--codis （轉）