Redis Cluster 的實現 - 初始化(1)

標籤：redis cluster clusterinit

首先從 redis.c 源碼的 main() 函數開始, 在調用的 initServer 函數中除了初始化 redis 節點本身的一些配置和環境之外，會根據是否設定 cluster_enabled 參數來對 cluster 進行初始化，如下:

 

initServer   // 也就是 redis.conf 配置中的參數 cluster-enabled 如果設定為 yes，則進入 cluster 模式  -> if (server.cluster_enabled) clusterInit();

 

下面看一下 clusterInit 函數如何將 redis 帶入 cluster 模式的:

 

void clusterInit(void) {    int saveconf = 0;        /* 對 redisServer 結構中的 clusterState 進行初始化 */    server.cluster = zmalloc(sizeof(clusterState));    server.cluster->myself = NULL;    server.cluster->currentEpoch = 0;    // 初始為 FAIL 狀態    server.cluster->state = REDIS_CLUSTER_FAIL;    // master 節點數    server.cluster->size = 1;    server.cluster->todo_before_sleep = 0;    server.cluster->nodes = dictCreate(&clusterNodesDictType,NULL);    server.cluster->nodes_black_list =        dictCreate(&clusterNodesBlackListDictType,NULL);    server.cluster->failover_auth_time = 0;    server.cluster->failover_auth_count = 0;    server.cluster->failover_auth_rank = 0;    server.cluster->failover_auth_epoch = 0;    server.cluster->lastVoteEpoch = 0;    server.cluster->stats_bus_messages_sent = 0;    server.cluster->stats_bus_messages_received = 0;    memset(server.cluster->slots,0, sizeof(server.cluster->slots));    clusterCloseAllSlots();    /* Lock the cluster config file to make sure every node uses     * its own nodes.conf. */    if (clusterLockConfig(server.cluster_configfile) == REDIS_ERR)        exit(1);    /* Load or create a new nodes configuration. */        // 載入或建立一個新的 節點配置 檔案    // 如果載入失敗，則通過 createClusterNode 來建立一個 flags = MYSELF|MASTER 的新節點    if (clusterLoadConfig(server.cluster_configfile) == REDIS_ERR) {        /* No configuration found. We will just use the random name provided         * by the createClusterNode() function. */        myself = server.cluster->myself =            createClusterNode(NULL,REDIS_NODE_MYSELF|REDIS_NODE_MASTER);        redisLog(REDIS_NOTICE,"No cluster configuration found, I‘m %.40s",            myself->name);                    // 將此節點加入 cluster 的 nodes hash table 中        // 該 nodes 維護的是一張 nodeName -> node 的 hash 表        clusterAddNode(myself);        saveconf = 1;    }        // 具體的設定檔名由參數 cluster-config-file 來指定    if (saveconf) clusterSaveConfigOrDie(1);    /* We need a listening TCP port for our cluster messaging needs. */    server.cfd_count = 0;    /* Port sanity check II     * The other handshake port check is triggered too late to stop     * us from trying to use a too-high cluster port number. */    // 這裡是做連接埠校正，要求 redis 面向用戶端的監聽連接埠必須小於 55535，這樣才能避免出現    // cluster 通道的監聽連接埠 > 65535 的情形    if (server.port > (65535-REDIS_CLUSTER_PORT_INCR)) {        redisLog(REDIS_WARNING, "Redis port number too high. "                   "Cluster communication port is 10,000 port "                   "numbers higher than your Redis port. "                   "Your Redis port number must be "                   "lower than 55535.");        exit(1);    }        // 開啟 cluster 通道的 非阻塞監聽連接埠    if (listenToPort(server.port+REDIS_CLUSTER_PORT_INCR,        server.cfd,&server.cfd_count) == REDIS_ERR)    {        exit(1);    } else {        int j;                // 在一個或多個非阻塞監聽通訊端上建立 ACCEPT 事件處理器        // 可以根據系統平台選擇合適的 事件模型(如：Linux 上的 epoll，具體查看 aeApiAddEvent 源碼)        // 這裡指定了 clusterAcceptHandler 函數作為 ACCEPT 事件處理器        for (j = 0; j < server.cfd_count; j++) {            if (aeCreateFileEvent(server.el, server.cfd[j], AE_READABLE,                clusterAcceptHandler, NULL) == AE_ERR)                    redisPanic("Unrecoverable error creating Redis Cluster "                                "file event.");        }    }    /* The slots -> keys map is a sorted set. Init it. */    server.cluster->slots_to_keys = zslCreate();    /* Set myself->port to my listening port, we‘ll just need to discover     * the IP address via MEET messages. */    myself->port = server.port;    resetManualFailover();}

 

從該部分源碼可以看出 Redis Cluster 初始化部分的核心主要是 nodes.conf 的載入，以及 cluster bus 通道的監聽服務的啟動 這兩部分：

1，nodes.conf 的載入或建立：從源碼中可以看到是首先載入節點配置(查看 clusterLoadConfig() 函數實現，這裡不做展開)，如果不存在或檔案內容長度為0，則新建立該節點配置，並且初始建立只是包含本節點的配置資訊。nodes.conf 配置樣本如下：

$ cat nodes.conf
8868592d98d84b7cf5752cc0b97af4ac807d1a12 127.0.0.1:7007 slave bfc910f924d772fe03d9fe6a19aabd73d5730d26 0 1410882108055 8 connected
f5bdda1518cd3826100a30f5953ed82a5861ed48 127.0.0.1:7002 slave bfc910f924d772fe03d9fe6a19aabd73d5730d26 0 1410882107151 8 connected
82578e8ec9747e46cbb4b8cc2484c71b9b2c91f4 127.0.0.1:7001 master - 0 1410882106146 2 connected 6461-10922
61dfb1055760d5dcf6519e35435d60dc5b207940 127.0.0.1:7004 slave 82578e8ec9747e46cbb4b8cc2484c71b9b2c91f4 0 1410882107651 5 connected
6d1ebedad33bb31ffbaa99bad095eef4a5920857 127.0.0.1:7006 master - 0 1410882106648 0 connected
bfc910f924d772fe03d9fe6a19aabd73d5730d26 127.0.0.1:7005 master - 0 1410882106648 8 connected 11923-16383
35e0f6fdadbf81a00a1d6d1843698613e653867b 127.0.0.1:7003 slave 123ed65d59ff22370f2f09546f410d31207789f6 0 1410882106146 7 connected
123ed65d59ff22370f2f09546f410d31207789f6 127.0.0.1:7000 myself,master - 0 0 7 connected 0-6460 10923-11922
vars currentEpoch 8 lastVoteEpoch 8

可以看到這裡列出了兩種類型的資訊：
 
  1) 叢集中所有節點的配置資訊，各欄位分別是：
 
    0   NodeID：6d1ebedad33bb31ffbaa99bad095eef4a5920857
    1   節點的IP:Port：127.0.0.1:7006
    2   flag：標識節點的一些選項，可選的值為 master|slave|myself|fail|fail?|handshake|noaddr|noflags，對應於 clusterNode.flags
    3   master 節點ID：如果為 slave 節點，則顯示出 master 節點的標識，否則顯示 - 表示該節點為 master 節點
    4   最近一次發送 ping 的時間
    5   最近一次接收 pong 的時間
    6   configEpoch
    7   串連狀態
    8   對於 master 節點，最後一個欄位記錄了處理的 slots 範圍; 對於 migration, 格式為 [slots-> nodeId，表示將 slots 指定的槽位遷移到 nodeId 上去;
 
  2) vars 開頭的行，當前主要記錄了兩個變數 currentEpoch 和 lastVoteEpoch 的值(下面單獨分析 epoch)

本文出自 “安靜的瘋子” 部落格，請務必保留此出處http://quietmadman.blog.51cto.com/3269500/1558289

Redis Cluster 的實現 - 初始化(1)