Redis源碼分析（八）--- t_hash雜湊轉換

標籤：記憶體資料庫   redis   源碼   

          在上次的zipmap分析完之後，其實關於redis原始碼結構體部分的內容其實已經全部結束了，因為下面還有幾個和結構體相關的操作類，就頁把他們歸併到struct包下了。這類的檔案有：t_hash.c,z_list,z_set.c,t_string.c,t_zset.c,這些檔案的功能其實都差不多，就是用來實現Client和Server之間的命令處理的操作類，通過robj的形式，把dict,ziplist等存入robj中，進行各個轉換，實現命令操作。避開了結構體原先的複雜結構，相當於是封裝了結構體的操作類，今天我所講的是t_hash,是dict雜湊字典，ziplist壓縮列表與robj之間的轉換。統稱hashType類型。由於此檔案無標頭檔，只有.c檔案，所以為了方便學習，我把方法拉了出來。

/* 下面是方法的歸類 */void hashTypeTryConversion(robj *o, robj **argv, int start, int end) /* 當hashType為ziplist時，判斷對象長度是否超出了服務端可接受的ziplist最大長度，超過則轉成雜湊字典類型*/void hashTypeTryObjectEncoding(robj *subject, robj **o1, robj **o2) /* 當robj用的是字典的編碼方式的時候，則經過編碼轉換 */int hashTypeGetFromZiplist(robj *o, robj *field,unsigned char **vstr,unsigned int *vlen,long long *vll) /* 擷取ziplist壓縮列表中的某個索引位置上的值 */int hashTypeGetFromHashTable(robj *o, robj *field, robj **value) /* 擷取雜湊字典中的某個值 */robj *hashTypeGetObject(robj *o, robj *field) /* 擷取某個key對應的物件類型 */int hashTypeExists(robj *o, robj *field)   /* hastType類型判斷某個鍵是否存在 */int hashTypeSet(robj *o, robj *field, robj *value) /* hashType設定作業，分2種情況，ziplist,和字典hashtable */int hashTypeDelete(robj *o, robj *field)  /* hashType刪除操作，分為ziplist的刪除操作，和hashtable的刪除操作 */unsigned long hashTypeLength(robj *o)   /* hashType求長度操作 */hashTypeIterator *hashTypeInitIterator(robj *subject)  /* 擷取hashType迭代器 */void hashTypeReleaseIterator(hashTypeIterator *hi) /* 釋放hashType迭代器 */int hashTypeNext(hashTypeIterator *hi) /* 通過hashType迭代器擷取下一個元素 */void hashTypeCurrentFromZiplist(hashTypeIterator *hi, int what,unsigned char **vstr,unsigned int *vlen,long long *vll) /* 根據當前迭代器的位置，擷取當前ziplist的所在位置的key位置，或value該位置上的值 */void hashTypeCurrentFromHashTable(hashTypeIterator *hi, int what, robj **dst) /* 根據當前迭代器的位置，擷取當前dict的所在位置的key位置，或value該位置上的值 */robj *hashTypeCurrentObject(hashTypeIterator *hi, int what) /* 根據當前迭代器的位置，擷取當前key對象 */robj *hashTypeLookupWriteOrCreate(redisClient *c, robj *key) /* 根據c用戶端對象，找到key是否存在，建立或實現添加操作  */void hashTypeConvertZiplist(robj *o, int enc) /* 從ziplist壓縮表到hashtable的轉換 */void hashTypeConvert(robj *o, int enc) /* 對象轉換操作，例如從ziplist到dict的轉換 */

hashType的相關操作命令類，其實就是對上面方法的結合調用：

/* 雜湊命令類型 */void hsetCommand(redisClient *c)  /* 用戶端設定指令 */void hsetnxCommand(redisClient *c) /* 用戶端設定下一個位置指令 */void hmsetCommand(redisClient *c) /* 客戶單設定命令，如果沒有key,還有後續操作 */void hincrbyCommand(redisClient *c) /* 用戶端添加value值操作 */void hincrbyfloatCommand(redisClient *c) /* 用戶端添加float類型value值操作 */static void addHashFieldToReply(redisClient *c, robj *o, robj *field) /*  */void hgetCommand(redisClient *c) /* 用戶端擷取操作，如果沒找到，直接不做任何操作 */void hmgetCommand(redisClient *c) /* 用戶端擷取key操作，如果為空白，會返回一些了NULL值 */void hdelCommand(redisClient *c) /* 用戶端刪除操作 */void hlenCommand(redisClient *c) /* 用戶端求長度命令 */static void addHashIteratorCursorToReply(redisClient *c, hashTypeIterator *hi, int what) /* 用戶端添加hashType迭代器操作 */void genericHgetallCommand(redisClient *c, int flags) /* 用戶端擷取操作原始方法，可以添加flag參數 */void hkeysCommand(redisClient *c) /* 用戶端擷取key值命令 */void hvalsCommand(redisClient *c) /* 用戶端擷取val值命令 */void hgetallCommand(redisClient *c) /* 用戶端擷取key;value 2個值都擷取 */void hexistsCommand(redisClient *c) /* 用戶端判斷記錄是否存在操作 */void hscanCommand(redisClient *c) /* 用戶端掃描操作 */

robj的操作實現轉換的原理很簡單，rob通過裡面的ptr指標，存的就是真實的ziplist或者dict雜湊總類，然後後面的操作都是基於此進行的，比如說下面的方法：

/* Get the value from a hash table encoded hash, identified by field. * Returns -1 when the field cannot be found. *//* 擷取雜湊字典中的某個值 */int hashTypeGetFromHashTable(robj *o, robj *field, robj **value) {    dictEntry *de;    redisAssert(o->encoding == REDIS_ENCODING_HT);        //通過robj->ptr裡面存的dict總類或ziplist類開始尋找    de = dictFind(o->ptr, field);    if (de == NULL) return -1;    //擷取其中的value值    *value = dictGetVal(de);    return 0;}

所有關於robj的相關結構體操作都會分成為2種情況處理，ZIPLIST和HASH類型就是dict類型，而且操作ziplist類型的時候要進行轉碼處理，當然在進行ziplist存入robj的時候要進行編碼操作，可見，設計者在考慮到命令傳輸的時候想得還是很周到了，也考慮了安全的問題。

/* Add an element, discard the old if the key already exists. * Return 0 on insert and 1 on update. * This function will take care of incrementing the reference count of the * retained fields and value objects. *//* hashType設定作業，分2種情況，ziplist,和字典hashtable */int hashTypeSet(robj *o, robj *field, robj *value) {    int update = 0;    if (o->encoding == REDIS_ENCODING_ZIPLIST) {        unsigned char *zl, *fptr, *vptr;                //首先對field和value進行解碼        field = getDecodedObject(field);        value = getDecodedObject(value);        zl = o->ptr;        fptr = ziplistIndex(zl, ZIPLIST_HEAD);        if (fptr != NULL) {            fptr = ziplistFind(fptr, field->ptr, sdslen(field->ptr), 1);            if (fptr != NULL) {                /* Grab pointer to the value (fptr points to the field) */                vptr = ziplistNext(zl, fptr);                redisAssert(vptr != NULL);                update = 1;                //設定的操作，其實先刪除，再插入語一個新值                /* Delete value */                zl = ziplistDelete(zl, &vptr);                /* Insert new value */                zl = ziplistInsert(zl, vptr, value->ptr, sdslen(value->ptr));            }        }        if (!update) {            /* Push new field/value pair onto the tail of the ziplist */            zl = ziplistPush(zl, field->ptr, sdslen(field->ptr), ZIPLIST_TAIL);            zl = ziplistPush(zl, value->ptr, sdslen(value->ptr), ZIPLIST_TAIL);        }        o->ptr = zl;        //用完之後，引用計數遞減        decrRefCount(field);        decrRefCount(value);        /* Check if the ziplist needs to be converted to a hash table */        if (hashTypeLength(o) > server.hash_max_ziplist_entries)            hashTypeConvert(o, REDIS_ENCODING_HT);    } else if (o->encoding == REDIS_ENCODING_HT) {    //如果是字典，直接替換        if (dictReplace(o->ptr, field, value)) { /* Insert */            incrRefCount(field);        } else { /* Update */            update = 1;        }        //用完之後，引用計數遞減        incrRefCount(value);    } else {        redisPanic("Unknown hash encoding");    }    return update;}

在這個過程中，redis代碼中還用到了一個引用計數的東西，應該是為了合理的記憶體釋放控制，在很多地方可以看到這樣的操作;

/* Higher level function of hashTypeGet*() that always returns a Redis * object (either new or with refcount incremented), so that the caller * can retain a reference or call decrRefCount after the usage. * * The lower level function can prevent copy on write so it is * the preferred way of doing read operations. *//* 擷取某個key的對象 */robj *hashTypeGetObject(robj *o, robj *field) {    robj *value = NULL;    if (o->encoding == REDIS_ENCODING_ZIPLIST) {        unsigned char *vstr = NULL;        unsigned int vlen = UINT_MAX;        long long vll = LLONG_MAX;        if (hashTypeGetFromZiplist(o, field, &vstr, &vlen, &vll) == 0) {        //在ziplist中擷取值            if (vstr) {                value = createStringObject((char*)vstr, vlen);            } else {                value = createStringObjectFromLongLong(vll);            }        }    } else if (o->encoding == REDIS_ENCODING_HT) {        robj *aux;        if (hashTypeGetFromHashTable(o, field, &aux) == 0) {        //對象被引用了，計數遞增            incrRefCount(aux);            value = aux;        }    } else {        redisPanic("Unknown hash encoding");    }    return value;}

用戶端的命令操作其實是基於一個叫redisClient的對象，這個其實也就是robj對象，命令傳輸時，這個robj->ptr存著，具體的資料，robj->args[]存放了各種參數，後面就是調用前面的方法了，唯一不一樣的是，命令調用後要有回複和更新通知操作。，下面是一個設定的命令;

/* hashType處理用戶端的命令請求 */void hsetCommand(redisClient *c) {    int update;    robj *o;    if ((o = hashTypeLookupWriteOrCreate(c,c->argv[1])) == NULL) return;    hashTypeTryConversion(o,c->argv,2,3);    hashTypeTryObjectEncoding(o,&c->argv[2], &c->argv[3]);    //命令的操作都是通過，用戶端中的對象，和存在於裡面的命令參數組成    update = hashTypeSet(o,c->argv[2],c->argv[3]);    //操作完添加回複    addReply(c, update ? shared.czero : shared.cone);    //發送通知表示命令執行完畢，預測者會觸發視窗上的顯示    signalModifiedKey(c->db,c->argv[1]);    notifyKeyspaceEvent(REDIS_NOTIFY_HASH,"hset",c->argv[1],c->db->id);        //用戶端命令執行成功，因為客戶單此時的資料時最新的，服務端的髒資料就自然多了一個，    server.dirty++;}

其他命令與此類似，就不說了。可以看見，現在慢慢的能夠略微向邏輯層的代碼靠近了，後面的代碼也一定非常精彩。

Redis源碼分析（八）--- t_hash雜湊轉換