淺談redis採用不同記憶體 Clerktcmalloc和jemalloc_Redis

我們知道Redis並沒有自己實現記憶體池，沒有在標準的系統記憶體 Clerk上再加上自己的東西。所以系統記憶體 Clerk的效能及片段率會對Redis造成一些效能上的影響。

在Redis的 zmalloc.c 源碼中，我們可以看到如下代碼：

/* Double expansion needed for stringification of macro values. */ #define __xstr(s) __str(s) #define __str(s) #s #if defined(USE_TCMALLOC) #define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR)) #include <google/tcmalloc.h> #if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1) #define HAVE_MALLOC_SIZE 1 #define zmalloc_size(p) tc_malloc_size(p) #else #error "Newer version of tcmalloc required" #endif #elif defined(USE_JEMALLOC) #define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX)) #include <jemalloc/jemalloc.h> #if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2) #define HAVE_MALLOC_SIZE 1 #define zmalloc_size(p) je_malloc_usable_size(p) #else #error "Newer version of jemalloc required" #endif #elif defined(__APPLE__) #include <malloc/malloc.h> #define HAVE_MALLOC_SIZE 1 #define zmalloc_size(p) malloc_size(p) #endif #ifndef ZMALLOC_LIB #define ZMALLOC_LIB "libc" #endif 

從上面的代碼中我們可以看到，Redis在編譯時間，會先判斷是否使用tcmalloc，如果是，會用tcmalloc對應的函數替換掉標準的libc中的函數實現。其次會判斷jemalloc是否使得，最後如果都沒有使用才會用標準的libc中的記憶體管理函數。

而在最新的2.4.4版本中，jemalloc已經作為源碼包的一部分包含在源碼包中，所以可以直接被使用。而如果你要使用tcmalloc的話，是需要自己安裝的。

下面簡單說一下如何安裝tcmalloc包，tcmalloc是google-proftools中的一部分，所以我們實際上需要安裝google-proftools。如果你是在64位機器上進行安裝，需要先安裝其依賴的libunwind庫。

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz tar zxvf libunwind-0.99-alpha.tar.gz cd libunwind-0.99-alpha/ CFLAGS=-fPIC ./configure make CFLAGS=-fPIC make CFLAGS=-fPIC install

然後再進行google-preftools的安裝：

wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz tar zxvf google-perftools-1.8.1.tar.gz cd google-perftools-1.8.1/ ./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal make && make install sudo echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf #如果沒有這個檔案，自己建一個 sudo /sbin/ldconfig

然後再進行Redis的安裝，在make時指定相應的參數以啟用tcmalloc

$ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz $ tar xzvf redis-2.4.4.tar.gz $ cd redis-2.4.4 $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes $ sudo make install

再啟動Redis後通過info命令就能看到使用的記憶體 Clerk了。

下面回到本文的主題，對於tcmalloc，jemalloc和libc對應的三個記憶體 Clerk。其效能和片段率如何呢？

下面是一個簡單測試結果，使用Redis內建的redis-benchmark寫入等量資料進行測試，資料摘自採用不同分配器時Redis info資訊。

我們可以看到，採用tcmalloc時片段率是最低的，為1.01，jemalloc為1.02，而libc的分配器片段率為1.31，如下所未：

used_memory:708391440 used_menory_human:675.57M used_memory_rss:715169792 used_memory_peak:708814040 used_memory_peak_human:675.98M mem_fragmentation_ratio:1.01mem_allocator:tcmalloc-1.7

used_memory:708381168 used_menory_human:675.56M used_memory_rss:723587072 used_memory_peak:708803768 used_memory_peak_human:675.97M mem_fragmentation_ratio:1.02mem_allocator:jemalloc-2.2.1

used_memory:869000400 used_menory_human:828.74M used_memory_rss:1136689152 used_memory_peak:868992208 used_memory_peak_human:828.74M mem_fragmentation_ratio:1.31mem_allocator:libc

上面的測試資料都是小資料，也就是說單條資料並不大，下面我們嘗試設定benchmark的-d參數，將value值調整為1k大小，測試結果發生了一些變化：

used_memory:830573680 used_memory_human:792.10M used_memory_rss:849068032 used_memory_peak:831436048 used_memory_peak_human:792.92M mem_fragmentation_ratio:1.02mem_allocator:tcmalloc-1.7

used_memory:915911024 used_memory_human:873.48M used_memory_rss:927047680 used_memory_peak:916773392 used_memory_peak_human:874.30M mem_fragmentation_ratio:1.01mem_allocator:jemalloc-2.2.1

used_memory:771963304 used_memory_human:736.20M used_memory_rss:800583680 used_memory_peak:772784056 used_memory_peak_human:736.98M mem_fragmentation_ratio:1.04mem_allocator:libc

可以看出，在分配大塊記憶體和小塊記憶體上，幾種分配器的片段率差距還是比較大的，大家在使用Redis的時候，還是盡量用自己真實的資料去做測試，以選擇最適合自己資料的分配器。

以上就是小編為大家帶來的淺談redis採用不同記憶體 Clerktcmalloc和jemalloc全部內容了，希望大家多多支援雲棲社區~