Memcached 及 Redis 架構分析和比較

作者：劉旭暉 Raymond 轉載請註明出處

Email：colorant at 163.com

BLOG：http://blog.csdn.net/colorant/

Memcached和Redis作為兩種Inmemory的key-value資料庫，在設計和思想方面有著很多共通的地方，功能和應用方面在很多場合下(作為分布式快取服務器使用等)也很相似，在這裡把兩者放在一起做一下對比的介紹

  

基本架構和思想

 

首先簡單介紹一下兩者的架構和設計思路

 

Memcached

 

Memcached採用用戶端-伺服器的架構，用戶端和伺服器端的通訊使用自訂的協議標準，只要滿足協議格式要求，用戶端Library可以用任何語言實現。

 

從使用者的角度來說，伺服器維護了一個鍵-值關係的資料表，伺服器之間相互獨立，互相之間不共用資料也不做任何通訊操作。用戶端需要知道所有的伺服器，並自行負責管理資料在各個伺服器間的分配。

 

在伺服器端，內部的資料存放區，使用基於Slab的記憶體管理方式，有利於減少記憶體片段和頻繁分配銷毀記憶體所帶來的開銷。各個Slab按需動態分配一個page的記憶體（和4Kpage的概念不同，這裡預設page為1M），page內部按照不同slab class的尺寸再劃分為記憶體chunk供伺服器儲存KV鍵值對使用

 

Memcached的基本應用程式模型如所示

 

 

 

 

Redis

 

Redis的基本應用模式和memcached的基本相似，不難發現網上到處都是關於redis是否可以完全替代memcached使用的問題

 

Redis內部的資料結構最終也會落實到key-Value對應的形式，不過從暴露給使用者的資料結構來看，要比memcached豐富，除了標準的通常意義的鍵值對，Redis還支援List，Set， Hashes，Sorted Set等資料結構

 

基本命令

 

Memcached的命令或者說通訊協議非常簡單，Server所支援的命令基本就是對特定key的添加，刪除，替換，原子更新，讀取等，具體包括 Set, Get, Add, Replace, Append, Inc/Dec 等等

 

Memcached的通訊協議包括文本格式和二進位格式，用於滿足簡單網路用戶端工具（如telnet）和對效能要求更高的用戶端的不同需求

 

Redis的命令在KV（String類型）上提供與Memcached類似的基本操作，在其它資料結構上也支援基本類似的操作（當然還有這些資料結構所特有的操作，如Set的union，List的pop等）而支援更多的資料結構，在一定程度上也就意味著更加廣泛的應用場合

 

除了多種資料結構的支援，Redis相比Memcached還提供了許多額外的特性，比如Subscribe/publish命令，以支援發布/訂閱模式這樣的通知機制等等，這些額外的特性同樣有助於拓展它的應用情境

 

Redis的用戶端-伺服器通訊協議完全採用文本格式（在將來可能的伺服器間通訊會採用二進位格式）

 

 

事務

 

redis通過Multi / Watch /Exec等命令可以支援事務的概念，原子性的執行一批命令。在2.6以後的版本中由於添加了對Script指令碼的支援，而指令碼固有的是以transaction事務的方式執行的，並且更加便於使用，所以不排除將來取消Multi等命令介面的可能性

 

Memcached的應用模式中，除了increment/decrement這樣的原子操作命令，不存在對事務的支援

 

資料備份，有效性，持久化等

 

memcached不保證儲存的資料的有效性，Slab內部基於LRU也會自動淘汰舊資料，用戶端不能假設資料在伺服器端的目前狀態，這應該說是Memcached的Feature設定，使用者不必太多關心或者自己管理資料的淘汰更新工作，當然是否適合你的應用，取決於具體的需求，它也可能成為你需要精確自行控制Cache生命週期的一個障礙

 

Memcached也不做資料的持久化工作，但是有許多基於memcached協議的項目實現了資料的持久化，例如memcacheDB使用BerkeleyDB進行資料存放區，但本質上它已經不是一個Cache Server，而只是一個相容Memcached的協議key-valueData Store了

 

Redis可以以master-slave的方式設定管理員，Slave節點對資料進行replica備份，Slave節點也可以充當Read only的節點分擔資料讀取的工作

 

Redis內建支援兩種持久化方案，snapshot快照和AOF增量Log方式。快照顧名思義就是隔一段時間將完整的資料Dump下來儲存在檔案中。AOF增量Log則是記錄對資料的修改操作（實際上記錄的就是每個對資料產生修改的命令本身），兩種方案可以並存，也各有優缺點，具體參見http://redis.io/topics/persistence

 

以上Redis的資料備份持久化方案等，如果不需要，為了提高效能，也完全可以Disable

 

 

效能

 

效能方面，兩者都有一些自己考慮和實現

 

Memcached

 

memcached自身並不主動定期檢查和標記哪些資料需要被淘汰，只有當再次讀取相關資料時才檢查時間戳記，或者當記憶體不夠使用需要主動淘汰資料時進一步檢查LRU資料

 

 

Redis

 

Redis為了減少大量小資料CMD操作的網路通訊時間開銷 RTT (Round Trip Time)，支援pipeline和script技術

 

• 所謂的pipeline就是支援在一次通訊中，發送多個命令給伺服器批量執行，帶來的代價是伺服器端需要更多的記憶體來緩衝查詢結果。

• Redis內嵌了LUA解析器，可以執行lua指令碼，指令碼可以通過eval等命令直接執行，也可以使用script load等方式上傳到伺服器端的script cache中重複使用

 

這兩種方式都可以有效地減少網路通訊開銷，增加資料吞吐率

 

對於KV的操作，Memcached和Redis都支援Multiple的Get和Set命令（Memcached的Multiple Set命令貌似只在二進位的協議中支援），這同樣有利於效能的提升

 

實際效能方面，網上有很多測試比較，給出的結果各不相同，這無疑和各種測試的測試案例，測試環境，和測試時具體使用的用戶端Library實現有關。但是總體看下來，比較靠譜的結論是在kv類操作上，兩者的效能接近，Memcached的結構更加簡單，理論上應該會略微快一些。

 

 

叢集

 

memcached的伺服器端互相完全獨立，用戶端通常通過對鍵值應用Hash演算法決定資料的分區，為了減少伺服器的增減對Hash結果的影響，導致大面積的緩衝失效，多數用戶端實現了一致性hash演算法

 

Redis計劃在伺服器端內建對叢集的支援，但是目前代碼還處於alpha階段（貌似已經Design了兩三年了？）在此之前，同樣可以認為每個Redis伺服器執行個體相互之間是完全獨立的，需要依靠用戶端處理分區演算法和可用伺服器列表管理的工作。

 

 

Redis官方推薦的用於Sharding的用戶端程式庫是Twitter的開源項目Twemproxy， Twemproxy同時支援Memcached和Redis的文本通訊協議。

 

需要注意的是，Redis的許多命令在叢集環境下是不能正確啟動並執行，例如set的交集，以及跨節點的事務操作等等，因為目前的Redis叢集設計，根本目標也就是伺服器之間互相彙報一下存活狀態，以及對資料做榮譽備份平衡負載等而已，本質上對資料的跨節點操作並不提供任何額外支援，所以在資料服務的層面上來說，各個伺服器依舊是完全獨立的。

 

這些操作如果一定要實現，當然可以通過用戶端代碼來實現（效率有多高且不說），類似的問題memcached叢集當然也會遇上，但是原本memcached就不支援複雜的操作和資料類型，許多運算邏輯原本就是由用戶端代碼或應用程式自己處理的。

 

 

MR類批處理應用

 

提供指定範圍的遍曆操作，是支援類似MapReduce這樣的批處理應用邏輯的關鍵之一，但是要在基於hash方式儲存的資料結構的基礎上提供這樣的支援並不容易（或者說要實現高效的範圍或遍曆操作並不容易）

 

Redis支援Scan操作用於遍曆資料集，這一操作基於其內部資料結構及實現的限制，可以保證在Scan開始時的所有資料都能被擷取到，但是不能保證不返回重複的資料，這需要由用戶端來檢查，或者用戶端對此無所謂。Scan操作還支援Match條件用來過濾鍵值，雖然存在一定的局限性，例如match條件的比較是在擷取資料之後再執行的，效率是一個問題，更明顯的問題是不能保證每次scan的iterate過程都能返回同樣數量的有效資料。

 

對於範圍操作，Redis的Ordered Set支援在插入時指定資料的分數（Score）用於排序，而後支援在指定Score範圍內的各種操作，雖然由於不支援基於字串的或自訂的基準的Range操作，這樣的範圍操作應用起來有很大的局限性（或者說需要滿足特定的應用模式），但是還是比沒有好了

 

Memcached核心協議本身不支援任何範圍類的操作，也沒有對遍曆操作的支援，甚至不存在官方合法的列舉所有Key的操作，這當然很大程度上源於其設計思想和精簡的架構

 

不過還是有一些相容memcached協議的伺服器實現了範圍類操作，具體格式可以參考https://code.google.com/p/memcached/wiki/RangeOps所建議的標準

 

此外Redis的Hashes資料結構，在一定程度上可以滿足擷取特定子集資料的應用邏輯需求。

 

綜上來說，如果要實作類別似HBase支援的scan操作，不論是Redis還是memcached都無法做到，但是對於Redis來說，能否用於批處理類應用，不能一概而論，取決於具體的資料的格式邏輯和使用方式。通過適當的調整應用程式使用資料的方式，還是有可能在一定程度上實現對MR類批處理，或範圍查詢類應用邏輯的支援的。而對於鍵值分布在一個較大的連續空間，數量不確定，同時又無法很好的映射為數值進而使用ordered set來處理的這樣一些資料結構，應該還是很難高效的分區遍曆的