關於mongodb ,redis,memcache

標籤：blog   http   使用   os   資料   io   for   art   

先說我自己用的情況：

最先用的memcache ,用於索引值對關係的伺服器端緩衝，用於儲存一些常用的不是很大，但需要快速反應的資料

 

然後，在另一個地方，要用到redis，然後就去研究了下redis. 一看，顯示自己安裝了php擴充，因為有伺服器上的redis服務端，自己本地就沒有安裝，其實用法和memcache基本一樣，可能就是幾個參數有所不同。當然 它們緩衝的效果也不一樣，具體的哪裡不一樣，一下就是一些資料，和自己的總結

 

 

1、 Redis和Memcache都是將資料存放在記憶體中，都是記憶體資料庫。不過memcache還可用於緩衝其他東西，例片、視頻等等。
2、 資料類型--Memcache在添加資料時就要指定資料的位元組長度，例如：
  set key3 0 0 8
  lxsymcto
  STORED
而redis不需要，如：redis 127.0.0.1:6379>set key2 "lxsymblog"
  OK
  redis 127.0.0.1:6379>get key2
  "lxsymblog"
3、虛擬記憶體--Redis當實體記憶體用完時，可以將一些很久沒用到的value 交換到磁碟
4、到期策略--memcache在set時就指定，例如set key1 0 0 8,即永不到期。Redis可以通過例如expire 設定，例如expire name 10
5、分布式--設定memcache叢集，利用magent做一主多從;redis可以做一主多從。都可以一主一從
6、儲存資料安全--memcache掛掉後，資料沒了；redis可以定期儲存到磁碟（持久化）
7、災難恢複--memcache掛掉後，資料不可恢複; redis資料丟失後可以通過aof恢複

 

從以下幾個維度，對redis、memcache、mongoDB 做了對比，歡迎拍磚

1、效能

都比較高，效能對我們來說應該都不是瓶頸

總體來講，TPS方面redis和memcache差不多，要大於mongodb

2、操作的便利性

      memcache資料結構單一

      redis豐富一些，資料操作方面，redis更好一些，較少的網路IO次數

       mongodb支援豐富的資料表達，索引，最類似關係型資料庫，支援的查詢語言非常豐富

3、記憶體空間的大小和資料量的大小

       redis在2.0版本後增加了自己的VM特性，突破實體記憶體的限制；可以對key value設定到期時間（類似memcache）

       memcache可以修改最大可用記憶體,採用LRU演算法

       mongoDB適合大資料量的儲存，依賴作業系統VM做記憶體管理，吃記憶體也比較厲害，服務不要和別的服務在一起

4、可用性（單點問題）

對於單點問題，

             redis，依賴用戶端來實現分布式讀寫；主從複製時，每次從節點重新串連主節點都要依賴整個快照,無差異複寫，因效能和效率問題，

所以單點問題比較複雜；不支援自動sharding,需要依賴程式設定一致hash 機制。

一種替代方案是，不用redis本身的複製機制，採用自己做主動複製（多份儲存），或者改成差異複寫的方式（需要自己實現），一致性問題和效能的權衡

             Memcache本身沒有資料冗餘機制，也沒必要；對於故障預防，採用依賴成熟的hash或者環狀的演算法，解決單點故障引起的抖動問題。

             mongoDB支援master-slave,replicaset（內部採用paxos選舉演算法，自動故障恢複）,auto sharding機制，對用戶端屏蔽了容錯移轉和切分機制。

5、可靠性（持久化）

對於資料持久化和資料恢複，

         redis支援（快照、AOF）：依賴快照進行持久化，aof增強了可靠性的同時，對效能有所影響

          memcache不支援，通常用在做緩衝,提升效能；

          MongoDB從1.8版本開始採用binlog方式支援持久化的可靠性

6、資料一致性（事務支援）

         Memcache 在並發情境下，用cas保證一致性

        redis事務支援比較弱，只能保證事務中的每個操作連續執行

        mongoDB不支援事務

7、資料分析

         mongoDB內建了資料分析的功能(mapreduce),其他不支援

8、應用情境

        redis：資料量較小的更效能操作和運算上

        memcache：用於在動態系統中減少資料庫負載，提升效能;做緩衝，提高效能（適合讀多寫少，對於資料量比較大，可以採用sharding）

        MongoDB:主要解決海量資料的訪問效率問題

 

 

 

最近一直在研究key-value的儲存，簡單記一下感受。。一些memcache和redis的安裝和使用就不贅述啦。只簡單說說兩種方案的差別。一些感想和測試結果未必足夠能說明問題，有什麼不妥請大家指正。因為這兩天在學習的過程發現一直在更正自己認識的缺陷，每天都會否定前一天的想法。。好了，費話少說。 　　經過對50萬個資料存放區的研究發現： 　　每秒單條指令執行量　　　　     memcache  約３萬次 　　redis     約１萬次     而且，memcache的一大優點是可以通過一個函數直接設定到期時間，而redis需要兩個函數才可以既設定了索引值對又設定到期時間，也就是redis在這點上效率變成了原來的一半，即5千次，這對於大部分需求來說，有點太慢了。 　　memcache的測試代碼如下： <?php $mem = new Memcache; $mem->connect("127.0.0.1", 11211); $time_start = microtime_float(); //儲存資料 for($i = 0; $i < 100000; $i ++){     $mem->set("key$i",$i,0,3); } $time_end = microtime_float(); $run_time = $time_end - $time_start; echo "用時 $run_time 秒\n"; function microtime_float() {     list($usec, $sec) = explode(" ", microtime());     return ((float)$usec + (float)$sec); } ?> 　　redis的測試代碼如下：redis1.php 此代碼大概需要１０秒左右 <?php //串連 $redis = new Redis(); $redis->connect(‘127.0.0.1‘, 6379); $time_start = microtime_float(); //儲存資料 for($i = 0; $i < 100000; $i ++){     $redis->sadd("key$i",$i); } $time_end = microtime_float(); $run_time = $time_end - $time_start; echo "用時 $run_time 秒\n"; //關閉串連 $redis->close();   function microtime_float() {     list($usec, $sec) = explode(" ", microtime());     return ((float)$usec + (float)$sec); } ?> 　　如果需要在設定索引值的同時設定到期時間，大概執行需要２０秒左右，測試代碼如下:redis2.php <?php //串連 $redis = new Redis(); $redis->connect(‘127.0.0.1‘, 6379); $time_start = microtime_float(); //儲存資料 for($i = 0; $i < 100000; $i ++){     $redis->sadd("key$i",$i);     $redis->expire("key$i",3); } $time_end = microtime_float(); $run_time = $time_end - $time_start; echo "用時 $run_time 秒\n"; //關閉串連 $redis->close();   function microtime_float() {     list($usec, $sec) = explode(" ", microtime());     return ((float)$usec + (float)$sec); } ?> 　　後來在網上發現redis有一個神奇的功能叫事務，通過multi原子性的將一段代碼塊依次執行，從而達到一個完整功能模組的執行。不幸的是，通過測試發現，採用multi方式執行代碼時並沒有減少請求次數，相反在執行multi指令和exec指令時都要發送請求，從而將已耗用時間變成了原來的四倍，即四條指令的已耗用時間。測試代碼如下：redis3.php <?php //串連 $redis = new Redis(); $redis->connect(‘127.0.0.1‘, 6379); $time_start = microtime_float(); //儲存資料 for($i = 0; $i < 100000; $i ++){     $redis->multi();     $redis->sadd("key$i",$i);     $redis->expire("key$i",3);     $redis->exec(); } $time_end = microtime_float(); $run_time = $time_end - $time_start; echo "用時 $run_time 秒\n"; //關閉串連 $redis->close();   function microtime_float() {     list($usec, $sec) = explode(" ", microtime());     return ((float)$usec + (float)$sec); } ?>   　　問題出現了瓶頸，有好多公司需要海量資料處理，每秒５０００次遠不能滿足需求，然後由於redis主從伺服器上比memcache有更大的優勢，為了將來資料的著想，不得不使用redis，這時候出現了一種新的方式，即phpredis提供的pipline功能，該功能能夠真正的將幾條代碼封裝成一次請求，從而大大提高了運行速度，５０萬次的資料執行只有了５８秒。測試代碼如下：redis4.php <?php //串連 $redis = new Redis(); $redis->connect(‘127.0.0.1‘, 6379); $time_start = microtime_float(); //儲存資料 for($i = 0; $i < 100000; $i ++){ 　　$pipe=$redis->pipeline();     $pipe->sadd("key$i",$i);     $pipe->expire("key$i",3);     $replies=$pipe->execute(); } $time_end = microtime_float(); $run_time = $time_end - $time_start; echo "用時 $run_time 秒\n"; //關閉串連 $redis->close();   function microtime_float() {     list($usec, $sec) = explode(" ", microtime());     return ((float)$usec + (float)$sec); } ?> 　　運用這個操作可以非常完美的將賦值操作和設定到期時間操作打包到一個請求去執行，大大提高了運行效率。   redis安裝：http://mwt198668.blog.163.com/blog/static/48803692201132141755962/ memcache安裝：http://blog.csdn.net/barrydiu/article/details/3936270 redis設定主從伺服器：http://www.jzxue.com/fuwuqi/fuwuqijiqunyuanquan/201104/15-7117.html memcache設定主從伺服器：http://www.cnblogs.com/yuanermen/archive/2011/05/19/2051153.html