memcache原理和實際應用，memcache實際應用

memcache原理和實際應用，memcache實際應用

Memcache是什麼
Memcache是danga.com的一個項目，最早是為 LiveJournal 服務的，目前全世界不少人使用這個快取項目來構建自己大負載的網站，來分擔資料庫的壓力。
它可以應對任意多個串連，使用非阻塞的網路IO。由於它的工作機制是在記憶體中開闢一塊空間，然後建立一個HashTable，Memcached自管理這些HashTable。
Memcache官方網站：http://www.danga.com/memcached，更多詳細的資訊可以來這裡瞭解 :)

為什麼會有Memcache和memcached兩種名稱？
其實Memcache是這個項目的名稱，而memcached是它伺服器端的主程式檔案名稱，知道我的意思了把~~~~。一個是項目名稱，一個是主程式檔案名稱，在網上看到了很多人不明白，於是混用了。

Memcache的安裝
分為兩個過程：memcache伺服器端的安裝和memcached用戶端的安裝。
所謂伺服器端的安裝就是在伺服器（一般都是linux系統）上安裝Memcache實現資料的儲存
所謂用戶端的安裝就是指php（或者其他程式，Memcache還有其他不錯的api介面提供）去使用伺服器端的Memcache提供的函數，需要php添加擴充。

具體的配置大家可以參考：
Linux下的Memcache安裝：http://www.ccvita.com/257.html
Windows下的Memcache安裝：http://www.ccvita.com/258.html
Memcache基礎教程：http://www.ccvita.com/259.html
Discuz!的Memcache緩衝實現：http://www.ccvita.com/261.html
Memcache協議中文版：http://www.ccvita.com/306.html
Memcache分布式部署方案：http://www.ccvita.com/395.html

PHP的Memcache

 

  

   

    
< ?php 
   
   

    
//串連 
   
   

    
$mem = new Memcache; 
   
   

    
$mem->connect("192.168.0.200", 12000); 
   
   

    

   
   

    
//儲存資料 
   
   

    
$mem->set('key1', 'This is first value', 0, 60); 
   
   

    
$val = $mem->get('key1'); 
   
   

    
echo "Get key1 value: " . $val ."<br />"; 
   
   

    

   
   

    
//替換資料 
   
   

    
$mem->replace('key1', 'This is replace value', 0, 60); 
   
   

    
$val = $mem->get('key1'); 
   
   

    
echo "Get key1 value: " . $val . "<br />"; 
   
   

    

   
   

    
//儲存數組 
   
   

    
$arr = array('aaa', 'bbb', 'ccc', 'ddd'); 
   
   

    
$mem->set('key2', $arr, 0, 60); 
   
   

    
$val2 = $mem->get('key2'); 
   
   

    
echo "Get key2 value: "; 
   
   

    
print_r($val2); 
   
   

    
echo "<br />"; 
   
   

    

   
   

    
//刪除資料 
   
   

    
$mem->delete('key1'); 
   
   

    
$val = $mem->get('key1'); 
   
   

    
echo "Get key1 value: " . $val . "<br />"; 
   
   

    

   
   

    
//清除所有資料 
   
   

    
$mem->flush(); 
   
   

    
$val2 = $mem->get('key2'); 
   
   

    
echo "Get key2 value: "; 
   
   

    
print_r($val2); 
   
   

    
echo "<br />"; 
   
   

    

   
   

    
//關閉串連 
   
   

    
$mem->close(); 
   
   

    
?>
   
  
 

如果正常的話，瀏覽器將輸出：
Get key1 value: This is first value
Get key1 value: This is replace value
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )
Get key1 value:
Get key2 value:

程式碼分析

初始化一個Memcache的對象：
$mem = new Memcache;

串連到我們的Memcache伺服器端，第一個參數是伺服器的IP地址，也可以是主機名稱，第二個參數是Memcache的開放的連接埠：
$mem->connect("192.168.0.200", 12000);

儲存一個資料到Memcache伺服器上，第一個參數是資料的key，用來定位一個資料，第二個參數是需要儲存的資料內容，這裡是一個字串，第三個參數是一個標記，一般設定為0或者MEMCACHE_COMPRESSED就行了，第四個參數是資料的有效期間，就是說資料在這個時間內是有效，如果過去這個時間，那麼會被Memcache伺服器端清除掉這個資料，單位是秒，如果設定為0，則是永遠有效，我們這裡設定了60，就是一分鐘有效時間：
$mem->set('key1', 'This is first value', 0, 60);

從Memcache伺服器端擷取一條資料，它只有一個參數，就是需要擷取資料的key，我們這裡是上一步設定的key1，現在擷取這個資料後輸出輸出：
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

現在是使用replace方法來替換掉上面key1的值，replace方法的參數跟set是一樣的，不過第一個參數key1是必須是要替換資料內容的key，最後輸出了：
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val;

同樣的，Memcache也是可以儲存數組的，下面是在Memcache上面儲存了一個數組，然後擷取回來並輸出
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
print_r($val2);

現在刪除一個資料，使用delte介面，參數就是一個key，然後就能夠把Memcache伺服器這個key的資料刪除，最後輸出的時候沒有結果
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";

最後我們把所有的儲存在Memcache伺服器上的資料都清除，會探索資料都沒有了，最後輸出key2的資料為空白，最後關閉串連
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";

Memcache的使用
使用Memcache的網站一般流量都是比較大的，為了緩解資料庫的壓力，讓Memcache作為一個快取區域，把部分資訊儲存在記憶體中，在前端能夠迅速的進行存取。那麼一般的焦點就是集中在如何分擔資料庫壓力和進行分布式，畢竟單台Memcache的記憶體容量的有限的。我這裡簡單提出我的個人看法，未經實踐，權當參考。

分布式應用
Memcache本來支援分布式，我們用戶端稍加改造，更好的支援。我們的key可以適當進行有規律的封裝，比如以user為主的網站來說，每個使用者都有User ID，那麼可以按照固定的ID來進行提取和存取，比如1開頭的使用者儲存在第一台Memcache伺服器上，以2開頭的使用者的資料儲存在第二胎Mecache伺服器上，存取資料都先按照User ID來進行相應的轉換和存取。

但是這個有缺點，就是需要對User ID進行判斷，如果業務不一致，或者其他類型的應用，可能不是那麼合適，那麼可以根據自己的實際業務來進行考慮，或者去想更合適的方法。

減少資料庫壓力
這個算是比較重要的，所有的資料基本上都是儲存在資料庫當中的，每次頻繁的存取資料庫，導致資料庫效能極具下降，無法同時服務更多的使用者，比如MySQL，特別頻繁的鎖表，那麼讓Memcache來分擔資料庫的壓力吧。我們需要一種改動比較小，並且能夠不會大規模改變前端的方式來進行改變目前的架構。

我考慮的一種簡單方法：
後端的資料庫操作模組，把所有的Select操作提取出來（update/delete/insert不管），然後把對應的SQL進行相應的hash演算法計算得出一個hash資料key（比如MD5或者SHA），然後把這個key去Memcache中尋找資料，如果這個資料不存在，說明還沒寫入到緩衝中，那麼從資料庫把資料提取出來，一個是數組類格式，然後把資料在set到Memcache中，key就是這個SQL的hash值，然後相應的設定一個失效時間，比如一個小時，那麼一個小時中的資料都是從緩衝中提取的，有效減少資料庫的壓力。缺點是資料不即時，當資料做了修改以後，無法即時到最上層顯示，並且還有可能對記憶體佔用比較大，畢竟每次select出來的資料數量可能比較巨大，這個是需要考慮的因素。

Memcache的安全
我們上面的Memcache伺服器端都是直接通過用戶端串連後直接操作，沒有任何的驗證過程，這樣如果伺服器是直接暴露在互連網上的話是比較危險，輕則資料泄露被其他無關人員查看，重則伺服器被入侵，因為Mecache是以root許可權啟動並執行，況且裡面可能存在一些我們未知的bug或者是緩衝區溢位的情況，這些都是我們未知的，所以危險性是可以預見的。為了安全起見，我做兩點建議，能夠稍微的防止駭客的入侵或者資料的泄露。

內網訪問
最好把兩台伺服器之間的訪問是內網形態的，一般是Web伺服器跟Memcache伺服器之間。普遍的伺服器都是有兩塊網卡，一塊指向互連網，一塊指向內網，那麼就讓Web伺服器通過內網的網卡來訪問Memcache伺服器，我們Memcache的伺服器上啟動的時候就監聽內網的IP地址和連接埠，內網間的訪問能夠有效阻止其他非法的訪問。
# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid
Memcache伺服器端設定監聽通過內網的192.168.0.200的ip的11211連接埠，佔用1024MB記憶體，並且允許最大1024個並發串連

設定防火牆
防火牆是簡單有效方式，如果卻是兩台伺服器都是掛在網的，並且需要通過外網IP來訪問Memcache的話，那麼可以考慮使用防火牆或者代理程式來過濾非法訪問。
一般我們在Linux下可以使用iptables或者FreeBSD下的ipfw來指定一些規則防止一些非法的訪問，比如我們可以設定只允許我們的Web伺服器來訪問我們Memcache伺服器，同時阻止其他的訪問。
# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 --dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 --dport 11211 -j ACCEPT
上面的iptables規則就是只允許192.168.0.2這台Web伺服器對Memcache伺服器的訪問，能夠有效阻止一些非法訪問，相應的也可以增加一些其他的規則來加強安全性，這個可以根據自己的需要來做。
你使用過 Memcache 緩衝？如果使用過，可以夠簡單的描述一下它的工作原理？

首先 memcached 是以精靈方式運行於一個或多個伺服器中，隨時接受用戶端的串連操作，用戶端可以由各種語言編寫，目前已知的用戶端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。PHP 等用戶端在與 memcached 服務建立串連之後，接下來的事情就是存取對象了，每個被存取的對象都有一個唯一的標識符 key，存取操作均通過這個 key 進行，儲存到 memcached 中的對象實際上是放置記憶體中的，並不是儲存在 cache 檔案中的，這也是為什麼PHP記憶體緩衝技術memcached 能夠如此高效快速的原因。注意，這些對象並不是持久的，服務停止之後，裡邊的資料就會丟失。
 
怎合理的使用memcache緩衝？如果快取資料量過大怎部署？

memcache伺服器，要特殊配置，記憶體要大，其他硬體能用即可
其他解決方案：可以配置分布式緩衝
因為memcache一般是只供區域網路使用的
工作原理是：web伺服器使用memcache緩衝，然後把資料緩衝在memcache伺服器上，memecache只用到記憶體

資料量過大隻能增加伺服器，部署分布式緩衝

其他可以再聯絡