memcached 是由 Danga Interactive 開發並使用 BSD 許可的一種通用的分布式記憶體緩衝系統
Danga Interactive 開發 memcached 的目的是建立一個記憶體緩衝系統來處理其網站 LiveJournal.com 的巨大流量。每天超過 2000 萬的頁面訪問量給 LiveJournal 的資料庫施加了巨大的壓力,因此 Danga 的 Brad Fitzpatrick 便著手設計了 memcached。memcached 不僅減少了網站資料庫的負載,還成為如今世界上大多數高流量網站所使用的緩衝解決方案。
本文首先全面概述 memcached,然後指導您安裝 memcached 以及在開發環境中構建它。我還將介紹 memcached 客戶機命令(總共有 9 個)並展示如何在標準和進階 memcached 操作中使用它們。最後,我將提供一些使用 memcached 命令測量緩衝的效能和效率的技巧。
如何將 memcached 融入到您的環境中。
在開始安裝和使用 using memcached 之前,我們需要瞭解如何將 memcached 融入到您的環境中。雖然在任何地方都可以使用 memcached,但我發現需要在資料庫層中執行幾個經常性查詢時,memcached 往往能發揮最大的效用。我經常會在資料庫和應用伺服器之間設定一系列 memcached 執行個體,並採用一種簡單的模式來讀取和寫入這些伺服器。圖 1 可以協助您瞭解如何設定應用程式體繫結構:
圖 1. 使用 memcached 的應用程式範例體繫結構
體繫結構相當容易理解。我建立了一個 Web 層,其中包括一些 Apache 執行個體。下一層是應用程式本身。這一層通常運行於 Apache Tomcat 或其他開源應用伺服器之上。再下面一層是配置 memcached 執行個體的地方 — 即應用伺服器與資料庫伺服器之間。在使用這種配置時,需要採用稍微不同的方式來執行資料庫的讀取和寫入操作。
讀取
我執行讀取操作的順序是從 Web 層擷取請求(需要執行一次資料庫查詢)並檢查之前在緩衝中儲存的查詢結果。如果我找到所需的值,則返回它。如果未找到,則執行查詢並將結果儲存在緩衝中,然後再將結果返回給 Web 層。
寫入
將資料寫入到資料庫中時,首先需要執行資料庫寫入操作,然後將之前緩衝的任何受此寫入操作影響的結果設定為無效。此過程有助於防止緩衝和資料庫之間出現資料不一致性。
安裝 memcached
memcached 支援一些作業系統,包括 Linux®、Windows®、Mac OS 和 Solaris。在本文中,我將詳細介紹如何通過源檔案構建和安裝 memcached。採用這種方式的主要原因是我在遇到問題時可以查看原始碼。
libevent
libevent 是安裝 memcached 的唯一前提條件。它是 memcached 所依賴的非同步事件通知庫。您可以在 monkey.org 上找到關於 libevent 的源檔案。接下來,找到其最新版本的源檔案。對於本文,我們使用穩定的 1.4.11 版本。擷取了歸檔檔案之後,將它解壓到一個方便的位置,然後執行清單 1 中的命令:
清單 1. 產生和安裝 libevent
cd libevent-1.4.11-stable/./configuremakemake install |
memcached
從 Danga Interactive 擷取 memcached 源檔案,仍然選擇最新的分發版。在撰寫本文時,其最新版本是 1.4.0。將 tar.gz 解壓到方便的位置,並執行清單 2 中的命令:
清單 2. 產生和安裝 memcached
cd memcached-1.4.0/./configuremakemake install |
完成這些步驟之後,您應該安裝了一個 memcached 工作複本,並且可以使用它了。讓我們進行簡單介紹,然後使用它。
使用 memcached
要開始使用 memcached,您首先需要啟動 memcached 伺服器,然後使用 telnet 客戶機串連到它。
要啟動 memcached,執行清單 3 中的命令:
清單 3. 啟動 memcached
./memcached -d -m 2048 -l 10.0.0.40 -p 11211 |
這會以精靈的形式啟動 memcached(-d ),為其分配 2GB 記憶體(-m 2048 ),並指定監聽 localhost,即連接埠 11211。您可以根據需要修改這些值,但以上設定足以完成本文中的練習。接下來,您需要串連到 memcached。您將使用一個簡單的 telnet 客戶機串連到 memcached 伺服器。
大多數作業系統都提供了內建的 telnet 客戶機,但如果您使用的是基於 Windows 的作業系統,則需要下載第三方客戶機。我推薦使用 PuTTy 。
安裝了 telnet 客戶機之後,執行清單 4 中的命令:
清單 4. 串連到 memcached
如果一切正常,則應該得到一個 telnet 響應,它會指示 Connected to localhost(已經串連到 localhost) 。如果未獲得此響應,則應該返回之前的步驟並確保 libevent 和 memcached 的源檔案都已成功產生。
您現現已經登入到 memcached 伺服器。此後,您將能夠通過一系列簡單的命令來與 memcached 通訊。9 個 memcached 用戶端命令可以分為三類: 基本 進階 管理
基本 memcached 客戶機命令
您將使用五種基本 memcached 命令執行最簡單的操作。這些命令和操作包括: set add replace get delete
前三個命令是用於操作儲存在 memcached 中的索引值對的標準修改命令。它們都非常簡單易用,且都使用清單 5 所示的文法:
清單 5. 修改命令文法
command <key> <flags> <expiration time> <bytes><value> |
表 1 定義了 memcached 修改命令的參數和用法。
表 1. memcached 修改命令參數
| 參數 |
用法 |
| key |
key 用於尋找緩衝值 |
| flags |
可以包括索引值對的整型參數,客戶機使用它儲存關於索引值對的額外資訊 |
| expiration time |
在緩衝中儲存索引值對的時間長度(以秒為單位,0 表示永遠) |
| bytes |
在緩衝中儲存的位元組點 |
| value |
儲存的值(始終位於第二行) |
現在,我們來看看這些命令的實際使用。
set
set 命令用於向緩衝添加新的索引值對。如果鍵已經存在,則之前的值將被替換。
注意以下互動,它使用了 set 命令:
set userId 0 0 512345STORED |
如果使用 set 命令正確設定了索引值對,伺服器將使用單詞 STORED 進行響應。本樣本向緩衝中添加了一個索引值對,其鍵為 userId ,其值為 12345 。並將到期時間設定為 0,這將向 memcached 通知您希望將此值儲存在緩衝中直到刪除它為止。
add
僅當緩衝中不存在鍵時,add 命令才會向緩衝中添加一個索引值對。如果緩衝中已經存在鍵,則之前的值將仍然保持相同,並且您將獲得響應 NOT_STORED 。
下面是使用 add 命令的標準互動:
set userId 0 0 512345STOREDadd userId 0 0 555555NOT_STOREDadd companyId 0 0 3564STORED |
replace
僅當鍵已經存在時,replace 命令才會替換緩衝中的鍵。如果緩衝中不存在鍵,那麼您將從 memcached 伺服器接受到一條 NOT_STORED 響應。
下面是使用 replace 命令的標準互動:
replace accountId 0 0 567890NOT_STOREDset accountId 0 0 567890STOREDreplace accountId 0 0 555555STORED |
最後兩個基本命令是 get 和 delete 。這些命令相當容易理解,並且使用了類似的文法,如下所示:
接下來看這些命令的應用。
get
get 命令用於檢索與之前添加的索引值對相關的值。您將使用 get 執行大多數檢索操作。
下面是使用 get 命令的典型互動:
set userId 0 0 512345STOREDget userIdVALUE userId 0 512345ENDget bobEND |
如您所見,get 命令相當簡單。您使用一個鍵來調用 get ,如果這個鍵存在於緩衝中,則返回相應的值。如果不存在,則不返回任何內容。
delete
最後一個基本命令是 delete 。delete 命令用於刪除 memcached 中的任何現有值。您將使用一個鍵調用 delete ,如果該鍵存在於緩衝中,則刪除該值。如果不存在,則返回一條NOT_FOUND 訊息。
下面是使用 delete 命令的客戶機伺服器互動:
set userId 0 0 598765STOREDdelete bobNOT_FOUNDdelete userIdDELETEDget userIdEND |
進階 memcached 客戶機命令
可以在 memcached 中使用的兩個進階命令是 gets 和 cas 。gets 和 cas 命令需要結合使用。您將使用這兩個命令來確保不會將現有的成對的名稱和數值設定為新值(如果該值已經更新過)。我們來分別看看這些命令。
gets
gets 命令的功能類似於基本的 get 命令。兩個命令之間的差異在於,gets 返回的資訊稍微多一些:64 位元的整型值非常像成對的名稱和數值的 “版本” 標識符。
下面是使用 gets 命令的客戶機伺服器互動:
set userId 0 0 512345STOREDget userIdVALUE userId 0 512345ENDgets userIdVALUE userId 0 5 412345END |
考慮 get 和 gets 命令之間的差異。gets 命令將返回一個額外的值 — 在本例中是整型值 4,用於標識成對的名稱和數值。如果對此成對的名稱和數值執行另一個 set 命令,則 gets 返回的額外值將會發生更改,以表明成對的名稱和數值已經被更新。清單 6 顯示了一個例子:
清單 6. set 更新版本指示符
set userId 0 0 533333STOREDgets userIdVALUE userId 0 5 533333END |
您看到 gets 返回的值了嗎。它已經更新為 5。您每次修改成對的名稱和數值時,該值都會發生更改。
cas
cas (check 和 set)是一個非常便捷的 memcached 命令,用於設定成對的名稱和數值的值(如果該成對的名稱和數值在您上次執行 gets 後沒有更新過)。它使用與 set 命令相類似的文法,但包括一個額外的值:gets 返回的額外值。
注意以下使用 cas 命令的互動:
set userId 0 0 555555STOREDgets userIdVALUE userId 0 5 655555ENDcas userId 0 0 5 633333STORED |
如您所見,我使用額外的整型值 6 來調用 gets 命令,並且操作運行非常順序。現在,我們來看看清單 7 中的一系列命令:
清單 7. 使用舊版本指示符的 cas 命令
set userId 0 0 555555STOREDgets userIdVALUE userId 0 5 855555ENDcas userId 0 0 5 633333EXISTS |
注意,我並未使用 gets 最近返回的整型值,並且 cas 命令返回 EXISTS 值以示失敗。從本質上說,同時使用 gets 和 cas 命令可以防止您使用自上次讀取後經過更新的成對的名稱和數值。
緩衝管理命令
最後兩個 memcached 命令用於監控和清理 memcached 執行個體。它們是 stats 和 flush_all 命令。
stats
stats 命令的功能正如其名:轉儲所串連的 memcached 執行個體的當前統計資料。在下例中,執行 stats 命令顯示了關於當前 memcached 執行個體的資訊:
statsSTAT pid 63STAT uptime 101758STAT time 1248643186STAT version 1.4.11STAT pointer_size 32STAT rusage_user 1.177192STAT rusage_system 2.365370STAT curr_items 2STAT total_items 8STAT bytes 119STAT curr_connections 6STAT total_connections 7STAT connection_structures 7STAT cmd_get 12STAT cmd_set 12STAT get_hits 12STAT get_misses 0STAT evictions 0STAT bytes_read 471STAT bytes_written 535STAT limit_maxbytes 67108864STAT threads 4END |
此處的大多數輸出都非常容易理解。稍後在討論緩衝效能時,我還將詳細解釋這些值的含義。至於目前,我們先來看看輸出,然後再使用新的鍵來運行一些 set 命令,並再次運行 stats 命令,注意發生了哪些變化。
flush_all
flush_all 是最後一個要介紹的命令。這個最簡單的命令僅用於清理緩衝中的所有成對的名稱和數值。如果您需要將緩衝重設到乾淨的狀態,則 flush_all 能提供很大的用處。下面是一個使用flush_all 的例子:
set userId 0 0 555555STOREDget userIdVALUE userId 0 555555ENDflush_allOKget userIdEND |
緩衝效能
在本文的最後,我將討論如何使用進階 memcached 命令來確定緩衝的效能。stats 命令用於調優緩衝的使用。需要注意的兩個最重要的統計資料是 et_hits 和 get_misses。這兩個值分別指示找到成對的名稱和數值的次數(get_hits)和未找到成對的名稱和數值的次數(get_misses)。
結合這些值,我們可以確定緩衝的利用率如何。初次啟動緩衝時,可以看到 get_misses 會自然地增加,但在經過一定的使用量之後,這些 get_misses 值應該會逐漸趨於平穩 — 這表示緩衝主要用於常見的讀取操作。如果您看到 get_misses 繼續快速增加,而 get_hits 逐漸趨於平穩,則需要確定一下所緩衝的內容是什麼。您可能緩衝了錯誤的內容。
確定緩衝效率的另一種方法是查看緩衝的命中率(hit ratio)。快取命中率表示執行 get 的次數與錯過 get 的次數的百分比。要確定這個百分比,需要再次運行 stats 命令,如清單 8 所示:
清單 8. 計算快取命中率
statsSTAT pid 6825STAT uptime 540692STAT time 1249252262STAT version 1.2.6STAT pointer_size 32STAT rusage_user 0.056003STAT rusage_system 0.180011STAT curr_items 595STAT total_items 961STAT bytes 4587415STAT curr_connections 3STAT total_connections 22STAT connection_structures 4STAT cmd_get 2688STAT cmd_set 961STAT get_hits 1908STAT get_misses 780STAT evictions 0STAT bytes_read 5770762STAT bytes_written 7421373STAT limit_maxbytes 536870912STAT threads 1END |
現在,用 get_hits 的數值除以 cmd_gets。在本例中,您的命中率大約是 71%。在理想情況下,您可能希望得到更高的百分比 — 比率越高越好。查看統計資料並不時測量它們可以很好地判定緩衝策略的效率。
結束語
緩衝是任何海量 Web 應用程式不可或缺的部分。我自己成功使用過它好幾次。如果您選擇使用 memcached 作為緩衝解決方案,那麼我敢保證您可以看到它的效率如何。
在本系列的第 2 部分中,您將學習如何將 memcached 整合到一個 Grails 應用程式中。我們將藉此機會討論一個激動人心的用於可伸縮 Web 應用程式開發的棧,並應用一些出色的技巧。到目前為止,本文介紹的知識足以協助您開始掌握 memcached。我鼓勵您安裝自己的 memcached 執行個體並開始嘗試使用它。