分割超大Redis資料庫例子_Redis

薄荷 App 上的夥伴功能大量使用了記憶體資料庫 Redis，隨著資料量的快速增長，Redis 膨脹得很快，已經接近 12 GB規模，這些資料全部放在單個 Redis 執行個體中。單個巨大 Redis 執行個體有如下幾個壞處：

1.首先，需要一台記憶體很大的機器。Redis 是記憶體資料庫，它需要把所有需求全部放在記憶體中，需要為之裝下 12 GB的 Redis 執行個體，至少需要 12 GB 記憶體大小的機器，考慮的預留增長空間，一般需要 12 * 1.5 約 18 GB 記憶體。 另外還有一個考慮的因素是，Redis 進行硬碟資料存放區時，fork 進程需要消耗同樣大小的記憶體，因此一個 12GB 的 redis 執行個體需要 32 GB左右的記憶體比較合適，這對機器提出了很高的要求，常常難以滿足。

2.然後，Redis 容易成為效能瓶頸。Redis 的並行存取模型是單進程單線程，它不能充分利用多核 CPU，在請求數很高，或者某一些請求處理比較慢時（比如一些大的資料排序），可能會成為系統的效能瓶頸。有方法可以緩解甚至這個問題，就是建立多個 Redis 執行個體，通過多個 Redis 串連來實現。

3.另外，單個巨大的 Redis 執行個體也會增加資料管理難度，因為這麼大的資料量，無論是複製，備份操作都比較慢，容易對線上系統造成衝擊。

因此，十分有必要把單個巨大的 Redis 執行個體分割成多個小的 Redis 執行個體。

使用 Redis 的複製機制，可以線上平滑處理 Redis 執行個體分割，幾乎不會對系統有很大的影響。

分割的具體操作思路如下：

1.首先，規劃 Redis 分割策略，通常是基於業務劃分，比如薄荷夥伴是基於業務分成 timeline, user_relationship, other 3個 Redis 執行個體。規劃好之後，需要根據規劃結果對應用程式中 Redis 程式碼做修改，通常是有一個統一的 Redis 連結修改為多個 Redis 串連，不同業務使用不同的串連。

2.然後，通過 Redis 複製功能建立多個 Redis 副本，讓不同 Redis 串連使用不同的 Redis 副本，在 Redis 副本中刪除多餘的資料。大量刪除某個模式的 keys，可以使用下面的 shell 命令：

複製代碼 代碼如下:

redis-cli KEYS "<pattern>" | xargs redis-cli DEL

改成實際的模式，如

複製代碼 代碼如下:

redis-cli KEYS "user:*:followers" | xargs redis-cli DEL

表示刪除 user followers 資料。

最後通過來回切換並重啟 Redis 執行個體達到完全分割 Redis 執行個體。