NoSQL - Redis應用情境

標籤：cached   用法   屬性   app   sha   一段   複製   rom   排序   

問題的引入

DB（Oracle、MySQL、Postgresql等）＋Memcached 這種架構模式在我們生產環境中十分常見，一般我們通過Memcached將熱點資料載入到cache，應用程式層首先向Memcached請求資料，如果緩衝中存在資料，那麼直接返回應用程式層；但隨著業務資料量的不斷增加，和訪問量的持續增長，我們也會遇到很多問題：

• 在DB和Memcached之間如何保證資料的一致性。

• Memcached資料命中率低或down機，應用直接存取DB，形成雪崩效應，資料庫壓力瞬間暴增，直接導致資料庫響應慢，或者crash掉。

• 跨機房cache同步問題。

 

Redis

• 在眾多NoSQL中我們一般拿Redis替換Memecached使用，原因有下：

• Redis 支援更多的資料類型（strings、map、 list、sets、 sorted sets等）

• Redis 支援複製功能。

• Redis 支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。

• Redis 支援Sharding技術， 很容易將資料分布到多個Redis執行個體中，方便快速擴充。

• Redis 在記憶體配置時採用申請分配方式， 記憶體使用量更高效。

 

 Redis最為常用的資料類型主要有以下：

• String

• Hash

• List

• Set

• Sorted set

• pub/sub

• Transactions 

 

資料類型應用

 

1.  String 

常用命令：get、set、incr、decr mget等。

應用情境：String是最常用的一種資料類型，普通的key/ value 儲存都可以歸為此類.即可以完全實現目前 Memcached 的功能，並且效率更高。還可以享受Redis的定時持久化，動作記錄及 Replication等功能。

 

除了提供與 Memcached 一樣的get、set、incr、decr 等操作外，Redis還提供了下面一些操作： 

• 擷取字串長度

• 往字串append內容

• 設定和擷取字串的某一段內容

• 設定及擷取字串的某一位（bit）

• 大量設定一系列字串的內容 

 

2.  Hash

常用命令：hget,hset,hgetall 等。

應用情境：在Memcached中，我們經常將一些結構化的資訊打包成HashMap，在用戶端序列化後儲存為一個字串的值，比如使用者的暱稱、年齡、性別、積分等，這時候在需要修改其中某一項時，通常需要將所有值取出還原序列化後，修改某一項的值，再序列化儲存回去。這樣不僅增大了開銷，也不適用於一些可能並行作業的場合（比如兩個並發的操作都需要修改積分）。而Redis的Hash結構可以使你像在資料庫中Update一個屬性一樣只修改某一項屬性值。

 

比如我們要儲存一個使用者資訊對象資料，包含以下資訊：

使用者ID為尋找的key，儲存的value使用者物件包含姓名，年齡，生日等資訊，如果用普通的key/value結構來儲存，主要有以下2種儲存方式：

 

• 第一種方式將使用者ID作為尋找key,把其他資訊封裝成一個對象以序列化的方式儲存，這種方式的缺點是，增加了序列化/還原序列化的開銷，並且在需要修改其中一項資訊時，需要把整個對象取回，並且修改操作需要對並發進行保護，引入CAS等複雜問題。 

  ｛"ID":"xxxxxx","username,age,birthday"｝

 

• 第二種方法是這個使用者資訊對象有多少成員就存成多少個key-value對兒，用使用者ID+對應屬性的名稱作為唯一標識來取得對應屬性的值，雖然省去了序列化開銷和並發問題，但是使用者ID為重複儲存，如果存在大量這樣的資料，記憶體浪費還是非常可觀的。 

  {"xxxIDusername":"xxxxx","xxxIDage":"xxxx","xxxIDbirthday":"xxxxx"}

 

那麼Redis提供的Hash很好的解決了這個問題，Redis的Hash實際是內部儲存的Value為一個HashMap，並提供了直接存取這個Map成員的介面：

 {"ID":"xxxxxx":"userinfo":"\"username\":\"xxxxName\",\"age\":\"xxxx\",\"birthday\":\"xxxxxx\""｝，也就是說，Key仍然是使用者ID, value是一個Map，這個Map的key是成員的屬性名稱，value是屬性值，這樣對資料的修改和存取都可以直接通過其內部Map的Key(Redis裡稱內部Map的key為field), 也就是通過 key(使用者ID) + field(屬性標籤) 就可以操作對應屬性資料了，既不需要重複儲存資料，也不會帶來序列化和並發修改控制的問題。很好的解決了問題。

 

3. List

常用命令：lpush,rpush,lpop,rpop,lrange等。

應用情境：Redis list的應用情境非常多，也是Redis最重要的資料結構之一，比如twitter的關注列表，粉絲列表等都可以用Redis的list結構來實現。

 

Lists 就是鏈表，相信略有資料結構知識的人都應該能理解其結構。使用Lists結構，我們可以輕鬆地實現最新訊息排行等功能。Lists的另一個應用就是訊息佇列，

 

可以利用Lists的PUSH操作，將任務存在Lists中，然後背景工作執行緒再用POP操作將任務取出進行執行。Redis還提供了操作Lists中某一段的api，你可以直接查詢，刪除Lists中某一段的元素。

 

4. Set

常用命令：sadd,spop,smembers,sunion 等。

應用情境：Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在於set是可以自動排重的，當你需要儲存一個列表資料，又不希望出現重複資料時，set是一個很好的選擇，並且set提供了判斷某個成員是否在一個set集合內的重要介面，這個也是list所不能提供的。

 

Sets 集合的概念就是一堆不重複值的組合。利用Redis提供的Sets資料結構，可以儲存一些集合性的資料，比如在微博應用中，可以將一個使用者所有的關注人存在一個集合中，將其所有粉絲存在一個集合。Redis還為集合提供了求交集、並集、差集等操作，可以非常方便的實現如共同關注、共同喜好、二度好友等功能，對上面的所有集合操作，你還可以使用不同的命令選擇將結果返回給用戶端還是存集到一個新的集合中。

 

5. Sorted Set

常用命令：zadd,zrange,zrem,zcard等。

使用情境：Redis sorted set的使用情境與set類似，區別是set不是自動有序的，而sorted set可以通過使用者額外提供一個優先順序(score)的參數來為成員排序，並且是插入有序的，即自動排序。當你需要一個有序的並且不重複的集合列表，那麼可以選擇sorted set資料結構，比如twitter 的public timeline可以以發表時間作為score來儲存，這樣擷取時就是自動按時間排好序的。

 

另外還可以用Sorted Sets來做帶權重的隊列，比如普通訊息的score為1，重要訊息的score為2，然後背景工作執行緒可以選擇按score的倒序來擷取工作任務。讓重要的任務優先執行。

 

6. Pub/Sub

 Pub/Sub 從字面上理解就是發布（Publish）與訂閱（Subscribe），在Redis中，你可以設定對某一個key值進行訊息發布及訊息訂閱，當一個key值上進行了訊息發布後，所有訂閱它的用戶端都會收到相應的訊息。這一功能最明顯的用法就是用作即時訊息系統，比如普通的即時聊天，群聊等功能。 

 

實際應用情境

 

1、顯示最新的項目列表

下面這個語句常用來顯示最新項目，隨著資料多了，查詢毫無疑問會越來越慢。

SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10

  

在Web應用中，“列出最新的回複”之類的查詢非常普遍，這通常會帶來可擴充性問題。這令人沮喪，因為項目本來就是按這個順序被建立的，但要輸出這個順序卻不得不進行排序操作。

 

類似的問題就可以用Redis來解決。比如說，我們的一個Web應用想要列出使用者貼出的最新20條評論。在最新的評論邊上我們有一個“顯示全部”的連結，點擊後就可以獲得更多的評論。

 

我們假設資料庫中的每條評論都有一個唯一的遞增的ID欄位。

 

我們可以使用分頁來製作首頁和評論頁，使用Redis的模板，每次新評論發表時，我們會將它的ID添加到一個Redis列表： LPUSH latest.comments <ID>   

 

我們將列表裁剪為指定長度，因此Redis只需要儲存最新的5000條評論： 

LTRIM latest.comments 0 5000

 

每次我們需要擷取最新評論的專案範圍時，我們可以先從Redis 取得這個範圍的 ID List， 然後拿這個ID list 到DB裡邊直接去取資料 ，這個ID一般就是我們RDBMS裡邊的 uniq key 或者primary key ， 這樣以來我們省去了在 RDBMS 排序的時間，直接使用 consat 方式

 

我們的系統不會像傳統方式那樣“重新整理”緩衝，Redis執行個體中的資訊永遠是一致的。SQL資料庫（或是硬碟上的其他類型資料庫）只是在使用者需要擷取“很遠”的資料時才會被觸發，而首頁或第一個評論頁是不會麻煩到硬碟上的資料庫了。

 

2、刪除與過濾

我們可以使用LREM來刪除評論。如果刪除操作非常少，另一個選擇是直接跳過評論條目的入口，報告說該評論已經不存在。

 

有些時候你想要給不同的列表附加上不同的過濾器。如果過濾器的數量受到限制，你可以簡單的為每個不同的過濾器使用不同的Redis列表。畢竟每個列表只有5000條項目，但Redis卻能夠使用非常少的記憶體來處理幾百萬條項目。

 

3、熱門排行榜相關

另一個很普遍的需求是各種資料庫的資料並非儲存在記憶體中，因此在按得分排序以及即時更新這些幾乎每秒鐘都需要更新的功能上資料庫的效能不夠理想。

 

典型的比如那些線上遊戲的熱門排行榜，比如一個Facebook的遊戲，根據得分你通常想要：

- 列出前100名高分選手

- 列出某使用者當前的全球排名

 

這些操作對於Redis來說小菜一碟，即使你有幾百萬個使用者，每分鐘都會有幾百萬個新的得分。

 

模式是這樣的，每次獲得新得分時，我們用這樣的代碼：

ZADD leaderboard  <score>  <username>

 

你可能用userID來取代username，這取決於你是怎麼設計的。

 

得到前100名高分使用者很簡單：

ZREVRANGE leaderboard 0 99

      

使用者的全球排名也相似，只需要：

ZRANK leaderboard <username>

 

4、按照使用者投票和時間排序

熱門排行榜的一種常見變體模式就像Reddit或Hacker News用的那樣，新聞按照類似下面的公式根據得分來排序：

score = points / time^alpha

       

因此使用者的投票會相應的把新聞挖出來，但時間會按照一定的指數將新聞埋下去。下面是我們的模式，當然演算法由你決定。

 

模式是這樣的，開始時先觀察那些可能是最新的項目，例如首頁上的1000條新聞都是候選者，因此我們先忽視掉其他的，這實現起來很簡單。

 

每次新的新聞貼上來後，我們將ID添加到列表中，使用LPUSH + LTRIM，確保只取出最新的1000條項目。

 

有一項背景工作擷取這個列表，並且持續的計算這1000條新聞中每條新聞的最終得分。計算結果由ZADD命令按照新的順序填充產生列表，老新聞則被清除。這裡的關鍵思路是排序工作是由背景工作來完成的。

 

5、處理到期項目

另一種常用的項目排序是按照時間排序。我們使用unix時間作為得分即可。

 

模式如下：

 - 每次有新項目添加到我們的非Redis資料庫時，我們把它加入到排序集合中。這時我們用的是時間屬性，current_time和time_to_live。

 - 另一項背景工作使用ZRANGE…SCORES查詢排序集合，取出最新的10個項目。如果發現unix時間已經到期，則在資料庫中刪除條目。

 

6、計數

Redis是一個很好的計數器，這要感謝INCRBY和其他相似命令。

 

我相信你曾許多次想要給資料庫加上新的計數器，用來擷取統計或顯示新資訊，但是最後卻由於寫入敏感而不得不放棄它們。

 

好了，現在使用Redis就不需要再擔心了。有了原子遞增（atomic increment），你可以放心的加上各種計數，用GETSET重設，或者是讓它們到期。

 

例如這樣操作： 

INCR user:<id> EXPIRE

  

你可以計算出最近使用者在頁面間停頓不超過60秒的頁面瀏覽量，當計數達到比如20時，就可以顯示出某些條幅提示，或是其它你想顯示的東西。

 

7、特定時間內的特定項目

另一項對於其他資料庫很難，但Redis做起來卻輕而易舉事就是統計在某段特點時間裡有多少特定使用者訪問了某個特定資源。比如我想要知道某些特定的註冊使用者或IP地址，他們到底有多少訪問了某篇文章。

 

每次我獲得一次新的頁面瀏覽時我只需要這樣做：  

SADD page:day1:<page_id> <user_id>

 

當然你可能想用unix時間替換day1，比如time()-(time()%3600*24)等等。

 

想知道特定使用者的數量嗎？只需要使用：

SCARD page:day1:<page_id>

 

需要測試某個特定使用者是否訪問了這個頁面？

SISMEMBER page:day1:<page_id>

 

8、即時分析正在發生的情況，用於資料統計與防止垃圾郵件等

我們只做了幾個例子，但如果你研究Redis的命令集，並且組合一下，就能獲得大量的即時分析方法，有效而且非常省力。使用Redis原語命令，更容易實施垃圾郵件過濾系統或其他即時跟蹤系統。

 

9、Pub/Sub

Redis的Pub/Sub非常非常簡單，運行穩定並且快速。支援模式比對，能夠即時訂閱與取消頻道。

 

10、隊列

你應該已經注意到像list push和list pop這樣的Redis命令能夠很方便的執行隊列操作了，但能做的可不止這些：比如Redis還有list pop的變體命令，能夠在列表為空白時阻塞隊列。

 

現代的互連網應用大量地使用了訊息佇列（Messaging）。訊息佇列不僅被用於系統內部組件之間的通訊，同時也被用於系統跟其它服務之間的互動。訊息佇列的使用可以增加系統的可擴充性、靈活性和使用者體驗。非基於訊息佇列的系統，其運行速度取決於系統中最慢的組件的速度（註：短板效應）。而基於訊息佇列可以將系統中各組件解除耦合，這樣系統就不再受最慢組件的束縛，各組件可以非同步運行從而得以更快的速度完成各自的工作。

 

此外，當伺服器處在高並行作業的時候，比如頻繁地寫入記錄檔。可以利用訊息佇列實現非同步處理。從而實現高效能的並行作業。

NoSQL - Redis應用情境