之前我們使用的定時任務都是只部署在了單台機器上,為瞭解決單點的問題,為了保證一個任務,只被一台機器執行,就需要考慮鎖的問題,於是就花時間研究了這個問題。到底怎樣實現一個分布式鎖呢?本文主要介紹了Redis實現分布式鎖的方法樣本,小編覺得挺不錯的,現在分享給大家,也給大家做個參考,希望能協助到大家。
鎖的本質就是互斥,保證任何時候能有一個用戶端持有同一個鎖,如果考慮使用redis來實現一個分布式鎖,最簡單的方案就是在執行個體裡面建立一個索引值,釋放鎖的時候,將索引值刪除。但是一個可靠完善的分布式鎖需要考慮的細節比較多,我們就來看看如何寫一個正確的分布式鎖。
單機版分布式鎖 SETNX
所以我們直接基於 redis 的 setNX (SET if Not eXists)命令,實現一個簡單的鎖。直接上偽碼
鎖的擷取:
SET resource_name my_random_value NX PX 30000
鎖的釋放:
if redis.call("get",KEYS[1]) == ARGV[1] then return redis.call("del",KEYS[1]) else return 0 end
幾個細節需要注意:
首先在擷取鎖的時候我們需要設定設定逾時時間。設定逾時時間是為了,防止用戶端崩潰,或者網路出現問題以後鎖一直被持有。真箇系統就死結了。
使用 setNX 命令,保證查詢和寫入兩個步驟是原子的
在鎖釋放的時候我們判斷了KEYS[1]) == ARGV[1],在這裡 KEYS[1]是從redis裡面取出來的value,ARGV[1]是上文產生的my_random_value。之所以進行以上的判斷,是為了保證鎖被鎖的持有人釋放。我們假設不進行這一步校正:
用戶端A擷取鎖,後發線程掛起了。時間大於鎖的到期時間。
鎖到期後,用戶端B擷取鎖。
用戶端A恢複以後,處理完相關事件,向redis發起 del命令。鎖被釋放
用戶端C擷取鎖。這個時候一個系統中同時兩個用戶端持有鎖。
造成這個問題的關鍵,在於用戶端B持有的鎖,被用戶端A釋放了。
鎖的釋放必須使用lua指令碼,保證操作的原子性。鎖的釋放包含了get,判斷,del三個步驟。如果不能保證三個步驟的原子性,分布式鎖就會有並發問題。
注意了以上細節,一個單redis節點的分布式鎖就達成了。
在這個分布式鎖中還是存在一個單點的redis。也許你會說,Redis是 master-slave的架構,發生故障的時候切換到slave就好,但是Redis的複製是非同步。
如果在用戶端A在master上拿到了鎖。
在master將資料同步到slave上之前,master宕機。
用戶端B就從slave上又一次拿到了鎖。
這樣由於Master的宕機,造成了同時多人持有鎖。如果你的系統可用接受短時時間內,有多人持有鎖。這個簡單的方案就能解決問題。
但是如果解決這個問題。Redis的官方提供了一個Redlock的解決方案。
RedLock 的實現
為瞭解決,Redis單點的問題。Redis的作者提出了RedLock的解決方案。方案非常的巧妙和簡潔。
RedLock的核心思想就是,同時使用多個Redis Master來冗餘,且這些節點都是完全的獨立的,也不需要對這些節點之間的資料進行同步。
假設我們有N個Redis節點,N應該是一個大於2的奇數。RedLock的實現步驟:
取得目前時間
使用上文提到的方法依次擷取N個節點的Redis鎖。
如果擷取到的鎖的數量大於 (N/2+1)個,且擷取的時間小於鎖的有效時間(lock validity time)就認為擷取到了一個有效鎖。鎖自動釋放時間就是最初的鎖釋放時間減去之前擷取鎖所消耗的時間。
如果擷取鎖的數量小於 (N/2+1),或者在鎖的有效時間(lock validity time)內沒有擷取到足夠的說,就認為擷取鎖失敗。這個時候需要向所有節點發送釋放鎖的訊息。
對於釋放鎖的實現就很簡單了。想所有的Redis節點發起釋放的操作,無論之前是否擷取鎖成功。
同時需要注意幾個細節:
重試擷取鎖的間隔時間應當是一個隨機範圍而非一個固定時間。這樣可以防止,多用戶端同時一起向Redis叢集發送擷取鎖的操作,避免同時競爭。同時擷取相同數量鎖的情況。(雖然機率很低)
如果某master節點故障之後,回複的時間間隔應當大於鎖的有效時間。
假設有A,B,C三個Redis節點。
用戶端foo擷取到了A、B兩個鎖。
這個時候B宕機,所有記憶體的資料丟失。
B節點回複。
這個時候用戶端bar重新擷取鎖,擷取到B,C兩個節點。
此時又有兩個用戶端擷取到鎖了。
所以如果恢複的時間將大於鎖的有效時間,就可以避免以上情況發生。同時如果效能要求不高,甚至可以開啟Redis的持久化選項。
總結
瞭解了Redis分布式的實現以後,其實覺得大多數的分布式系統其實原理很簡單,但是為了保證分布式系統的可靠性需要注意很多的細節,瑣碎異常。
RedLock演算法實現的分布式鎖就是簡單高效,思路相當巧妙。
但是RedLock就一定安全嗎?我還會寫一篇文章來討論這個問題。敬請大家期待。