大型網站架構系列:緩衝在分布式系統中的應用(三)

來源:互聯網
上載者:User

標籤:保護   方式   cdn   uri   問題   無法   基本原理   bitmap   回寫   

本文是《緩衝在分布式系統中的應用》第三篇文章。

上次主要給大家分享了,緩衝在分布式系統中的應用,主要從不同的情境,介紹了CDN,反向 Proxy,分布式緩衝,本機快取的常規架構和基本原理。

因為時間關於,原計劃分享《緩衝常見問題》的內容,沒有講。本次主要針對緩衝的常見個問題,做一個介紹。主要有以下議題:

一、分享大綱
  1. 分享大綱
  2. 資料一致性
  3. 緩衝高可用
  4. 緩衝雪崩
  5. 緩衝穿透
  6. 參考資料
  7. 分享總結
二、資料一致性

緩衝是在資料持久化之前的一個節點,主要是將熱點資料放到離使用者最近或訪問速度更快的介質中,加快資料的訪問,減小回應時間。

因為緩衝屬於持久化資料的一個副本,因此不可避免的會出現資料不一致問題。導致髒讀或讀不到資料的情況。資料不一致,一般是因為網路不穩定或節點故障導致。根據資料的操作順序,主要有以下幾種情況。

2.1情境介紹

(1)先寫緩衝,再寫資料庫

         如:

 

假如緩衝寫成功,但寫資料庫失敗或響應延遲,則下次讀取(並發讀)緩衝時,就出現髒讀;

 

(2)先寫資料庫,再寫緩衝

         如:

        

         假如寫資料庫成功,但寫緩衝失敗,則下次讀取(並發讀)緩衝時,則讀不到資料;

 

(3)緩衝非同步重新整理

         指資料庫操作和寫緩衝不在一個操作步驟中,比如在分布式情境下,無法做到同時寫緩衝或需要非同步重新整理(補救措施)時候。

 

         此種情況,主要考慮資料寫入和緩衝重新整理的時效性。比如多久內重新整理緩衝,不影響使用者對資料的訪問。

2.2解決方案

第一個情境:

這個寫緩衝的方式,本身就是錯誤的,需要改為先寫持久化介質,再寫緩衝的方式。

第二個情境:

(1)根據寫入緩衝的響應來進行判斷,如果緩衝寫入失敗,則復原資料庫操作;此種方法增加了程式的複雜度,不建議採用;

(2)緩衝使用時,假如讀緩衝失敗,先讀資料庫,再回寫緩衝的方式實現。

第三個情境:

(1)首先確定,哪些資料適合此類情境;

(2)根據經驗值確定合理的資料不一致時間,使用者資料重新整理的時間間隔;

2.3 其他方法

(1)逾時:設定合理的逾時時間;

(2)重新整理:定時重新整理一定範圍內(根據時間,版本號碼)的資料;

 

         以上是簡化資料讀寫情境,實際中會分為:

         (1)緩衝與資料庫之間的一致性;

         (2)多級緩衝之前的一致性;

         (3)快取複本之前的一致性。

三、緩衝高可用

業界有兩種理論,第一套緩衝就是緩衝,臨時儲存資料的,不需要高可用。第二種緩衝逐步演化為重要的儲存介質,需要做高可用。

本人的看法是,緩衝是否高可用,需要根據實際的情境而定。臨界點是是否對後端的資料庫造成影響。

具體的決策依據需要根據,叢集的規模(資料,緩衝),成本(伺服器,營運),系統效能(並發量,輸送量,回應時間)等方面綜合評價。

3.1解決方案

         緩衝的高可用,一般通過分布式和複製實現。分布式實現資料的海量緩衝,複製實現快取資料節點的高可用。架構圖如下:

        

         其中,分布式採用一致性Hash演算法,複製採用非同步複製。

3.2其他方法

(1)複製雙寫:緩衝節點的複製,由非同步改為雙寫,只有兩份都寫成功,才算成功。

(2)虛擬層:一致性Hash存在,假如其中一個HASH環不可用,資料會寫入臨近的環,當HASH可用時,資料又寫入正常的HASH環,會導致資料位移問題。這種情況,可以考慮在HASH環前面加一個虛擬層實現。

(3)多級緩衝:比如一級使用本機快取,二級採用分布式Cahce,三級採用分布式Cache+本地持久化;

 

         方式很多,需要根據業務情境靈活選擇。

四、緩衝雪崩

         雪崩是指當大量緩衝失效時,導致大量的請求訪問資料庫,導致資料庫伺服器,無法抗住請求或掛掉的情況。

         解決方案:

         (1)合理規劃緩衝的失效時間;

         (2)合理評估資料庫的負載壓力;

         (3)對資料庫進行過載保護或應用程式層限流;

         (4)多級緩衝設計,緩衝高可用;

五、緩衝穿透

         緩衝一般是Key,value方式存在,當某一個Key不存在時會查詢資料庫,假如這個Key,一直不存在,則會頻繁的請求資料庫,對資料庫造成訪問壓力。

解決方案:

(1)對結果為空白的資料也進行緩衝,當此key有資料後,清理緩衝;

(2)一定不存在的key,採用布隆過濾器,建立一個大的Bitmap中,查詢時通過該bitmap過濾;

六、參考資料

以下是本次分享參考的資料和推薦大家參考的資料。

 

MemCache超詳細解讀:http://www.mamicode.com/info-detail-1120932.html

緩衝與資料庫一致性保證:http://www.36dsj.com/archives/43950

HASH環和虛擬節點:http://www.111cn.net/sys/linux/58748.htm

讓memcached分布式:http://blog.csdn.net/cutesource/article/details/5848253

七、分享總結

以上是本周的分享,主要講解了緩衝常見的問題,包括資料一致性,緩衝高可用,緩衝雪崩,緩衝穿透等知識。 

我們的分享只是介紹一下知識結構,希望可以起到一個拋磚引玉的作用。因為,每個知識點都有一些細化的地方,需要學習的知識點很多,需要大家不斷深入學習。也歡迎大家把好的內容,即時的分享到群內(知識連結或參加周知識分享,參加周知識分享的同學可以直接聯絡我哈~~)

參考:

http://www.cnblogs.com/itfly8/p/5597639.html

大型網站架構系列:緩衝在分布式系統中的應用(三)

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.