雲端儲存的那些事（2）——資料分布演算法CRUSH

標籤：src   alt   合數   分布   map   雲端儲存   體系   方便   映射   

在分布式系統中，資料最終還是要儲存到物理裝置上的，ceph的底層裝置抽象角色是OSD，那麼資料是如何被決定放在哪塊OSD上的，答案就是CRUSH演算法。

關鍵字：CRUSH、一致性hash、ceph資料分布

總體來說，資料存放區分為2個階段

　　1，首先根據一般的hash演算法，對資料x的hash數值進行PG數模數運算

　　　　PG是ceph中由OSD再進一步抽象出來的資源集區pool中的虛擬儲存單元

　　　　為什麼要抽象出這一層呢，其實可以類比LVM的作用，即為了讓一切資源都能夠變得“不那麼硬“，

　　　　方便在故障發生時，系統擴容時，可以迅速的調整，並且對整體系統影響最小

　　　　PG的存在讓節點的增加和減少變為了邏輯層面的調整，對物理層的OSD起到了封裝的作用

　　2，確定了PG後，再根據monitor節點中的全域拓撲cluster map，結合資料規則（副本數），再次映射到具體的OSD節點上

　　　　此時需要注意選擇的OSD節點可能是多個，演算法會保證不在同一個故障域

　　　　故障域的大小可以是（從小到大層級）：host-rack-row-root

 

下面照例總結一張圖：

 

 

雲端儲存的那些事（2）——資料分布演算法CRUSH