GFS讀書筆記

 

1.Distributed File System的設計要點：容錯能力強；支援的資料量大（不用考慮多數目的小檔案）；檔案寫入一般採取追加的方式，不支援隨機寫入 ；跨平台 2.詳細設計要點：構架於廉價的PC機之上，可以在出現錯誤時常規地進行錯誤恢複；主要支援適當數量的大檔案，應當支援小檔案，但是不必對此作最佳化；檔案讀取一般一次讀取較大的位元數，隨機讀寫的問題可以次要考慮；支援多個用戶端對同一個檔案的讀寫的同步；一次性讀寫的頻寬比讀寫的延時更重要 3.每一個使用者的讀寫操作是原子的；4.主機掌握檔案系統的所有中繼資料，包括檔案的名稱，存取控制資訊，檔案在資料結點上的映射和資料結點的位置。也包括資料節點的回收等內容5.塊大小：塊大小不能太小，這樣可以減少客戶機和master的互動次數，而且可以通過緩衝提高效率，塊大小不能太大，以免造成多個使用者同時讀寫一個檔案時，在讀寫同一個塊，盡量使一個檔案含有多個塊。6.中繼資料：master儲存的中繼資料主要包含以下三個內容：檔案和塊的名字空間；檔案到塊的映射；每個塊的地址；這三項內容都存放在master的記憶體中，前兩項同時儲存在記錄檔中，並在slave中有備份，塊地址在master啟動和塊加入叢集時發送給master7.名字空間以B樹的形式載入在記憶體當中8.GFS設計原則之一，盡量減少master和client之間的互動