第三章 並行Distributed File System Parallel Distributed File System

第三章 並行Distributed File System Parallel Distributed File System 搜尋的引擎的儲存規模至少都是TB層級，如何有效地管理和組織這些資源呢？並且在極短的時間內得出結果？MapReduce: Simplified Data Processing on Large Clusters 給出了很好的分析。

Distributed File System的實施必須實現兩種臨界資源的介面，一個是檔案名稱到命名空間的映射表，另外一個是塊表對應到結點機器列表。其中命名空間表示的是檔案名稱到一組機器的映射，具體hash函數可能需要看命名空間的規模，其實就是一個Map過程；其中塊表到機器列表的對應，實際是一個Reduce過程，分Block Storage到控制下的機器群（inodes），換句化說是slave-master的架構，通訊的方式越底層的協議執行起來效率越高。具體實現可以參照hadoop。
當然需要考慮的還有很多的細節問題，比如inode機器的turn up 和 turn down，即時地識別這些出現的新機器，關掉的機器也自動地從列表中刪除；備份資料個數的選擇，備份之間的Server Load Balancer；inode的設定檔的維護；對於終端的使用者來說，檔案系統虛擬化；