GFS MapReduce BigTable關係_GFS

GFS（2003年發表）使用商用硬體叢集儲存海量資料。檔案系統將資料在節點之間冗餘複製。MapReduce（2004）是GFS架構的一個補充，因為它能夠充分利用GFS叢集中所有低價伺服器提供的大量CPU。它與GFS一道形成了處理海量資料的核心力量，包括構建Google的搜尋索引。不過這兩個系統都缺乏即時隨機存取資料的能力，意味著尚不足以處理Web服務。

GFS的另一個缺陷就是，它適合儲存少許非常非常大的檔案，而不適合儲存成千數萬的小檔案，例如社交平台上的圖片，因為檔案的無資料資訊最終要儲存在主節點的記憶體中，檔案越多master的壓力越大。

這時候需要一個能夠驅動互動應用的解決方案，且能夠同時利用以上兩種基礎架構和依靠GFS 儲存的資料冗餘和資料可用性較強的特點。儲存的資料應該拆分成特別小的條目，然後由系統將這些小記錄彙總到非常大的檔案中，並提供一些索引排序，讓使用者可以尋找最少的磁碟就能夠擷取到資料。最終，它要能夠及時儲存爬蟲的結果，並跟MapReduce協作產生搜尋索引。於是考慮放棄關係型的特點，採用簡單的API來進行增刪改查操作，另加一個掃描函數，以在較大的鍵範圍或全表上迭代掃描，最終形成一個管理結構化資料的分布式儲存系統BigTable（2006）。

值得一提的是CAP定理，當中指出，一個分布式系統只能同時實現一致性、可用性和分區容忍性（獨立性）中的兩個，不可能三者兼顧。放寬一致性的要求會提升系統的可用性。