Hadoop和swift 的差異

來源:互聯網
上載者:User

來自RackSpace的OpenStack Swift開發人員Chuck Their:

雖然HDFS與OpenstackObject Storage Service(Swift)之間有著一些相似之處,但是這兩種系統的總體設計卻大不一樣。

1. HDFS使用了中央系統來維護檔案中繼資料(Namenode,名稱節點),而在Swift中,中繼資料呈分布式,跨叢集複製。使用一種中央中繼資料系統對HDFS來說無異於單一故障點,因而擴充到規模非常大的環境顯得更困難。

2. Swift在設計時考慮到了多租戶架構,而HDFS沒有多租戶架構這個概念。

3. HDFS針對更龐大的檔案作了最佳化(這是處理資料時通常會出現的情況),Swift被設計成了可以儲存任何大小的檔案。

4. 在HDFS中,檔案寫入一次,而且每次只能有一個檔案寫入;而在Swift中,檔案可以寫入多次;在並行作業環境下,以最近一次操作為準。

5. HDFS用Java來編寫,而Swift用Python來編寫。

另外,HDFS被設計成了可以儲存數量中等的大檔案,以支援資料處理,而Swift被設計成了一種比較通用的儲存解決方案,能夠可靠地儲存數量非常多的大小不一的檔案。

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.