深入理解雲端儲存和雲端運算-hdfs設計原則

來源:互聯網
上載者:User

在hadoop整個架構中hdfs是基礎,hdfs提供海量的非結構化的資料存放區,並提供了檔案的建立刪除讀取和寫入等API,對開發人員而言只需操作一個目錄構成的樹形結構。

hdfs在設計之初考慮到了以下幾個方面:

1,hdfs將採用大量穩定性差的廉價pc來做為檔案儲存體裝置,所以pc發生死機或硬碟故障的幾率極高,應看作是常態,所以hdfs應該提供資料多備份,自動檢測節點存活,和故障機器的自動修複

2,hdfs儲存的大多是大檔案,所以針對大檔案的讀寫會作出最佳化

3,對於寫入資料來說,系統會有很多追加操作,而很少會有隨機讀寫

4,對於讀取資料來說,大多數的操作是順序讀,很少有隨機讀

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.