雲存儲主要技術分析

    雲存儲是在雲計算概念上延伸和發展出來的一個新概念，是指通過集群應用、網格技術或分散式檔案系統等功能，將網路中大量各種不同類型的存放裝置通過應用軟體集合起來協同工作， 共同對外提供資料存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量資料的存儲和管理時，雲計算系統中就需要配置大量的存放裝置，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以資料存儲和管理為核心的雲計算系統。
　　
　　與雲計算系統相比，雲存儲可以認為是配置了大型存放區空間的一個雲計算系統。 雲存儲系統具有如下特點：資料安全，超強的可擴充性，按照使用收費，可跨不同應用，自動切換故障，易於管理等。 雲存儲主要應用於備份、歸檔、分配和共用協作等四大領域。
　　
　　雲存儲系統是一個多設備、多應用、多服務協同工作的集合體，它的實現要以多種技術的發展為前提。 根據雲存儲的特點及其應用領域，主要的雲存儲技術涉及到存儲虛擬化，分散式檔案系統，集群存儲，存儲集中管理，異質平臺協同，自動分級存儲等方面，當然還有重復資料刪除、資料壓縮等技術。
　　
　　一、存儲虛擬化
　　
　　存儲虛擬化(StorageVirtualization)最通俗的理解就是對存儲硬體資源進行抽象化表現。 通過將一個（或多個）目標服務或功能與其它附加的功能集成，統一提供有用的全面功能服務。 典型的虛擬化包括如下一些情況：遮罩系統的複雜性，增加或集成新的功能，模擬、整合或分解現有的服務功能等。 虛擬化是作用在一個或者多個實體上的，而這些實體則是用來提供存儲資源或服務的。
　　
　　存儲虛擬化是一種貫穿于整個IT環境、用於簡化本來可能會相對複雜的底層基礎架構的技術。 存儲虛擬化的思想是將資源的邏輯映射與物理存儲分開，從而為系統和管理員提供一幅簡化、無縫的資源虛擬視圖。
　　
　　對於使用者來說，虛擬化的存儲資源就像是一個巨大的「存儲池」，使用者不會看到具體的磁片、磁帶，也不必關心自己的資料經過哪一條路徑通往哪一個具體的存放裝置。
　　
　　二、分散式檔案系統
　　
　　Hadoop分散式檔案系統(HDFS)是一個設計為用在普通硬體設備上的分散式檔案系統。 它與現有的分散式檔案系統有很多近似的地方，但又和這些檔案系統有很明顯的不同。 HDFS是高容錯的，設計為部署在廉價硬體上的。 HDFS對應用程式的資料提供高輸送量，而且適用于那些大資料集應用程式。 HDFS開放了一些POSIX的必須介面，容許流式訪問檔案系統的資料。
　　
　　HDFS是主/從結構的。 一個集群有一個名字結點，也就是主控制伺服器，負責管理檔案系統的名字空間並協調客戶對檔的訪問。 還有一堆資料結點，一般一個物理結點上部署一個，負責它們所在的物理結點上的存儲管理。 HDFS開放檔案系統的名字空間以便讓使用者資料存儲在檔中。 內部，一個檔被分割為一個或者多個資料塊，這些資料塊存儲在一組資料結點中。 名字結點執行檔案系統的名字空間操作，比如打開、關閉、重命名檔或目錄，還決定資料塊從資料結點的映射。 資料結點負責提供客戶的讀寫請求。 資料結點還依照名字結點的指令執行資料塊的創建、刪除和複製工作。
　　
　　三、集群存儲
　　
　　集群存儲是將多台存放裝置中的存儲空間聚合成一個能夠給應用伺服器提供統一訪問介面和管理介面的存儲池，應用可以通過該訪問介面透明地訪問和利用所有存放裝置上的磁片， 可以充分發揮存放裝置的性能和磁片利用率。 資料將會按照一定的規則從多台存放裝置上存儲和讀取，以獲得更高的併發訪問性能。
　　
　　集群存儲的優勢主要體現在提高並行或分區I/O的整體性能，特別是工作流、讀密集型以及大型檔的訪問，通過採用更低成本的伺服器來降低整體成本。 集群存儲有兩種實現方式：一種是硬體基礎架構加上軟體；另一種是專用集群存儲，是構建在NAS基礎架構之上的，但是通過作業系統實現集群存儲。

      四、存儲集中管理
　　
　　雲存儲管理平臺要求支援跨資料中心的部署和管理，並支援跨資料中心的使用者訪問調度、資料移轉、資料異地存儲備份等功能。
　　
　　支援集中管理，雲存儲管理平臺部署在雲計算的中心機房，存儲節點可以部署在各地的機房中，管理平臺對各分點機房的存放裝置可以統一管理調度。
　　
　　通過雲存儲管理平臺，使用者可以方便的瞭解雲存儲系統的各個節點的服務情況，包括各節點的容量和性能（讀IOPS、寫IOPS、讀流量、寫流量）等資訊，讓使用者即時瞭解域內資源資訊，運行狀態，從而可以操控這些資源 ；同時及時瞭解資源的異常，有必要時可以採取適當的措施保證其正常運行。
　　
　　五、異質平臺協同
　　
　　當前各種存儲方案與技術十分繁雜而多樣，光從一家企業內部可能同時存在各種不同類型存儲裝置的狀況便知一二，更何況不同存放裝置供應商間的存儲環境一直存在相容性問題， 所以喊了多年的存儲整合，仍舊難以如企業需求所願，這也是存儲虛擬化與雲存儲推展上的最大阻力。
　　
　　雖然存儲雲端在某方面很容易跨入（例如線上存儲與備份），但另一方面想要透過私有雲存儲來達成全面性之存儲整合，似乎不是那麼容易的事情。 對此，想要成功完成存儲虛擬化目標必須改善企業既有IT存儲環境，其改善重點不外共通分享的存儲架構、親和的使用環境、簡潔單一的操作介面，以及效能卓著的存儲方案等。 其中，不論是單一操作介面或統一標準的API，更是解決不同存儲裝置間協同問題的關鍵之一。
　　
　　CDMI是雲存儲全新標準介面，由國際存儲網路產業協會SNIA制定。 對於雲運算來說，CDMI提供了通用雲運算管理基礎架構，同時原本資訊管理的重點已逐漸從存儲管理轉移圍繞在資料管理上。 CDMI標準則可以協助使用者將特殊詮釋資料（Metadata）標記在資料上，該詮釋資料會告訴端點存儲供應商，什麼樣的資料服務提供該資料（例如備份、歸檔、加密等）。 透過CDMI標準介面的執行，使用者可在不同雲端供應商間任意移動資料，不再需要忍受不同介面中重新編碼的痛苦。
　　
　　六、自動分級存儲
　　
　　提高存儲管理效率已經成為許多企業首要解決問題，自動分級存儲成為最有效的基礎技術，它指的是在不同磁片類型和RAID級別之間遷移資料塊的功能，這可滿足性能和空間使用之間的適當平衡，快速將資料放到合適的地方並避免所謂的熱點。
　　
　　作為這項技術受到廣泛關注，在不同層級的存儲介質之間，比如FC磁片和SATA磁片之間，移動資料需要實現全自動化的遷移流程。
　　
　　在分級資料存儲結構中，存放裝置一般有磁帶庫、磁片或磁碟陣列等，而磁片又可以根據其性能分為FC磁片、SCSI磁片、SATA磁片等多種，而快閃記憶體存儲介質（非易失隨機訪問儲存體(NVRAM) ）也因為較高的性能可以作為分級資料存儲結構中較高的一級。 一般，磁片或磁碟陣列等成本高、速度快的設備，用來存儲經常訪問的重要資訊，而磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的資訊。
　　
　　七、小結
　　
　　雲存儲與雲運算一樣，必須經由網路來提供隨選分派的存儲資源。 重要的是，該網路必須具備良好的QoS機制才行。 對於使用者來說，具備彈性擴展與隨使用需求彈性配置的雲存儲，可節省大筆的存放裝置採購及管理成本，甚至因存放裝置損壞所造成的資料遺失風險也可因此避免。 總之，不論是端點消費者將資料備份到雲端，抑或企業基於法規遵循，或其他目的的資料歸檔與保存，雲存儲皆可滿足各方的不同需求，所有雲存儲技術的發展都要確保實現這一目標。