雲存儲取得的突破性應用

近年來，隨著海量視頻資訊的快速增長，傳統的安防技術越來越難以滿足部分行業在傳輸、存儲及大資料計算分析上的需要，或者說很難以更低的成本、更靈活的擴充性、更健壯更可靠更安全的系統架構來滿足這些需要。 因此，雲計算的概念這兩年開始越來越多的滲透到安防領域。 其中，雲存儲取得的突破性應用尤為引人注目。 本文將主要就雲存儲在安防領域的應用展開分析。

網路化技術的普及，使得視頻資源的聯網共用成為很多行業日益迫切的需求，現有分散的視頻資源正在朝著大集中的方向推進;平安城市、智慧交通等大行業市場通過點、線、面的密集覆蓋，每時每刻都在增加新的視頻源;720P，1080P， 4K，更高的視頻解析度意味更大的視頻資訊量......

這些不斷增長的視頻資料在帶來海量視頻存儲需求的同時，也對當前的視頻存儲技術提出了一系列新的挑戰：如何實現存儲容量的平滑擴展?如何有效的降低由此帶來的存儲成本?如何更可靠地保存、更安全地使用和更便捷地分享這些資料? 如何解決越來越龐大的系統給維護管理帶來的困擾?

答案就在雲存儲。

雲存儲的定義

雲存儲是在雲計算概念上衍生和發展出來的一種技術或服務。 將網路中各類存放裝置彙集在雲計算系統當中，通過雲計算的概念組織起來協同工作，對外提供資料存儲和業務訪問的功能以及與存儲相關的增值應用，即稱為雲存儲。

雲存儲和雲計算都是雲架構的技術實現，任何應用都需要一個計算模型、一個存儲模型和一個通信模型。 雲計算中，為了實現資源的彈性利用以及給使用者造成資源無限的假像，必須實現資源的複用。 雲存儲也是一樣，它通過虛擬化和精簡佈建技術，讓資源的效益最大化。

與傳統的存放裝置相比，雲存儲不僅僅是一個硬體，而是一個網路設備、存放裝置、伺服器、應用軟體、公用訪問介面、接入網和用戶端程式等多個部分組成的複雜系統。 各部分以存放裝置為核心，通過應用軟體來對外提供資料存儲和業務訪問服務。

雲存儲對外提供的是與存儲相關的服務。 雲存儲可以提供類似于磁碟陣列的裸空間服務，也可以提供基於存儲的特定服務。

雲存儲的系統架構

要瞭解雲存儲的系統架構，需要先瞭解其應用架構。 我們以平安城市為例來看雲存儲的應用架構。 在平安城市中，雲存儲可為多個系統提供存儲服務，包括視頻監控、卡口電警、圖像資源庫、圖偵分析研判等。 其可完成日常視頻錄影資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產生的車輛抓拍圖片等資源的統一存儲。

從應用架構上看，雲存儲系統與傳統分散式存儲系統差異並不明顯，其更本質的區別其實體現在內部軟體架構上。

雲存儲系統採用大規模分散式並行檔案系統，以大量的伺服器和存放裝置為基礎，構建一個大規模存儲集群，提供上百PB的存儲容量，並能夠線上進行容量的擴充，由此搭建的大型存放區系統整體成本遠低於傳統存儲架構， 並且具有良好的可擴充性和靈活性。

雲存儲系統通過中繼資料和存儲資料分離的非對稱式架構，通過負載均衡和資料併發訪問策略，在普通硬體條件下獲得高達數十Gbps的傳輸速率以及上百PB級的存儲容量，並可根據使用者應用發展的趨勢，適時按需進行線上動態擴展。 與單機的檔案系統不同，分散式檔案系統不是將這些資料放在一塊磁片上由上層作業系統來管理，而是存放在一個伺服器集群上，由集群中的伺服器，各盡其責，通力合作，提供整個檔案系統的服務。

雲存儲系統內置了基於物件資料管理原則，能夠保證在系統局部發生故障時資料的安全性和可靠性，徹底消除存儲系統中的單點故障，結合自動故障探測和快速故障恢復技術，確保使用者的應用持續穩定地運行，同時減少部署和管理的難度。

更直觀的理解，雲存儲系統本身也是構建在通用磁碟陣列之上的，它通過通過作業系統的API管理磁片上的資料，只不過這樣一個系統在邏輯上可以分為中繼資料節點(控制節點)、資料節點(存儲節點)、管理節點以及用戶端四個部分， 這四個部分分別對應了上面提到的雲存儲的4層結構模型：

1)中繼資料節點(控制節點)

中繼資料節點即控制節點，用於記錄所存儲的檔的各種屬性，相當於整個檔案系統的大腦，管理各個資料節點，收集資料節點資訊，瞭解所有資料節點的現狀，然後給它們分配任務，協調指示各資料節點為系統服務;

2)資料節點(存儲節點)

資料節點即存儲節點，用於管理磁片和卷和存儲使用者的檔資料，是整個存儲系統的存儲資源提供者，它同時還負責集群構建，包括節點管理和資料分片，並承擔資料冗余保護和對資料訪問的負載均衡;

3)管理節點

管理節點統一管理雲存儲系統中的集群節點、檔、日誌、告警、閘道等，同時提供日誌管理、性能監控、建構管理、故障管理等能力，方便系統管理維護人員管理雲存儲系統;

4)用戶端

用戶端在一個獨立的進程中提供服務，為使用者提供檔讀寫、目錄操作等APIs，當使用者需要使用分散式檔案系統進行檔讀寫的時候，將用戶端安裝至需使用系統的伺服器，即可使用系統提供的服務。

在科達雲存儲系統中採用三台中繼資料節點，起到對中繼資料的重要保護(冗余)和負載均衡的作用(提升系統性能)。 資料節點定期向中繼資料節點彙報其狀況，等待並處理命令，實現資料高效、安全讀寫。 在系統中，資料切片的大小可以調整,以滿足不同客戶對資料檔案存儲策略的設定要求，同時採用完全鏡像副本保護資料檔案。

雲存儲與傳統存儲系統的對比優勢

與傳統存儲相比，雲存儲具備以下幾個方面的顯著優勢：

1)存儲容量的彈性擴展

傳統存放裝置最大容量有限，當達到一定擴展能力就很難再擴展，同時存儲性能、安全性、可靠性和經濟性都大大降低。 雲存儲能夠通過集群很容易獲得PB級存儲容量，存儲擴展沒有限制，可隨時隨地線上增加存儲節點來滿足存儲容量需求，並且能夠做到「增加存儲節點，資料自動重組，減少存儲節點，資料自動復原」的彈性和可伸縮性。

2)高併發讀寫性能

傳統存放裝置的併發讀寫性能容易受到NAS機頭、CPU或控制器的能力限制，而雲存儲系統採用控制與資料分離的架構，脫離了單台設備的能力束縛，整個系統的性能主要受網路吞吐能力的限制。 雲存儲技術可將存儲節點的頻寬聚合，隨著存儲節點的增加可以實現頻寬的線性增長，理論上頻寬是無限的。 同時在雲存儲系統中資料檔案是拆分成資料塊進行條帶化存儲在多台物理存儲節點上的，能夠最快速的併發訪問資料。 另外雲存儲中資料存儲是採用多副本策略存儲的，可以實現熱點資料的負載均衡訪問。

3)可維護性

雲存儲系統採用資料冗余存儲機制，硬碟或存儲節點損壞時，其餘節點可自動重組，資料不丟失，系統運行不受影響。 這一點大大提升了海量存儲節點的可維護性。 當前來看，最直觀、最能夠體現雲存儲優勢的就是可維護性。 以科達雲存儲系統為例：傳統的存放裝置，通常用RAID方式進行冗余備份，當有硬碟損壞時，RAID重構時間通常要十幾個小時，這期間如果再有硬碟壞掉，資料就無法恢復了，所以維護人員需要在第一時間趕到現場更換硬碟，7× 24小時待命;科達雲存儲採用分散式檔案系統，資料的存儲和備份不再依賴單台設備的能力，有硬碟壞掉時，其餘的硬碟將自動進行重構，恢復受損的資料，這只需要十幾分鐘的時間，維護人員只需要定期檢查硬碟的損壞情況，並更換新硬碟即可， 維護非常簡單。

4)安全性、可靠性

傳統存放裝置提供的是一個透明的存儲空間，原始資料直接存在存放裝置上的，資料可以直接存取和使用，並不具有資訊安全和私密性。 雲存儲中的資料傳輸是加密的，首先使用者並不知道資料存在哪個物理硬碟上，而且資料在存放裝置上是按檔塊存儲的無法直接進行訪問。 使用者存儲的資料只有自己有許可權進行訪問和管理，系統管理員也無法讀取。

5)資源分享性

傳統存?? 設備一般是以單一形式工作，無法做到多台設備之間的容量和頻寬聚合。 而雲存儲集群檔案系統，不受限於硬體存儲節點的數量，可靈活的進行統一管理和共用。 雲存儲可以把一個存儲池共用給多個使用者進行訪問，傳統存儲受限於容量和頻寬的性能是無法做到的。 雲存儲提供全域統一命名空間，提供示准的檔訪問介面，支援主流的檔案傳輸協定，同時支援API介面可于應用程式更完美的結合，實現最佳訪問效率。

6)擁有權總成本低

雲存儲系統採用高性價比的乙太網路和存儲節點構成，比傳統的中高端存放裝置具有更好的性價比優勢。 雲存儲擴容相對比較靈活，可根據業務隨時隨地的進行彈性擴展，使用者不需要在前期一次性購入，需要時可線上進行性能和容量的擴展，從而能夠保護使用者的前期投資。 更重要的是，雲存儲通過前面提到的可維護性，可以在管理維護上大大節省使用者的擁有權總成本(TCO)。

結束語

視頻圖像的存儲特點是對即時的存取性能要求較高，而雲存儲的系統架構決定了它能夠以較低的擁有權總成本很好的滿足海量高清或標清視頻的併發寫入、讀取，並能實現快速配置和隨插即用。

因此，雖然短期來看，雲存儲的需求當前主要還將集中在平安城市、智慧交通等大行業市場以及基於公有雲架構的民用市場，但相信未來隨著網路化更全面普及和海量視頻共用需求的更快速增長，其應用前景將更加廣闊。