淺析海量視頻監控資料存儲雲存儲的發展

技術的進步和市場的需求變化永遠是推動一個產業發展的最重要的兩個方面，這兩個方面又是相互影響和互為作用的，安防技術的進步之快是有目共睹的，圖像高清化，傳輸網路化、存儲雲化，應用智慧平臺化等。 市場同樣也悄然的發生著變化，傳統的公共安全服務領域已經不再是安防視頻監控市場的重點，行業專用視頻監控網路和快速發展的家庭安全防範服務領域將很快成為下一個市場重點，隨著市場重心的轉移，為適應新的市場特點和需求， 技術和方案也在悄然的發生變化。

隨著安防視頻監控系統技術的進步和規模的增長對存儲的要求也在發生深刻的變化，對存儲系統的容量、擴充性、性價比、性能、管理性、穩定性等都提出了新的要求，傳統的存儲方式已經不能滿足要求。

為滿足安防視頻監控的新要求，解決城市級海量視頻資料存儲、檢索難題，以視頻、圖片檔存儲和管理為核心的面向大規模資料密集型應用的、可伸縮的分散式檔案系統SDFS(Sky Distributed File System)被提出。

SDFS工作機理

SDFS它通過分散式集群架構將網路中普通PC、泛型服務器及各種存放裝置集合起來協同工作，並通過專用資料介面，向使用者提供海量資料存儲、管理和訪問服務。 部署方式上支援全網分散部署，或在資料中心集中部署。 存儲介質支援普通硬碟及通用存放裝置。 在普通PC或泛型服務器集群上部署的SDFS可以達到NAS/SAN的冗余及可靠性，同時又能提供NAS/SAN無法達到的高輸送量及強大的水準擴展能力。

SDFS通過中繼資料和存儲資料分離，控制流和資料流程分離，通過負載均衡和資料併發訪問策略，在普通硬體條件下獲得高效的傳輸速率以及PB級的存儲容量， SDFS針對音視頻檔進行特別優化， 支援分散式集群架構下的音視頻檔幀級別的查詢及定位。 為安防視頻監控實現智慧分析、智慧檢索奠定基礎。

SDFS技術特點

多伺服器同時對外服務

SDFS性能優異，支援高併發、頻寬飽和利用。 雲存儲系統將控制流和資料流程分離，資料訪問時多個存儲伺服器同時對外提供服務，實現高併發訪問。 自動均衡負載，將不同用戶端的訪問負載均衡到不同的存儲伺服器上。 系統性能隨節點規模的增加呈線性增長。 系統的規模越大，雲存儲系統的優勢越明顯, 沒有性能瓶頸。 有利於超大規模城市級監控網路的形成。

多資料塊副本實現冗余

高度可靠，採用多個資料塊副本的方式實現冗余可靠，資料在不同的存儲節點上具有多個塊副本，任意節點發生故障，系統將自動複製資料塊副本到新的存儲節點上，資料不丟失，實現資料完整可靠;並支援通過編解碼演算法的方式實現高度可靠， 任意同時損壞多個存儲節點，資料可通過演算法解碼自動復原。 該特性可適用于對資料安全級別極高的場合，同時相對於副本冗余的可靠性實現方式大大提高了磁碟空間利用率，不到40%的磁片冗余即可實現任意同時損壞三個存儲節點而不遺失資料。

中繼資料管理節點採用多機同步熱備份的高可用方式容錯，其中任一台伺服器故障，可無縫自動切換到另一台伺服器，服務不間斷。 整個系統無單點故障，硬體故障自動遮罩。

動態增減存儲節點

SDFS(Sky Distributed File System)雲存儲系統所有管理工作由雲存儲系統管理監控中心完成，使用人員無需任何專業知識便可以輕鬆地管理整個系統。 通過專業的分散式集群監控子系統對SDFS所有節點實行無間斷監控，使用者通過介面可以清楚地瞭解到每一個節點的運行情況。

線上伸縮，可以在不停止服務的情況下，動態加入新的存儲節點，只需簡單操作，即可實現系統容量從TB級向PB級平滑擴展;也可以摘下任意節點，系統自動縮小規模而不遺失資料，並自動將摘下的節點上的資料備份到其他節點上， 保證整個系統資料的冗餘數不變。 並同步提升讀寫及網路性能。

降低建設和運營成本

降低建設和運營成本，作為整個平臺的基礎層，檔案系統和資料倉儲以廉價的高存儲PC或者單板機代替以往的小型機，聯合提供極高的運算能力和極低的存儲成本!採用分散式運算和存儲，結合優化的硬體，通過集群化運維管理系統，實現計算， 存儲，網路等資源的動態分配及部署，大大提高資源使用率。

雲存儲將推動安防視頻監控系統向著集通信、運算、存儲及應用於一身的統一平臺發展，而不是整體系統中重複建設的一個IT子系統。

雲存儲的安防應用優勢

有利於推動新的商業模式的形成

雲存儲在安防視頻監控行業的應用，帶來的一系列價值的提升，將有效推動形成新的商業模式。 家庭安全視頻監控服務需求的不斷增長和「電信雲」、 「全球眼」的發展，將讓人們購買安全服務相購買話費套餐一樣簡單。 人們可以通過自己的手機或車載瘦終端來實現對家庭成員或重要位置的全天候即時監控，享受這種便捷的安全服務。

加速系統整合、多平臺資源分享

雲存儲的發展有利於推動各種視頻監控資源在雲中融合，在安防領域，視頻監控不能單獨成為一個獨立于其他安防措施的系統，它應當和警務督察系統、 110報警系統、道路監控系統、車輛管理系統、人口稽查系統、 GPS視覺化系統等等多種安全防護系統聯動，最終成為一套成熟的安全防護系統。 而這些系統如果真正實現融合，資源分享就離不開雲存儲。

第二屆中國智慧城市技術與應用產品博覽會在寧波國際會展中心隆重開幕，吸引了300多家參展商，其間也不乏像微軟，IBM等國際大牌，針對安防視頻監控行業隨著高清技術和規模建設後面臨的存儲和海量視頻應用的難題， 以及不同客戶的應用特點，CSST展示了建立在城市級海量視頻雲存儲系統基礎上的視頻監控存儲解決方案----SDFS(Sky Distributed File System)雲存儲系統，以及高清智慧分析技術。 智慧公安實戰平臺則強調平臺整合、視頻共用及應用提升。

展會上的技術方案不過是當前行業技術發展的一個縮影，但從中我們不僅可以感受到安防視頻監控產業遇到的巨大機遇和發展潛力，也可以從中感知安防視頻監控產業當前發展的方向。 可以預見，今後安防視頻監控中，高清將是主流，CIF和D1將逐步退出市場。 同時，為了滿足傳輸、存儲高清監控視頻，整個 IT架構也面臨新的挑戰，原有的類比視頻監控會被IP網路視頻監控取代;10/100M乙太網也很難滿足海量視頻資料， 1000Base-T，1000Base-SX/TX，3G、EPON 、PTN等高速傳輸必然會被大量應用，資料存儲也將會由傳統的分散式DVR轉向 NVR/IP-SAN/NAS架構進而到集約化的雲存儲方向發展。

促進圖像智慧檢索、分析應用

建立在圖像智慧檢索，智慧分析基礎上的智慧應用離不開雲存儲。 網路監控的誕生解決了傳統監控效果的難題，改變了傳統的連接方式，更簡單更便捷，但同時衍生了更龐大的存儲需求和更高的頻寬滿足，以目前最基本的720P效果為例，每路視訊壓縮到較低碼率也要每小時3G容量需求，一個月監控錄影就要 2TB左右的容量，那麼試想一下，如果需要幾百上千路這樣的高清監控，如此龐大的視頻檔，有如潮水般的衝擊著存儲系統，不僅對存放裝置的容量，讀寫性能、可靠提出了更高要求。 重播是否能支撐這麼大的資訊量也是問題。 同時，存儲的高清視頻的安全性要求也很高。 從保存的海量的高清視頻中，如何檢索、調用圖像進行圖像分析也是挑戰之一。 如果存儲的海量圖像無法有效調用，那麼圖像存儲就變得沒有意義。

總之，雲存儲的誕生有效解決了安防視頻監控發展中遇到的海量視頻存儲和基於圖像智慧應用等的一系列難題，並創造出新的商業模式。 雲存儲正在對安防視頻監控行業未來的發展產生著影響，並將成為下一步發展的基礎和技術核心之一。

籍由城市級海量存儲需求引入

城市級或城市群級超大規模系統的海量視頻存儲離不開雲存儲，隨著平安城市、智慧城市的建設發展以及視頻監控高清化發展趨勢的深入，傳統的磁碟陣列存儲方式已經逐漸顯現它的不足， 已經無法滿足智慧城市建設中海量高併發即時視頻資料存取的需求。 傳統的磁碟陣列存儲方式不僅採購成本高，大量磁碟陣列管理維護困難，還不能達到網路頻寬和儲存體I/O資源的有效利用以及跨平臺的資料共用。 雲存儲的出現，突破傳統存儲方式的性能和容量瓶頸，雲存儲能夠連接管理網路中大量各種不同類型的存放裝置形成異常強大的存儲能力，實現性能與容量的線性擴展，讓海量資料的存儲成為了可能。

集中存儲是網路存儲的一個基本理念，但對於視頻監控系統尤其是比較大的城市監控，一味的追求集中存儲會增加城市骨幹網的壓力並帶來使用上的不便，而雲存儲的集中管理、小範圍集中、大範圍分散的部署方式更適合大範圍城市級視頻監控的應用。

綜上所述，視頻監控的特定應用模式和發展方向，使得其對存儲系統的需求已經和通用存儲系統有了比較大的區別，所以要為視頻監控選擇合適的存儲網路方案和存放裝置，首先就要考慮存儲網路方案的技術成熟度，能否相容現有主流的監控設備、 作業系統和應用環境，以及方案的總體擁有成本。 其次要估算存儲容量需求，選擇適合存儲網路架構的性價比最高、擴充性好、適用性更強、可靠性高的存儲方案、存儲產品。

基於雲存儲系統之上的大容量視頻監控解決方案，以及創新的城市級海量視頻雲存儲系統和高清圖像智慧分析檢索技術，將是支撐未來安防監控乃至其它大型存放區及影像處理應用領域的最好選擇。 它將很好的解決目前海量視頻資料存儲中遇到的幾乎所有問題及瓶頸。 完全滿足未來監控存儲所必須的六點技術需求。

· 能夠滿足電信級別資料監控的海量存儲要求;

· 滿足高併發即時視頻讀寫能力及較強的資料傳輸能力;

· 必須具備良好的擴充性能，應對資料量飛速增長對於存儲空間擴大的需求;

· 能夠隨著網路規模的擴展，存儲空間、讀寫能力、網路性能等也能夠線性提升;

· 較大的緩存可以保證更多的資料滯留在緩存中，等待向硬碟空間的重新寫入;

· 良好的穩定性、安全性及低廉的成本;

SDFS適合平安城市、數位城市、智慧城市、智慧公安等解決方案中針對非結構化的海量音視頻資料檔案，圖片檔的存儲、管理和訪問。 利於實現資料採礦和商業應用，提高安防視頻監控自身價值。