(一):市場概述篇
●中國雲存儲市場動態
中國目前企業的CIO/CTO對公有雲還是存懷疑態度,目前,大約有70%的企業不願意將企業內的資料放在公有雲上,主要是從安全性的角度考慮,但是,資料對於企業業務投入越來越大, 會迫使企業特別是對資料安全性非常高的金融業也逐步走向公有雲。
國內的企業觀念更習慣于花錢購買硬體產品而非服務,作為存儲需求最大的政府、電信、金融三個行業,在中國都建有自己的資料中心。
在中小企業市場,目前90%的中小企業在存儲採購只有10%的水準,因此,採購雲存儲能力非常低。
雲存儲的安全性,需要從法律上對雲存儲的安全性,可靠性進行約束,需要出現協力廠商機構説明企業來對雲存儲進行審計,
同時,中國相對落後的網路建設制約著雲存儲的發展。
●中國雲存儲的市場驅動力
1.網路寬頻
雲存儲系統將是多區域分佈,遍佈全球的龐大系統,目前消費者多數是通過ADSL、DDN等寬頻接入設備來連接雲存儲,因此,雲存儲消費者需要使用寬頻網路與存儲系統進行連接,只有寬頻網路得到充足的發展, 消費者才能獲得足夠大的資料傳輸頻寬,實現大容量資料傳輸,享受到雲存儲帶來的便利。
2.WEB 2.0技術
通過WEB2.0技術可以使消費者的應用方式和可得到的服務更加靈活和多樣化,目前雲存儲消費者只能通過WEB2.0技術,將PC、手機、移動終端等多種設備,實現資料、文檔、圖片、音訊、視頻等內容的集中存儲和資料共用。
3.應用存儲
應用存儲時一種在存放裝置中集成了應用軟體功能的存放裝置,其不但具有資料存儲功能,還包括了部分應用軟體的功能,就如同資料中心中包含程式應用伺服器與資料庫伺服器,應用存儲與雲存儲結合,可以減少雲存儲中伺服器的樹林, 降低企業系統建設成本,較少系統中由於伺服器造成的單點故障和性能瓶頸,提高系統性能和效率。
4.集群技術、分散式檔案系統和網路計算技術的發展
雲存儲系統是由多個存放裝置、多應用、多服務協同工作的集合體,需要通過集群技術、分散式檔案系統和網路計算等技術,實現各個存放裝置之間的協同工作,。
5.網路存儲安全技術的發展
由於雲存儲的資料傳輸時通過普通的寬頻進行傳輸,因此,必須保證資料傳輸的安全性,雲存儲可以通過CDN內容發佈系統、資料加密技術保證雲存儲中的護具不會被未授權的使用者所訪問,同時, 各個資料備份和容災技術保證雲存儲中的資料不會丟失,從而保證雲存儲自身的安全和穩定。
6.存儲管理技術的發展
雲存儲涉及多地域、多廠商、多硬體設備之間的傳輸管理,因此,存儲虛擬化管理和多鏈路冗余管理尤為重要,這同樣會和網路一樣形成存儲系統的性能瓶頸,同樣,也會帶來結構的不統一。
由於雲存儲中存放裝置眾多,分佈地域廣造對存放裝置運營管理商來說是個難題,必須解決集中管理、狀態監控、故障維護、人力成本高等問題。
●中國雲存儲市場面臨的挑戰
1.資料中心建設
資料中心的建設需要大量的投入,中國國內的企業很少有這麼大的實力,而如果國內企業來承建雲存儲,則需臨著非常大的資金壓力。 若政府進行部署,那麼諸多法律法規可能會限制其部署。
2.國內雲存儲的使用者
國內已經建立了部分雲計算中心,但大部分客戶都是政府或者大型企業,以滿足使用者的計算需求,客戶群比較局限,盈利能力較弱。 同樣,建立雲存儲服務,在國內使用者沒有達到一定數量的情況下,如何維持一個雲存儲資料中心是個非常大的難題。
華為企業內部的資料中心(圖片源自互聯網)
3.可靠性
目前,雲存儲服務的的可靠性還無法達到企業級的陣列要求。
4.大型企業方面
大型企業已經有自己的IT設施,是否願意捨棄原先的IT設施,對企業的資訊化系統,存儲系統進行重新佈置,需要的投入非常巨大。
●雲存儲未來發展趨勢
雲存儲已經成為未來存儲發展的一種趨勢,目前,雲存儲廠商正在將各類搜索、應用技術和雲存儲相結合,以便能夠向企業提供一系列的資料服務,但是,未來雲存儲的發展趨勢,主要還是要從安全性、便攜性及資料訪問等角度進行發展。
安全性。 從雲計算誕生,安全性一直是企業實施雲計算首要考慮的問題之一,同樣,在雲存儲方面,安全仍是首頁考慮的問題,對於想要進行雲存儲的客戶來說,安全性通常是首要的商業考慮和技術考慮。 但是許多使用者對雲存儲的安全要求甚至高於它們自己的架構所能提供的安全水準。 既便如此,面對如此高的不現實的安全要求,許多大型的可信賴的雲存儲廠商也在努力滿足它們的要求,構建比多數企業資料中心安全得多的資料中心,並通過可與NSA(美國國家安全局)媲美的加密層和保護層來保護存儲中的資料。 如今,使用者通常發現雲存儲具有更少的安全性漏洞,而且雲存儲所提供的安全性水準要比使用者自己的資料中心所能提供的安全水準還要高。
便攜性。 一些使用者在考慮託管存儲的時候還要考慮資料的便攜性。 一般情況下這是有保證的,一些大型服務提供者所提供的解決方案承諾其資料便攜性可媲美最好的傳統本機存放區。 有的雲存儲結合了強大的便攜功能,可以將整個資料集傳送到你所選擇的任何媒介,甚至是專門的存放裝置。
性能和可用性。 過去的一些託管存儲和遠端存放總是存在著延遲時間過長的問題。 同樣地,互聯網本身的特性就嚴重威脅服務的可用性。 最新一代雲存儲有突破性的成就,體現在用戶端或本地設備快取記憶體,將最經常使用的資料保持在本地,從而有效地緩解互聯網延遲問題。 通過本地快取記憶體,即使面臨最嚴重的網路中斷,這些設備也可以緩解延遲性問題。 這些設備還可以讓經常使用的資料看起來像本機存放區那樣快速反應。 通過一個本地NAS閘道,雲存儲甚至可以模仿中端NAS設備的可用性、性能和可視性,同時將資料予以遠端保護,且這種資料保護水準只有少數企業才能做到。 性能方面的另一個問題是,當資料變化率太高的時候,這些解決方案可能會消耗太多的互聯網頻寬,而且這可能會使你的雲存儲解決方案產生隱含成本。 即使如此,廠商們仍將繼續努力實現容量優化和WAN(廣域網路)優化,從而儘量減少資料傳輸延遲性。
資料訪問。 另一個常見的疑慮是如果執行大規模資料請求或資料恢復操作,那麼雲存儲是否可提供足夠的訪問性。 如同我們先前所討論的,一些廠商可以將大量資料傳輸到任何類型的媒介,可將資料直接傳送給企業,且其速度之快相當於複製粘貼操作。 此外,一些廠商還可以提供一套元件,在完全當地語系化的系統上模仿雲位址,讓本地NAS閘道設備繼續正常運行而無需重新設置。 如果大型廠商構建了更多的地區性設施,那麼資料傳輸時間將更加縮短。 更重要的是,即使你的本地資料發生了災難性的損失,廠商們也可以將資料再重新傳輸給你。
中國雲存儲深入調查(二):產品服務篇
●常規的雲存儲的結構
雲存儲的概念始于Amazon提供的一項服務,同時還伴隨著其雲計算產品。 在Amazon的S3的服務背後,它還管理著多個商品硬體設備,並捆綁著相應的軟體,用於創建一個存儲池。 新興的網路公司已經接受了這種產品,並提出了雲存儲這個術語及其相應的概念。
雲存儲是一種架構,而不是一種服務。 你是否擁有或租賃了這種架構是一個次要問題。 從根本上來看,通過添加標準硬體和共用標準網路的訪問,雲存儲很容易擴展雲容量和性能。 事實證明,管理數百台伺服器,使得其感覺上去就像是一個單一的、大型的存儲池設備是一項相當具有挑戰性的工作。 早期的供應商承擔了這一重任,並通過線上出租的形式來贏利。 其它供應商(如Google)雇用了大量的工程師在其防火牆內部來實施這種管理,並且定制存儲節點以在其上運行應用程式。 由於摩爾定律(Moore’s Law)壓低了磁片和CPU的商品價格,雲存儲漸漸成為了資料中心中一項具有高度突破性的技術。
這十年來,集群NAS系統已經出現了好轉。 本文綜述了構建一個雲存儲或大規模可擴展的NAS系統的各種不同架構方法,對於那些尋求構建私有雲存儲以滿足其消費的企業IT管理者或是對於那些尋求構建公共雲存儲產品從而以服務的形式來提供存儲的服務提供者來說, 這些方法與他們息息相關。 架構方法分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。
傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。 下一代架構已經採用了鬆弛耦合非對稱架構,集中中繼資料和控制操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大型存放區需求。 各種架構的摘要資訊如下:
緊耦合對稱(TCS)架構:
構建TCS系統是為了解決單一檔性能所面臨的挑戰,這種挑戰限制了傳統NAS系統的發展。 HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一檔I/O操作要比單一設備的I/O操作多得多。 業內對此的回應是創建利用TCS架構的產品,很多節點同時伴隨著分散式鎖管理(鎖定檔不同部分的寫操作)和快取一致性功能。 這種解決方案對於單檔輸送量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。 這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構:
LCA系統採用不同的方法來向外擴展。 它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個資料路徑之外的中央中繼資料控制伺服器。 集中控制提供了很多好處,允許進行新層次的擴展:
存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認資訊。
節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。
使用者可以通過利用硬體性能或虛擬化實例來調整雲存儲。
消除節點之間共用的大量狀態開銷也可以消除使用者電腦互聯的需要,如光纖通道或infiniband,從而進一步降低成本。
異構硬體的混合和匹配使使用者能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的資料可用性。
擁有集中中繼資料意味著,存儲節點可以旋轉地進行深層次應用程式歸檔,而且在控制節點上,中繼資料經常都是可用的。
●雲存儲選擇
雖然在可擴展的NAS平臺上有很多選擇,但是通常來說,他們表現為一種服務、一種硬體設備或一種軟體解決方案,每一種選擇都有它們自身的優勢和劣勢(PCPOP企業頻道推薦《七點建議説明企業一起成功部署雲存儲》):
雲存儲系統的結構模型
服務模式
最普遍的情況下, 當你考慮雲存儲的時候,你就會想到其所提供的服務產品。 這種模式很容易開始,其可擴充性幾乎是瞬間的。 根據定義,你擁有一份異地資料的備份。 然而,頻寬是有限的,因此要考慮你的恢復模型。 你必須要滿足你網路之外的資料的需求。
HW模式
這種部署位於防火牆背後,並且其提供的輸送量要比公共的內部網路好。 購買整合的硬體存儲解決方案非常方便,而且,如果廠商在安裝/管理上做的好的話,其往往伴隨有機架和堆疊模型。 但是,這樣你就會放棄某些摩爾定律的優勢,因為你會受到硬體設備的限制。
SW模式
SW模式具有HW模式所具有的優勢。 另外,它還具有HW所沒有的價格競爭優勢。 然而,其安裝/管理過程式要謹慎關注,因為安裝某些SW的確非常困難,或者可能需要其他條件來限制人們選擇HW,而選擇SW。
伴隨著大規模的數位化資料時代的到來,在這個時代裡,企業使用YouTube來分發培訓錄影,在這裡,沒有必要將這些數位「資料」放的到處都是。 像以上這些企業正致力於內容的創建和分佈,基因組研究、醫學影像等的要求會更加嚴格準確。 LCS架構的雲存儲非常適合這種類型的工作負載,而且還提供了巨大的成本、性能和管理優勢。
●主流廠商的雲存儲產品
目前,諸多廠商都已推出了雲存儲產品,比較有名的就是EMC的Atmos的雲存儲基礎架構解決方案,Atmos是一種基於策略的管理系統,讓服務提供了可以建立不同類別雲存儲的能力,比如說,其可以為非付費使用者創建檔的兩個副本, 並存儲在全球不同的地點,並為付費使用者創建5~10份備份進行存儲,並提供了其在全球各地訪問檔的更高的可靠性和更快的訪問。 在軟體系統中,Atmos包括資料服務,如複製、資料壓縮、重復資料刪除,通過廉價的標準x86伺服器從而獲得數百TB的硬碟存儲空間。 EMC承諾說其擁有自動設定新的存儲空間並自我調整硬體故障的能力。 也允許使用者使用Web服務協定進行管理和讀取。 目前Atmos有三個版本,系統容量分別為120TB、240TB和360TB,它們全部都基於x86伺服器並支援千兆或10GbE乙太網連接。
IBM方面
XIV是IBM提供的新一代存儲產品。 它採用網格技術,極大的提高了資料的可靠性、容量的可擴充性、系統的可管理性。 XIV是在傳統的存放裝置以上的升級。 它具有海量存放裝置+大容量檔案系統+高輸送量互聯網資料訪問介面+管理系統的設計特徵。 XIV由於其獨特的設計,使之天生就具備海量的存儲能力與強大的可擴充性,能夠滿足各種Web2.0應用的需求,是一個理想的實現雲存儲的產品。
「XIV產品具備IBM資訊管理、保護、歸檔等重要職能,是IBM資訊基礎構架和存儲關鍵的組成部分,也是IBM能夠重新定義存儲的理念的一個產品。 」IBM系統與科技事業部大中華區產品部總經理侯淼說。
XIV結構把中端和高端存儲的特點結合在一起。 當使用者有了新的業務,或者資料快速增長,並能夠預計未來業務有高速度增長,資料類型複雜,這種情況下,XIV都是使用者目前合理的選擇。
XIV存儲系統內置的虛擬化技術大幅度簡化了管理及配置任務,瘦供給功能改善了IT操作,快照功能幾乎可達到無限次,並可瞬間克隆資料卷,顯著提升測試及訪問資料庫操作的速度。 它的宗旨是通過消除熱點與系統資源的全部佔用,提供高度一致的性能。 IBM? XIV存儲系統能夠説明使用者部署可靠、多用途、可用的資訊基礎結構,同時可提升存儲管理、配置,以及改進的資產利用率。
惠普方面
ExDS9100(StorageWorks 9100 ExtremeDataStorage)是針對檔內容的海量可擴展存儲系統,該系統結合了惠普PolyServe軟體、BladeSystem底盤以及刀片伺服器以提高性能, 還使用了被稱為「塊」的存儲。 這些塊在同一個容器中包含了82個1TB的SAS磁碟機。
ExDS9100專為簡化PB級資料管理而設計,為Web2.0及數位媒體公司提供的全新商務服務,包括圖片共用、流媒體、視頻自選節目及社交網路,所帶來大量的以文檔為基礎資料完全滿足即時存儲與管理的需要。 同時可滿足石油及天然氣生產、安全監控及基因研究等大型企業的類似需求。
ExDS9100是一個統一的系統,配備以下三種主要配件:
Performanceblock:高能效的HPBladeSystem主機殼配備刀片伺服器,可滿足海量高性能運行的需求。 解決方案的基本配備包括四塊刀片,可擴展至16塊刀片配置,每個單元擁有高達12.8個核心,性能可以達到每秒3.2GB。
Capacityblock:基本配置提供三個高可用性的存儲塊,及高達246TB的存儲容量。 最高配置能支援達10個存儲塊,提供820TB的存儲容量。
Software:該系統採用HP的檔集群技術,滿足Web2.0及數碼環境的嚴格要求。 為降低系統的複雜性及成本,應用程式可直接在伺服器模組上運行,刪除不必要的軟體層。 透過單一的圖像管理介面,使用者能夠輕鬆管理更多的存儲產品和設備。
EMC方面
Atmos是一個軟硬體結合套件,代號分別為Maui和Hulk。 EMC雲基礎設施部高級副總裁Mike Feinberg表示,最初設計它的目的是説明使用者管理在幾十個或幾百個不同地理位置的千兆百萬位元組級的資料。 EMC稱Atmos具有自動架構、自主修復和雲存儲的功能,主要面向媒體和娛樂公司、電信公司和Web 2.0網站與互聯網服務提供者,旨在説明它們建立外部雲存儲服務或是在內部建立基於雲存儲概念的內部存儲雲, 存儲容量可以擴展到PB級,支援數十億的檔和物件,並提供在全球各地訪問的能力。
EMC為Atmos提供了三個不同的配置,全部都基於x86伺服器並支援千兆或10Gb乙太網,容量分別為120TB、240TB和360TB,Martin表示「我們在一個3U的機架中運行15個1TB的磁碟機,你可以拆卸任何部分。 」EMC公司雲基礎設施部門的產品管理總監Jon Martin表示Atmos與現有的存儲系統軟體「根本上不同的」,其大多數的管理和核心功能都內建在存儲系統之中。
Atmos主要提供了一種雲存儲服務,在不同地點分別存儲檔副本,比如它可以免費為使用者創建檔的兩個副本,並存儲在全球不同的資料中心,為付費使用者提供5至10個備份,以便為全球各地使用者提供較快的存取速度和較高的安全性穩定性。 在其軟體部分,Atoms包括各類資料服務,如複製、資料壓縮、重復資料刪除,通過廉價的標準x86伺服器從而獲得數百TB的硬碟存儲空間。 EMC表示Atoms擁有自動設定新的存儲空間和自動調整硬體故障的能力,並允許使用者使用Web服務協定對各類資料進行管理和讀取。