雲存儲進化

大資料時代，PC互聯網，移動互聯網以及社交化平臺的發展，讓資料呈現幾何化、爆炸式增長。 而隨著資料來源管道的增多，網路的資料也不再是單一的資料類型，大量的非結構化資料湧現改變了資料的組成模式。 如今大資料使得整個互聯網科技都面臨新一輪的洗牌，如何利用大資料將成為決定企業未來命運的關鍵！

那麼大資料究竟有多大呢？ 可能很多人會問這個問題。 2013年，世界上存儲的資料預計能達到約1.2澤（約12億TB）位元組。 12億TB是個什麼概念？ 如果把這些資料全存儲于標準的光碟，這些光碟可以堆成五堆，每一堆都可以伸到月球。 而如果把這些資料存儲于1TB容量的硬碟中，那麼將需要12億塊，這些硬碟可以分為五堆，每堆相當於長城的長度（6700公里）。

雲存儲是伴隨雲計算發展起來的一種新興的存儲模式，對於很多人來說是一個相對陌生的領域。 其實雲存儲技術早已深入到我們的生活和工作中，只是很多人還沒有意識到它的存在罷了，目前雲存儲技術已經在大資料解決之道方面有了一些案例。 隨著大資料時代的來臨，雲存儲將擔負更多的任務和使命

微軟SkyDrive雲存儲

近日360網盤的推出以及與百度1TB競爭升級的事件相信大家都有所耳聞！ 沒錯，這些網盤其實就是最典型的雲存儲應用。 這些雲存儲服務商為使用者提供定量的存儲空間，讓使用者實現通過PC、手機等終端進行訪問等需求。 網盤、雲盤這些雲存儲技術是最典型也是最初級的雲存儲技術，如今一些企業已經將雲存儲技術有了更深層次的發展和創新，例如迅雷的雲加速功能。

2013年互聯網大會迅雷CEO鄒勝龍將雲存儲加速帶來的改變形容為：「讓大資料像水一樣的自由流淌。 」在當時聽到這句話的時候，我對這句話並不理解，據我所知，迅雷隨身盤這種典型的雲存儲模式並沒取得成功，而且即將在2013年9月1號停止支援，那麼鄒勝龍先生是為何在大會上反反復複強調迅雷雲加速技術呢？ 又是如何讓大資料能夠自由流動呢？

迅雷對雲存儲技術有了更深層次的應用

帶著這些不解，筆者翻看了迅雷雲加速的一些業務。 目前迅雷已經擁有高速通道、離線下載、迅雷雲播、迅雷網游加速器、手機迅雷等多個產品，並且覆蓋PC、手機、平板、TV四屏，可以說迅雷如今基本完成了對業務的全面佈局。

根據筆者對這些業務的研究發現，在這些業務中，如離線下載、高速通道等很多服務都是基於雲存儲功能而實現的，可以說這些技術都是雲存儲技術的一種創新和演進。 迅雷對雲存儲技術有了更深層次的應用，並不只是局限于傳統的資料存取和資料保護，更是將雲存儲技術應用到下載、視頻、網友等領域，是雲存儲技術應用到大資料方面的一個全新創新！

迅雷業務種類很多

迅雷利用雲存儲技術確保使用者能夠獲得流暢、連貫的體驗，而且還推出了根據帳號實現雲端同步的功能，可以說迅雷如今已經利用雲存儲實現了整個產品的佈局，讓大資料之間的傳輸更自由。 那麼迅雷是如何利用雲存儲技術的創新促進大資料之間的流動的呢？

下面我們就通過離線下載業務來看一下講解下迅雷的雲存儲創新之處。

離線下載是迅雷雲加速中的一個重要的功能，當下載的時候遇上冷僻的資源時，由於中國網路資源複雜，如果從原始伺服器下載到本地，可能由於資源少、距離遠等原因使得下載的速度不高，這樣使用普通下載就會浪費大量的時間和電費。 而當資源好，速度高的時候，則會影響使用者正常的網路問題，造成別的任務無法完成。

迅雷離線下載每傳輸完一個檔，就會記錄檔資源的位址，CID值，以及檔其他的特徵資訊。 如此積累，迅雷便保存了大量檔的特徵資訊，當再有使用者下載相同的檔時，迅雷雲加速服務不再需要從資源所在的伺服器下載檔案，而是從迅雷雲加速服務內部的資源中直接複製到使用者的離線傳輸資料夾裡，這樣，一個幾GB 甚至幾十GB 的大檔在瞬間就傳輸完成了，因此很多人覺得離線下載極快，叫做‘秒殺’。

雲存儲後臺需要什麼樣的支援？

「秒殺」下載並不是迅雷伺服器神通廣大，而是迅雷利用雲存儲技術的一種創新。 這樣能節省大量頻寬用於傳輸迅雷雲加速網路上不存在的新資源。 正是利用這樣的方法，迅雷不斷積累資源，不斷索引資源。 但很長時間都沒有人再下載的檔，迅雷雲加速服務也會刪除這個檔的索引資訊，減少伺服器空間佔用。

離線下載業務實現了資料之間的快速傳輸，在大資料時代，讓人們之間的資料流程動性更歡快。 但目前迅雷離線下載只提供給會員使用。 如果你是會員使用者，那麼就可以依靠迅雷的伺服器強大的下載功能下載檔案，或者直接從迅雷伺服器上直接下載別人已經下載的檔，等於複製粘貼，這樣就節省了大量的時間，促進了資料間的流動。

雲存儲伺服器需要強大的後臺支援

目前迅雷每個月付費會員高達400多萬，而且在400多萬使用者背後還有近3億的免費使用者，這些使用者也可以用迅雷的離線下載業務，這必然需要強大的雲存儲平臺支援，給使用者提供離線下載業務， 而且還要滿足資料的檔總量的增長以及使用者流量的激增的挑戰。 同時雲存儲平臺需要不斷的對其伺服器平臺進行存儲容量、系統寬頻，I/O的需求增加。

下面我們就來討論下什麼樣的平臺才能滿足迅雷的需求。

要想搭建能夠滿足使用者需求的雲存儲平臺，我們首先需要先瞭解離線下載平臺的原理：

（1）使用者通過用戶端或Web介面向伺服器提交一個下載請求。

（2）伺服器端接受請求，首先查詢使用者提交的下載連結是否被下載過。 如果有，直接把已下載的資料檔案（或只是檔的連結）放入使用者伺服器端的線上空間。 如果沒有，開啟多執行緒實施下載（或用某公司自己特有的P2P方式）。

（3）下載完成後，使用者線上登錄到線上空間，取回下載的檔。 其間也可以採用迅雷提供的P2P方式，從已下載或正在下載相同檔的使用者那裡取得資料。

（4）離線下載多針對冷門資源，或資源少的檔。 待伺服器端不是替使用者下載完成後，使用者還需要利用下載軟體從伺服器上下載檔案。 相比直接下載，增加了下載資源速度，節約了時間。

如何搭建離線下載支援平臺？

那麼需要多少伺服器才能滿足迅雷400萬的會員以及將近3億的普通使用者需求呢？ 筆者開始誤以為這個業務會需要很多伺服器支援。 但是通過對迅雷的離線下載平臺進行研究後，發現支援離線下載的伺服器並沒有我們想像的那麼多。 畢竟這些使用者並不可能同時下載資料，而且每個使用者的下載也不可是都飽和，冷門的資料也並不是一直存儲，所以對伺服器的需求並沒有想像的那麼多。

下面我們來細分析一下這個平臺的組成，可能大家就會明白為何並不需要那麼的伺服器就能夠滿足使用者需求了。

離線平臺需要離線下載伺服器、WEB伺服器、資料存儲伺服器三個平臺共同支援。 這三個平臺都需要出色的性能支援，在處理器和記憶體方面並沒有區別，主要區別是在存儲硬碟方面的不同。

下面我們從性價比和需求方面來預測一下三種系統在存儲方面的需求：

離線下載伺服器主要提供的速度下載，所以對伺服器的硬碟性能和容量要求較高。 選擇SAS硬碟為宜；資料存儲伺服器提供存儲功能，對存儲的容量要求高，但是對速度沒有太大的需求。 採用SATA硬碟為宜；Web伺服器對硬碟的速度和性能要求高，但是對容量的大小沒有太大的要求。 採用SAS硬碟既可滿足。

利用對雲存儲技術的改進和創新，迅雷解決了離線下載業務的支援問題。 同時這種技術也能夠勝任多種業務，如資料存儲、資料庫應用、高性能計算、電腦集群等領域。 雲存儲技術讓資料的存儲更簡單，靈活性更強。 在大資料來臨之際，雲存儲技術的創新與發展必將促使大資料發生新的革命，讓資料真正的實現自由流動。