劉鵬：透視雲資料中心熱點問題

第2屆「2012中國資料中心產業發展大會」于20112年月17日在北京舉行，在下午的雲計算與靈活高效的IT基礎設施分論壇上，中國雲計算專家委員會雲存儲組組長劉鵬做了「透視雲資料中心熱點問題」的主題演講。 劉鵬表示由於雲計算的海量資料的處理能力，我們能夠把不同的雲連接起來，將來機器的智慧會得到迅速的提升，機器智慧將會成為社會發展的重要標誌。 未來的挑戰其實是人的智慧和機器智慧差異之間的挑戰，人跟機器差得太遠。 劉鵬認為認為雲計算的熱點問題主要包括幾個方面，以下是演講全文。

劉鵬：大家好，首先我們來看看雲計算的本質是什麼。 雲計算之所以能夠快速發展，其實它是有背後的驅動力，這個驅動力就是為了全球的資料增長非常快，經過IDC的統計，過去十多年來，全球的資料總量每隔18個月就會翻一倍，這是資料的重量， 這就代表了人類有史以來所有的資料再過18個月就會再大過一次。

中國雲計算專家委員會雲存儲組組長劉鵬

這麼快的增長，我們靠摩爾定律解決不了的，但是我們的資料增長是比18個月前的所有的資料累計在一起要翻一倍。 比如中國移動，中國聯通，中國電信，他們都是用小型機去處理，但是現在不用雲計算去處理是根本搞不定的，您用小型機處理成本也是高昂得受不了。

再看淘寶網，如果沒有雲計算在後面支撐，我們去年看到雙11，2011年11月11號，在神棍節那一天，所有的網友在淩晨零點同時交易，交易量是非常驚人的，如果你沒有一個好的IDC設施，你就沒辦法應對這種流量。

我們知道12306，我們鐵道部訂票的網站不是採用雲計算的，雲計算的區別是什麼？ 雲計算也是網路發展的必然結果，我們傳統上希望通過網路去連接大量的結點，構成一個超級電腦，我們叫雲計算。

谷歌做的叫Google File System，這個系統它就能夠把資料可靠的分散在存儲在不同的結點上，每一個資料至少在三個結點上都有三個不同的資料，任何兩個結點損失都沒關係，使得他的機房可以做得非常的土， 這個機器都是把背後難看的以免對著走廊，就是因為這些機器太容易壞了，但是一台兩台壞了沒關係，它會自動復原資料，做成這個樣子，就是隨時把機器拔下來算上新機器，隨時進行管理。

這是第一套雲計算的平臺，最開始的時候他們並沒有錢買機器，他們從實驗室買了一批別人扔下的機器，構成了最早的谷歌的平臺，他們就是用這樣的技術做成的，谷歌的雲計算資料中心都建在荒郊野外，微軟同樣也採用這樣的方法， 一台集裝箱裝200台伺服器，部署雲計算資料中心，這樣的建設模式在過去幾年來得到了驗證，認為這是可能的。

2010年由於資料中心和運城痛惜網路的快速增長，使得用電量激增，從而對氣候變暖產生極大的負面影響。

首先我們小小的終端變成了超級電腦。 比如說我們的GPS導航，都是一個固定的一種導航的模式，如果我們把城市交流流量和導航結果起來，經過它導航，就不會把我們帶到會堵車的路段。 我們認為會有更多的職能的服務，我們大家都看到大量的網盤免費的空間越來越大，伺服器月份也不會塞車，資訊隨手可得，這就是雲計算給我們帶來的變革。

最大的變革應該是計算智慧大幅提升，由於雲計算的海量資料的處理能力，我們能夠把不同的雲連接起來，將來機器的智慧會得到迅速的提升，代表是以去年2月份IBM的超級電腦和人做了比賽，結果是機器獲得了勝利，這也是很驚人的一個案例。

當然今後這種案例會越來越多，機器智慧將會成為社會發展的重要標誌。

谷歌也做了一些服務，它可以做68種語言之間的自動翻譯，以前我們認為機器譯出來的東西是沒法讀的，但是現在已經遠遠超過了這個水準。

這是它翻譯成英文之後的準確超過了一般人的翻譯水準，這就是我們有了雲計算的平臺支撐之後，所以我們能感受到這種服務巨大的變化。

所以我覺得真正的我們將來要面對的挑戰，並不是我們現在大家所看到的挑戰，未來的挑戰其實是人的智慧和機器智慧差異之間的挑戰，人跟機器差得太遠。

我認為雲計算的熱點問題主要包括幾個方面，首先我們看看雲計算的安全，在雲計算這個環境裡面，安全的問題和傳統的安全會有所不同，但大部分是相同的。 因為我們傳統我們的銀行很多資料庫都是被互聯網公開的。 現在有了雲計算之後，基本的安全保障應該是能做到的，但是雲計算平臺和傳統的平臺有一個最大的不同，就是雲計算系統它是一個多租戶的系統，很多人都到你這個雲計算平臺來，我們把一個資料中心防護得非常好，不讓別人進來， 現在別人是你的租戶，他租了你的雲計算的虛擬機器，他幹他們的事情，這時候你就沒辦法這個租戶到底是可信的還是不可信的。

所以如果他利用你的平臺去竊取其他使用者的秘密那就很糟糕，怎麼防止雲計算資料中心在共用的狀態下面是安全的，裡面很重要的就是虛擬機器隔離，這些問題是雲計算資料中心會面臨的安全挑戰。

另外資料中心建設的問題，就是facebook在最近把facebook的資料中心開源了，由於它發表了幾篇論文，一個是（英語），這幾篇論文改變了世界，從而使得雲計算流行起來，谷歌為世界做了巨大的貢獻。 Facebook想做更大的貢獻，它把他的方法徹底的公開了，這個資料中心是建設的方法是非常驚人的，它採用了很多全新的技術，它的PUE能源利用效率做到世界最好的，可以它給我們帶來了很多可以參考的東西， 它的資料中心是建在一個戈壁灘上，這個資料中心裡面大量使用了新技術，比如說噴霧，水霧（音），使用了非標準的機櫃，這個資料中心包括它的主機板都是定制的，來提高它的能源利用效率。 我們可以學習的東西很多。

雲計算能源的問題也是一個顯著的問題，谷歌為了解決能源問題，在美國的東海岸收購了一部分股權，就是東海岸海裡面的風電廠，從而為雲計算資料中心供電。 英特在沙漠裡面建設太陽能的收集裝置，用沙漠裡的能源供應雲計算資料中心。 微軟是在芝加哥資料中心採用大量的管道，供應雲計算資料中心散熱，規模已經建得很大了，這個資料中心獲得了歐洲的節能大獎。

谷歌也數量了一些新的專利，比如說把雲資料中心放到大海裡去，讓潮汐去發電，只要有光纜連起來就可以供電。 谷歌的雲計算資料中心的能源利用效率，經過這麼多年的發展是越來越好，谷歌在比利時建的雲資料中心也是建得非常好，原料不用空調，比利時這個地方一年有7天溫度會超標，這7天谷歌就把這個資料中心不讓它工作， 全球的訪問會自動的到別的地方，谷歌的平臺能夠支援到任何一個資料中心被摧毀的話它的資料不會丟失。 在國內360安全衛士也有這個能力，我們看到廊坊一個機房，由於空調損毀，那個危房溫度超標，360在北京把廊坊的機房下了當，這時候全部的訪問，使用者根本就感覺不到我的資料又轉移到別的地方去了。

另外一個還有雲計算平臺，我們在國內能看到的開放出來的雲計算平臺一家是盛大，一家是阿裡雲，我們通過租用他的平臺可以進行雲計算的應用。 我們通過遠端桌面來連接雲計算，就可以當作我的機器來使用。

雲計算的應用這方面，我們能看到現在越來越多的應用是雲計算的應用，比如說百度，百度也建了一些雲計算平臺，最大的一個集群是3000台機器，在360，金山，瑞星都做了雲安全。

我們在互聯網上能看到這樣的應用，對筆記本進行多方面的搜索，都是基於雲計算來做的，這種多尺度的搜索用傳統的方法來做效率是不高的。 我們看到新浪微博，你一旦登陸進去以後，他關注的人有5個人跟你關注的人相同，你要不要把他加為好友，大家都知道這個功能，這個功能可是一個了不起的人，因為每個人都會關注一群人，新浪使用者都有很多的人，所以你想想這個計算量有多大， 而且是時時的。 所以我們能夠做出這種應用，完全仰仗雲計算給我們提供的前所未有的計算能力。

淘寶也提供了一些雲計算的服務，比如說可以給淘寶裡一些比較好的賣家提供服務，我們看到淘寶裡面的皇冠的賣家，他們並不一定因為他的東西賣得特別好，主要是他做資料分析做得特別好，這對於我們提高銷售量是非常有好處的， 我是一個什麼都賣的企業，我通過在淘寶裡面購買資料分析服務，我對於怎麼去選擇商品，以什麼價格來定價，這個是非常有好處的。 如果你始終賣的東西都是熱點問題，價格又有競爭力，再加上你又是皇冠使用者，所以你一下拿到幾個皇冠是很容易的事情。 不管淘寶賣東西的人，還是炒股的人，都是做資料分析做的好的人才是最後的贏家。

馬雲也講淘寶最大的財富就是它的資料，通過淘寶的資料分析，馬雲掌握了很多東西，比如說哪個省的顧客身高最矮等等，類似這些分析都是通過淘寶資料分析，哪個省的顧客穿的鞋子最長，他可以做資料採礦。

現在國際上的組織都在做雲計算的標準，這些雲計算的標準在我們雲計算已經蓬勃發展起來之後大家才討論雲計算標準的問題，在最開始的時候根本沒有標準，這個時候你怎麼做這個標準是很難的一件事情。 大家更多的標準都在討論不同的異購之間怎麼實現互聯忽操作，使它能夠交換資源，交換資訊，能夠有一套安全保障的設施，這就是我們做雲計算的標準，最重要的就是雲和雲之間的標準，而不是在雲內部的標準。

所以我們能看到現在雲的標準的熱點，大部分都是在之間，即使我們說計費機制，就是不同雲之間怎麼計費。

我們再講一下雲計算的本質是什麼，是對爛機械提供服務。 下面我們介紹一下典型的雲計算平臺。 這個是CSTOR雲存儲的系統，這個平臺它的機器，一對管理結點可以管上千個存儲結點，這是兩套機器，所有的訪問來了之後，首先是去管理結點去詢問我的資料應該在哪，管理結點告訴它你應該放在哪， 這個使用者那一端的程式就會自動的訪問具體的存儲結點，就會有一堆的存儲結點為使用者服務，不同的使用者會分配到不同的存儲結點，所以它的IO的能力非常非常強，使得這個系統具有前所未有的吞吐的能力。

現在的雲存儲就這是種架構，使得所有的結點既是存儲結點，也是對外服務結點，所有的結點都能對外，所以它的服務能力就變得非常強，任何結點損失也沒關係。 這套架構它是採用一種雲的架構來做。

另外它還能夠把不同極點的雲存儲虛擬在一起，使得它變成前所未有的大的存儲，全球的總的資料量到現在為止大概是2000多EB，但是這套系統就能支援1000萬EB的容量。 性能也是隨著結點的增長，它可以增長它的性能，因為每個結點都是對外服務結點，所以它的結點數量足夠過性能就足夠強，這個和網路有關，主要的瓶頸在網路。

硬體上面做了新的雲存儲的控制硬體，這個硬體使得功耗大幅度降低，這個板子帶16個硬碟，這個就是10萬的能耗，這個系統就能夠密度做得非常非常高， 這樣一個機架支撐1.1P，就是1000多TB的存儲的容量，任何結點壞掉沒關係，這個截面上會換紅燈，你不用管，過了幾個月你換一塊硬碟插進去就可以了，所有的維護都不需要用人去做。 它是高可靠的，它能做到損失一半的結點，資料不會丟失，但是它的溶密度是1比1，這種方法是很極端的。

所有的結點可以同時對外服務，功耗是傳統資料中心的雲存儲功耗的五分之一，整個系統能源消耗非常非常小，集成度現在NMC提供了360T的雲存儲，這個是1.1P，是它的3倍。 從使用的角度來講，它可以做到完全不用學習，它掛上雲存儲之後，你的機器就多了一個硬碟，不需要做任何的改造和需要，它也是成本非常低，雲存儲的價格之相當於傳統價格的5分之一或10分之的價格。

大家都知道南京發生了一個很重要的案件，1月6號南京發生了公安部一號大案，槍擊案，所有破案的過程的資料都是在這個系統上面。 南京政府資料中心也用了這個系統。

雲處理這個平臺，底層採用了（英語）系統，這個平臺它不是一個商用的系統，在它的性能和可靠性方面還有一定的局限，比如一個管理結點要癱瘓的話，這時候系統要停機，至少要一個小時才能恢復過來。 另外就是它的性能，它適合做統計性的應用，所以它不是時時應用，所以它在做資料管理的時候，不能時時做出回饋。

比如說我們對中國移動的資料做了處理，效果非常理想，基本上比如說廣東移動的資料量非常非常龐大，能夠在一秒鐘之內把產品結構給出來，而同類的其他系統都要幾分鐘才能有結果，差別是非常明顯的。

同時我們這個技術也用來處理交通的資料，城市里面有大量的拍照的設備，車一經過它就會拍一張照片，記錄少的時候我們看不出來，就像在南京這樣一個城市，一年是2000億條，如果我們把這個關係放在關係資料庫裡面，一般10億條就完了， 就沒辦法處理了，它的查詢時間是一兩分鐘。

假設我在南京每一輛車經過我都要檢查一下這個車是不是套牌車，我們就檢查一下所有的卡口有沒有這個車牌的，就說明那個車和這個車相同的車牌號出現在不同的位置，就說明這個車是套牌車。 你如果用關係資料庫做的話是永遠做不到的。 所以用雲平臺任何一輛車經過，就可以和所有的資料比對一遍做這樣的資料。 目前我們在江蘇省已經把這個平臺做起來了，就可以使這個資料能夠快速的回饋上來。

另外雲傳輸系統，能夠把（英語）能夠把遠端資料傳輸的速度大幅提升，這是我們用（英語）的標準的協定去傳輸，就是這樣的。 因為（英語）已經有30幾年的歷史。 當（英語）傳輸的時候，兩邊是反復要握手的，所以它的效率很低，如果丟包的話它的速度會降一倍。 所以這個協定在遠端和品質比較低的網路上傳輸效果很差。 我們做了一套新的協定，叫（英語），它能夠把性能提高到這麼高的一個幅度，有一個大幅度的提升。 從北京密雲傳到北京市里面，光纖的傳輸就可以到70幾兆每秒，就是換了不同的傳輸系統，現在也是和一些上市公司，比如深圳的天華傳媒合作，他是要把電視節目傳到全國的電視臺，一天都是要寄硬碟，現在有了這個系統， 他根本就不需要寄硬碟了，這個節目往系統一放，就通過互聯網把電視節目傳過去，傳到全國的電視臺，目前已經做了6個省，今年要增加10個省，就能快速的通過這個系統把它傳到全國各地，這樣大大節省了我們運維的成本。

我們有兩本書，一本書是《雲計算》，這是國內銷量最大的雲計算的書，我們推薦看這本書，這是把所有的代表性的流派的雲計算是怎麼實現的都有描述。 另外有Hadoop編成的話，這裡有很多的案例，都有一些實際的案例。 謝謝。

(責任編輯：蒙遺善)