雲基地雷濤:大資料時代的大智慧

來源:互聯網
上載者:User
關鍵字 我們 就是 這個 一些 可以

大家下午好! 感謝這麼多同事下午可以回到這個會場。 先介紹一下我們雲基地,雲基地是一個組織,田總就是我們基地的帶頭人,以資金加基地的這種新的產業模式投資了13家公司,從基礎設施,比如集裝箱式的資料中心到SaaS的軟體,我們今天的題目是比較專的在某一個領域, 因為這一兩年我們發展很快,從去年10月份以來,已經產生了很多的經濟效益,投產的這些伺服器也有了一定的規模。 但是我們也看到了在大規模上IDC資料中心的同時,什麼是真正驅動我們能夠讓雲計算真正落地,能夠給國家做出一些貢獻,下面我給大家分享一下我們雲基地在雲計算這個領域裡我們會著重在哪些領域中做貢獻。

在前全球化背景下,田總現在正在矽谷跟比較前沿的北美廠商談合作,談收購情況。 整個產業鏈已經豐滿了,但是我們也看到雲計算目前離我們大規模的建設還有一定的障礙和週期,我分享一個報告,是什麼因素在影響著我們呢? 比如說安全性等各種各樣的問題。 IaaS我們從去年10月份到現在已經做了幾個大的成功案例,我們已經獲得了一些經驗,但同時也碰到了一些問題,最近一些財報也暴露出一個問題,在沒有形成規模效應之前,它的盈利模式是值得懷疑的。 現在利潤額下降了,雲計算是最大的一塊問題。

走過IaaS這個層面之後,雲計算到底能提供哪些內容? 這個週期可能發展得很快,國內有一些先進的廠商,比如上午提到的雲快線,已經提供了IaaS的服務規模,那麼下一波的雲計算大潮在哪裡? 今天許主任也講了大資料大經濟,其實我今天想談的是大資料。 大資料是北美目前最熱的一個話題,他們那邊有很多研討會,跟大資料相關的不同層面的應用廠商也出現了,所以我們看一下這個「大資料」。

什麼是大資料? IDC給的這個Forecast,什麼是EB呢? 現在的資料九年以後只有2%,我還看到另外一組資料,是在微博上看到的,還沒有考證,寫的是未來20萬家庭上網量,可以看到資料是非常迅猛的增長。 這個資料如果不用的話就是垃圾,是存在資料中心裡的垃圾,我們怎麼能把它從資料變成資訊,從資訊來產生價值? 這就是我們要談的雲計算的一個新的核心生產力,是大資料的一個利用。

麥肯錫今年4月份給了一個報告,這不是一個IT報告,是一個經濟模型的分析,詳盡闡述了幾個行業中資料本身對整個經濟的影響。 給大家分享一下,比如說在醫療這個行業,大資料本身按麥肯錫的規劃,能夠產生3000億美金的生產力,相當於西班牙整個醫療行業的投資規模的兩倍。 公共事業上,相當於2500億歐元,基本等於希臘的GDP了。 從全球的角度去看,針對這些資料產生的經濟價值評估是6000億美金,由此產生的工作崗位在北美有14萬個,就是與資料評估相關的崗位,資料本身就在創造著經濟效益。

資料有什麼樣的特性呢? 我們也看看,在雲時代開始關注資料本身。 這裡舉一個例子,北美的一家醫院,這個醫院已經普遍開始使用社區網路了,也就是某一個醫生的醫囑不是寫在紙質的憑證上,而是寫在了他的Twitter上,還有他個人的網頁,blog。 相應的這些資訊是作為醫療診斷,這靠傳統的IT系統是無法獲取的。 一些專業的資料庫層面的體系肯定是不可能捕捉到這些其他社區網路上的資訊,所以大資料本身也存在著一些挑戰。

第二個挑戰是資料的海量特性。 我們也看到一個人一生可能產生一個PE的資料,包括你喜歡的第一本書,第一個音樂,或者某一個片斷,或者給子女照的照片,或者是有紀念意義的票據,這些資訊都存儲出來,每個人都可以達到一個PE,在這個環境下涉及到的不是容量問題, 而是怎麼能夠放進去,怎麼能拿回來。

我昨天看了一條資訊,是亞馬遜評估存儲能量,沒有用的是PE級別的概念,他們有4500億個物件,用這種來描述。 為什麼這種描述呢? 這是新型的機制,就是怎麼能放進去也能怎麼拿出來,上百萬的東西中可以挑出來這就是新一代存儲方式的挑戰。

同時,也出現了經濟本身的創新,出現了新的經濟形態。 比如說像Twitter,上次北京經貿委也談過,頭一天正好是李娜獲得冠軍,她拿到冠軍之後五分鐘之內新浪微博有30萬的轉發。 這麼多的資訊本身,從政府職能角度,怎麼控制這些資訊? 怎麼利用這些資訊? 比如做輿情分析系統,當時也跟北京經貿委談了。 這些系統可以説明你在公共事件出現的時候,我們不能總是在事後做,通過這些資訊本身的跟蹤和挖掘,我們可以做前期的工作。

同時,我們也和運營商討論過,也和移動溝通過,有很多基於資料本身的,我們現在做的專案就是提供智慧分析,做行為性的分析。 對政府而言,比如房地產交易,還有公共事業中我們也做了一些成功案例,比如智慧電網領域,每個資訊都是局部計算之後實現總體提交,以前通過傳統的架構操作這麼大規模的資料是不可能的,這些都必須使用的是雲技術的大資料技術。

我們再看大資料技術是不是陽春白雪? 大家每天都看財經新聞,上面每滾動的資料,比如石油為什麼是117美金而不是116美金? 再進一步說希臘,主權基金調低了兩個級,他們的能量要比美國軍隊的能量還大,是怎麼實現的? 他們是什麼樣子的規模呢? 比如17000個,可以在10萬個處理器上實現作業,同時在小於一個小毫秒之內來實現,突破了傳統的資料中心的結構框架。 為什麼會有SNP的時代? 我們這一代是在SNP的時代成長起來的,就是因為它足夠的快,足夠強大。 如果雲技術組織起來上千台的伺服器,所獲得的計算能力是更大的。

如何讓大資料本身產生大智慧? 我們探討一下雲基地在這個層面上涉足了哪些領域。 我們定義出了很多領域可以去涉及,比如說右上角的產品,就是個人雲,我們收購的一些小公司,跟芬蘭的一些廠商也有一些合作。 基礎設施本身這四塊,包括基礎架構,我們的目標是做亞洲最大,北京市政府也投資,目前是6萬多台的產能,規劃產能是50萬台伺服器,同時還有基礎設施,集裝箱,還有像虛擬化產品,虛擬化平臺,我們的領先性也是比較強的。 我們內部也實現了自動部署工具,這是在基礎架構層面。

另外兩塊就是我們所關注的雲計算和資料存儲,雲計算這塊目前已經有了兩家公司在做這方面的產品。

我們看到這個領域是非常熱的,分成了幾大分支,(演算法交易)我們涉及到更多的是SOA,這個領域做得比較多一些。 這麼多應用原來是跑在伺服器上,我們怎麼讓它去優化? 這是需要考慮的關鍵,就是如何讓它的處理能力更大。 我們跟廠商在談的時候,他們說我們現在的股票交易,這些交易只能做不大,如果能突破這種方式,就是作業能不能被碎片化,有了這個幫他實現分散式運算。 傳統的業務,右面紅色標誌的是可以被雲化的業務,交易類型的比如說複雜事件處理的應用,還有像交易本身的分析以及行為本身的資料,這些都是大資料所涉及到的應用領域。 目前大資料方向,幾大公司在上面投入比較多,也都不是一些草台班子,田總投資的都是北美的一些團隊。

我們可以提供兩方面的優化體制,比如說現在很多企業都在是使用分散式運算,開源是説明大家最先嘗試的方式,但是開源本身沒有擴展能力,沒有企業級的一些特性,我們基地分裝了很多樣本,做出了一個平臺,就是客戶本人不需要自己寫代碼, 我們説明你做事業實踐,這是目前可以實現的商業實踐機制。

另一種就是比較顛覆性的,就是我們用新的峰值計算加上存儲機制來實現。 我們可以看到這個圖,左右對比就是傳統存儲和新一代存儲的特性,傳統存儲做不了太大,如果再擴展怎麼實現? 因為內部存的都是一些資料,而不是資訊。 什麼是資訊呢? 當我把這些資訊加上描述性標籤之後,我知道這是什麼內容以後才是資訊,所以我們用資訊存儲區別于傳統的模式。 有了這個容器以後,完全是一個扁平的架構,經過跨省、跨地域,這樣就可以實現底層呼叫,突破容量的限制。

上次就可以實現分散式運算平臺來交易,比如說右面的這個藍圖,我用了很多術語,可能大家聽得比較頭疼,如果看得清楚的話可以看到這個,一個簡單的例子,怎麼數出這裡面有多少個三角形方塊,如果數左邊,我們用分散式框架拆開很多, 自己先數自己的,最後合併一下,這種計算方式就是屬於分散式運算。 比如說房地產交易,我不需要把所有資料匯總到資料中心裡面去計算,大型資料庫中去計算,這是不現實的,現在很多運營商也看到了,根本沒有這個能力把這麼多的資料全部入庫。 怎麼做呢? 就是在本地,在各個房交所裡去算,這種方式就是充分利用本地資源以及利用廉價的平臺資源來實現的。 跟傳統的結構的差異就是左邊這個圖,這個結構不是過去的結構,是兩種使用方向。 左邊的更多是看到應用伺服器,右邊面對的是什麼? 是商業邏輯。 這兩個是不一樣,計算量非常龐大,這就是雲計算所帶來的特點。

這種框架有什麼好處? 我拿醫療行業舉一個例子,比如區域醫療,大家想怎麼做疾病防護,從一家醫院走到另外一家醫院的時候,原來的X光片怎麼可以繼續使用? 是存在了某一個系統裡通過資料庫來管理。 現在區域醫療很難做融合,如果使用了這種新的結構,每一個X光片不需要資料庫了,就像谷歌看網頁一樣,怎麼找到網頁? 這種扁平結構就是我們所採用的。 直接體Web的介面之後通過互聯網的方式直接獲取到你所需要的資料,資料中心沒有必要獨立建立一套系統,你就可以在資料中心獲取到不同的定制的這些視頻。

這是我給大家分享我們目前在大資料領域的一些技術實現和一些成功的案例。

雲基地這個想法按我們帶頭人田總的相比,就是要用書本的價格獲得資料中心的計算能力,這是它他的使命。 他上一個使命是希望所有人都能上互聯網,他説明網通上市已經成功,現在第三次產業希望帶著雲基地這幾十家公司,説明大家用更加低廉的成本獲取北美這些超大型資料中心的能力。

這就是我們基地的情況,謝謝大家!

(責任編輯:杜慶先)

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.