生活中的大資料

IDC中國在10月份剛剛發佈了《中國大資料技術與服務市場2012-2016年預測與分析》報告，其中的資料顯示，中國大資料技術和服務市場未來5年的複合增長率將達51.4%。 報告中指出，淘寶、騰訊，以及百度等互聯網巨頭是率先使用大資料技術的使用者，同時電信和銀行領域也開始對大資料技術和服務產生濃厚的興趣。

Gartner也預測，到2015年，大資料將為全球帶來440萬個IT崗位，其中96萬個IT崗位會在亞太地區。 每個大資料相關的崗位將催生三個非IT的就業機會，從而使亞太地區的就業機會總計達到40萬個。 種種資料表明，大資料不僅會為人們的日常生活帶來影響，對整個IT生態鏈也是一個巨大的機遇。

生活中的大資料

對於普通的使用者來說，雖然不必關心大資料的概念究竟是什麼，但一些案例卻可以直入生活。 就拿剛剛過去的11月11日，天貓商城所創造的191億元銷售額的傳奇來說，商家已經懂得了如何利用使用者以往的購買記錄去推送有針對性的商品。 還有沃爾瑪創造的「尿布+啤酒」的行銷傳奇至今還在被人們津津樂道。 尿布、啤酒這看似兩種針對客戶群完全不同的產品，卻在沃爾瑪的銷售記錄裡創造了令人驚奇的搭配效果。 這個故事講的是，如果太太讓先生去樓下買尿布時，先生一般都會按照自己的需求再順帶捎上兩聽啤酒，因而啤酒和尿布被一起購買的機會最多。 這個案例是由沃爾瑪商場的智慧化資訊分析系統挖掘出來的秘密，這個系統讓沃爾瑪成為了「最瞭解消費者」的零售商，而這個故事也成為了大資料影響人們日常生活的一個經典案例。

作為都靈大學腫瘤學系的私營且非嬴利機構，該校的癌症研究所一直致力於瞭解癌症基本機理，為病人提供最佳診斷和治療服務。 目前，研究人員努力讓他們大量的研究資料變得更具有意義。 他們最新採用了來自Kairos3D 公司生產的名為GenomeCruzer的產品。 GenomeCruzer由Gilgamesh大資料3D視覺化引擎驅動，提供一個整合有資料模式和關係、且能夠讓整個資料集被看到和開發的環境。 癌症研究所的Enzo Medico博士說：「這個神奇的工具提升了我們對龐大資料集的利用率，並獲得了前所未有的資料分析速度。 該工具的這一優勢已經被確認。 」這種最新的互動式3D大資料視覺化可以推進癌症研究進程，縮短癌症治療過程。

上述的兩個例子已經足以讓我們意識到大資料帶來的益處。 不僅是在零售、醫療行業，PMC公司企業存儲事業部市場行銷副總裁Derek Dicker表示：「在眾多垂直行業中，資料量都在快速增長。 例如石油、天然氣、氣候建模和預報、生命科學等行業。 」以氣候行業為例，政府機構在研究氣象模式時需要創建並分析大資料集，從而更加準確地預報氣候變化的強度、方向，以及持續時間，這將影響數百萬人的日常生活。 為了實現上述的案例，一個大資料分析平臺必不可少，為大資料而生的新興技術也開始層出不窮。

阿裡雲的大資料經驗

伴隨著大資料概念的火熱，以一隻大象為代表的Hadoop迅速席捲了IT人士的視野。 這種分散式的計算模式幾乎成為了公認的大資料處理模式，隨之而來的，是IT巨頭紛紛加入Hadoop陣營。 雖然開源是個大趨勢，但ESG中國區總經理王叢也認為使用者想要真的去利用Hadoop部署自己的專案，首先需要的就是雇傭大量的人才去學習Hadoop，人才成本比較高。 同時我們也可以看到，國內也出現了一些擁有自主智慧財產權的大資料處理平臺。 阿裡雲是其中的佼佼者。

阿裡雲作為阿裡巴巴旗下的一員，相比淘寶、支付寶等公司低調許多，但當它所自主創建的分散式運算系統進入人們眼簾時，引起了業內的巨大反響。 阿裡雲所涉及的業務包含了彈性計算、大規模存儲、大規模資料處理、搜索、地圖、郵箱等等服務。 在阿裡雲平臺發展的過程中，研發過程也曾受阻，期間也曾遭到質疑，但不可否認的是，阿裡雲目前已經擁有了龐大的使用者群，並且在打造「以資料為中心的開放雲計算服務平臺」的道路上越走越順。

阿裡雲計算有限公司研究員薛貴榮在接受記者採訪時表示，目前接入阿裡雲的註冊使用者達到170多萬，平臺租戶已經超過了5000家，直接或者間接享受阿裡雲平臺服務的終端使用者則可達到上億的使用者。 而阿裡雲最為看重的就是「資料」。 結合當前的大資料熱潮，阿裡雲的目的就是提供強大的計算能力，説明使用者去處理新時代的石油——資料。

薛貴榮介紹，經過三年的發展，阿裡雲打造成了完全自主研發的大規模分散式運算系統——飛天。 該系統除了MapReduce之外，還支援最廣泛的多種程式設計模型。 而且，阿裡雲的技術人員在這個同一平臺之上實現了資料存儲、彈性計算、搜索等多項功能。 而這種功能，除了阿裡雲，世界上也只有Google能夠做到。 而阿裡雲的戰略，我們也可以解讀為Amazon+Google並有所超越，用Google模式的技術去做Amazon模式的運營。

結合當前的Hadoop熱潮，或許有讀者會感到困惑，費了半天勁自己研發了一個大資料平臺，為何不直接使用Hadoop呢?對此問題，阿裡雲有自己的看法。 阿裡雲總裁王堅曾經說：「Hadoop在離線大資料處理上很有價值，但它無法解決我們公司公共雲計算服務的問題。 因為我們已經上線的雲服務已遠遠超出Hadoop的能力，這和公司的定位有關。 現在，飛天已經很好地支援了阿裡雲的各項業務，其中包括大資料處理，在這方面，飛天實際已經超越了Hadoop。 」

薛貴榮也表示，如果沒有一個專業性較強的Hadoop團隊去維護，Hadoop的能力上升會受到限制。 不管如何，在經歷了質疑、阻礙之後，飛天成功了。 而之後，飛天將會在阿裡雲技術團隊的維護下，繼續擴充自身的計算能力，提供更加廣泛的大資料處理服務。

談到當前的大資料問題，薛貴榮總結了以下四個經驗與讀者進行分享：

第一，就是雲計算平臺的建設。 對於大資料而言，後端的處理能力是基礎，這也是阿裡雲最近三年一直致力在做的事情。 以搜索業務為例，要想把全世界的萬億級別的網頁全部索引一遍，單單依靠一台機器去處理是完全不可能實現的。 因此，對於大資料的處理平臺來說，如何將幾千、幾萬台的機器做成一個集群是最為重要的事情。 這種大規模的分散式運算系統是飛天系統的核心。

薛貴榮介紹，飛天從第一行代碼開始就是自己寫的，目前這個分散式運算模式也在積極與ISV進行合作，以便能夠為其他行業的使用者提供一種「自主」的大資料處理工具。

第二，薛貴榮表示，大資料平臺需要有智慧化的技術。 他以「命題作文」為例，大資料平臺不能是根據問題去尋找答案，而是應該智慧地向使用者提供有價值的資訊。 以IBM的機器人沃森為例，他能夠回答非固定的問題，後端需要的是一個強大的分析系統。 目前在人工智慧領域的深度學習、自學習以及終生學習等都取得一些突破性的進展，值得去嘗試。

第三，是成本問題。 薛貴榮表示，大資料不能成為一個燒錢的專案，所以對於使用者而言，成本很重要，因而在阿裡雲的集群中全部採用了價格比較低廉的PC伺服器。 這也是大資料與雲計算相呼應的地方。 雲計算可以為大資料的處理提供一個彈性、低成本的平臺，而大資料又促進了雲計算的發展。

總而言之，對於一個強大的大資料分析平臺來講，智慧化、彈性、集群的擴展能力都必不可少。 但最基礎的部分，底層的IT基礎設施必須足夠強大，才能夠應付上層的這麼許多應用。 因此包括設備供應商、晶片製造商也都開始在大資料領域發力。

(責任編輯：施柏鵬)