大資料：移動互聯時代的驚濤駭浪

我們尚無法確定萬物是否皆數，但是，在移動互聯網時代，人類至少已經推開了這樣一扇大門：通過對海量大資料的高效分析獲得商業以及社會價值。 大資料為移動互聯網帶來了新的價值，也為邁向物聯網奠定了基礎。

一個資料分析師以「指揮家」的模樣出現在舞臺上。 隨著他手臂的有力揮舞，一串串資料被馴服了。 他遊刃有餘，但資料越來越多，來勢越來越兇猛。 他有點吃力，他左右搖擺，他手忙腳亂！ 一陣巨浪打過來，他站立的地方猶如一葉扁舟覆沒在資料的海洋......

同樣的場景，另一個分析師出現了，還是那揮舞的手臂，還是海量的資料撲面而來，但他駕輕就熟，鎮定自如地指揮著，仿佛那不是雜亂無章的資料，而是音樂大師譜寫的傳世樂章。

2012年7月13日，在亮馬河大廈的「大資料世界論壇」上，SAS公司首席諮詢顧問張磊博士在演講前，播放了這麼一段激動人心的視頻。 全場為之雷動。

移動互聯網迎來了大資料

「這是像我這樣的資料人最為激動人心的時刻，因為資料庫、大資料已經成為變革的中心，事實上可以成為一場革命，在IT領域、製造業、零售業、政府管理、科技，大資料改變了整個世界的運行方式。 因此，我們稱之為大資料的新世界。 」

孫博凱仿佛還沉浸在剛才的氛圍中。 他是微軟亞太研發集團首席技術官。 孫博凱說，推動大資料變革的有幾大因素，比如價格低廉的存儲和雲計算能力，比如「大家都意識到的行動裝置的爆炸，每個人都有一個或者一個以上的行動裝置，現在全世界的行動裝置使用者可能已經達到了55億。 」而且，「這不僅僅關乎到網路使用者，還關乎到感應器，我們預計會有100億的感應器連到網路上，這一切都為我們帶來了大資料的新變革。 」

也就是說，譜寫這數位音符的，不是舒伯特、莫札特，而是移動互聯網時代的每一個線民以及每一台智慧手機、電腦、感應器。 而大資料也就是由此產生的有別于傳統結構化資料的非結構化資料，或者說，傳統技術無法分析出有價值的結果的資料。 它占到了全部資料總量的85％。

對於大資料的來源，英特爾行業合作與解決方案部中國區總監淩琦換了一種更為簡潔的說法，除了社交網路及傳統的商業領域「人跟人交易、人跟人溝通」所產生的資料之外，「還有一類是機器和機器、現有智慧設備網路中產生的資料， 這個數量會更大，而互聯網走向物聯網這條路是必然趨勢，隨著時間的增長，大家會看到物聯網產生的資料會更多」。

淩琦說，全球的資料使用量到2020年會增長44倍，達到35.2ZB的主要增長來源，就是大資料。

與傳統資料相比，大資料具有以下四個典型特徵，即多樣性（variety）、體量（volume）、速度（velocity）以及價值（value），也就是說，它集結構複雜、體量龐大和快速處理于一身， 並最終產生巨大的商業和社會價值。

就像ForresterResearch資深分析師曹宇欽說的那樣，大資料並非全新技術，「大資料最主要是説明企業對現有的資料、已經產生的資料做一些整合，相應地做少量的投入而得到更大的回報」。 我們甚至還可以說，傳統互聯網也產生了很多大資料，但是，移動互聯網的蓬勃發展、雲計算以及物聯網的初步應用，有力地推進了大資料時代的來臨，這是毋庸置疑的。

大資料分析的難點

設想你在京東商城或者亞馬遜訂了一件商品，那麼機器就會將你的ID號碼、送貨位址、手機、電話、電子郵件以及收貨時間等等全部記錄下來。 如果你提交了物品評論，或者和好友在微博上進行了分享，同樣，也會被記錄下來。

洞察這一切，就意味著夢寐以求的商機。

故而，孫博凱斷言：「兩家公司，有一家公司利用大資料技術而另一家卻沒有採用，那麼，未來它們的財務狀況會出現明顯的不同，大資料已經成為了保持企業競爭優勢的競爭力。 」

他說，在微軟看來，大資料意味著管理大資料端到端的生命週期，「管理資料，如何獲取、存儲、保護安全資料；下一步，如何保護你的資料，如何清潔、發現相關的資料，如何將其他的資料與其連接起來；最後，如何在資料中獲得洞察力。 」

但問題是，對大資料的分析卻並非易事。

淩琦認為，傳統的存儲結構需要升級為擴充性的存儲架構，否則無法適應現有的大資料存儲，同時，對於分散式的檔案系統的支撐之後，需要進行即時的流處理，而「傳統的資料分析更多的是結構化，資料量是有限的，集中式處理、批量處理， 也無法滿足需要。 」

賽仕軟體研究開發（北京）有限公司總經理劉政說，在大資料時代，資料分析的手段是關鍵，「但是傳統的資料分析能力，無法處理這麼大量的資料。 我們平常分析上千萬的資料量的時候，都會花費幾十個小時的時間才能得到結果。 當你的資料量達到十億的時候，軟體就根本運行不下去，有的時候會花上好幾十天，這個速度人們是無法接受的。 」

他列舉了一些傳統的分析技術帶來的困惑。 比如，由於分析手段的限制，取樣時的樣本數不夠大，不能充分利用所有的資料，無形中破壞了資訊的完整性；又比如，受限於分析能力而無法獲取複雜問題的答案，受限於時間而不得不採用某項簡單的建模技術，同樣， 也是由於沒有足夠的時間來執行多次反覆運算，你不得不對模型淨度進行妥協等等。

劉政說，上世紀50年代，美國飛行員發現，在跟敵人作戰的時候通過OODA方法就可以有效地贏得戰爭，也就是說，「如果你的決策比你的對手快，你就能夠占得先機」。

速度在這裡被提到了戰略高度。 對大資料的分析，也同樣如此。

品友互動是中國最大的數位廣告互聯網技術公司，率先在廣告技術領域採用大資料研究方法，搭建了多個以Hadoop為基礎的雲計算平臺。 品有互動CEO黃曉南在接受《網路導報》記者專訪時說，作為國內最大的需求方平臺（DSP），品友互動每天處理上百億的資料量，其DSP平臺可以對接廣告交易平臺（AdExchange）進行即時競價和智慧演算法,50毫秒內完成回應。

可見，沒有速度，再有價值的大資料也只能是一堆無法流通的鈔票。

(責任編輯：劉芬)