大資料時代需要想像力

記得2005年在業內鼓吹WEB2.0革命的時候，得到最多的有兩類反應。 一類可以稱之為虛無派，他們說討論這事虛無縹緲，沒有馬上就能掙錢的模式。 一類可以稱之為停滯派，他們說討論這事有什麼新鮮，我們的某某東西早就是WEB2.0了。 隨後幾年的產業發展證明了這兩類說法的無知與荒謬。

今天在業內鼓吹大資料時代即將到來的時候，得到最多的仍然是同樣兩類反應。 虛無派說大資料雲山霧罩，看不出有什麼錢途。 停滯派說大資料有什麼新奇，老子的資料很大，挖掘技術很高。 我想，今後幾年的產業發展又將證明這兩類說法的無知與荒謬。

一些不肯認真讀點想點東西的人，一看到大資料這個詞，就望文生義地想到資料要大，卻忘記了大資料的其他基本特性，需要反復加以提醒。

大資料的特性之一是資料的完整性和綜合性。 很多業內朋友一談起大資料，就習慣性地盤點起自己那點存貨，或者那些可以直接從自身服務中可以獲取的東西。 考慮到目前互聯網的發展還在非常初級的階段，現有網路服務都是簡化，扭曲，片面地對現實世界的濃縮和裁剪，由此產生的資料是零亂的，破碎的，局部的，其中所含有的含金量是極其有限的。 如果同意這個世界上的萬事萬物可以而且正在被資料化和網路化，那麼由此產生HTTP://www.aliyun.com/zixun/aggregation/14294.html">的大資料就必然是完整的和綜合的， 不僅包括網路公司通過自身服務所獲得的使用者行為資料，而且包括社會的，經濟的，政治的，自然的方方面面的資料。 這些資料當然分散在不同企業，機構和政府部門手中，彙聚整合在一起絕非易事，但操作上的困難並不能否定大資料本身的完整性和綜合性。 今天之所以討論大資料時代的到來，是因為互聯網發展到目前階段使得現實世界資料化發展到了一定程度，各種資訊終端普及到了一定程度，資料獲取的成本降到了一定程度，使得完整和綜合的資料不僅是一種理想，也正在變為現實。

大資料的特性之二是資料的開放性和公共性。 正是因為完整的綜合的大資料難以由一家公司，機構或政府部門所獲得，所以大資料必然產生于一個開放的，公共的網路環境之中。 這種開放性和公共性的實現取決於若干個網路開放平臺或雲服務以及一系列受到法律支援或社會公認的資料標準和規範。 任何封閉的或單向獲取的資料都不可能是大資料，無論這些資料的規模有多大。

大資料的特性之三是資料的動態性和及時性。 天體物理學和理論物理學早就依賴于從宇宙間獲取的大量資料，類似的學科還有環境生態學，醫藥學，和自控技術。 但是，這和我們今天討論的大資料不是一回事。 今天的大資料是基於互聯網的及時動態資料，不是歷史的或嚴格控制環境下產生的東西。

所以，今天我們談論的大資料是完整綜合的，開放公共的，動態及時的，這樣的大資料是我們過去從未有機會獲取利用過的全新挑戰，也是我們未來應該努力去爭取利用的全新戰略機會。 如果有人以為過去積累的那點資料就是大資料，或者過去積累的資料處理利用能力和經驗就可以在大資料時代自然領先，那不是無知就是狂妄。

近來媒體上對大資料方向的進展報導頗多，其中一個很能說明我心目中大資料的性質及其利用的前景。 據8月30日《紐約時報》的報導：一家名為氣候公司(Climate Corporation)的創業企業每天都會對美國境內超過一百萬個地點，未來兩年的天氣情況進行超過1萬次類比。 隨後，該公司將根系結構和土壤孔隙度的相關資料，與類比結果相結合，為成千上萬的農民提供農作物保險。

通過遙感獲取土壤資料，這和我們過去所熟悉的通過網路服務獲取使用者網路行為資料不是一回事，資料的概念得以極大的擴充。 每天對百萬以上地點進行成萬次的類比，其資料量龐大，動態，及時。 要想對每塊田地提供精准的保險服務，肯定還需要與土地資料相配套的農產品期貨資料，氣候預測資料，國際貿易資料，國際政治和軍事安全資料，國民經濟各方面的資料，產業競爭資料，等等。 在如此龐雜的大資料基礎上推出的商業模式，是創新的，同現有農作物保險方式相比是具備極大競爭力的，是可持續和規模化的。 更妙的是，這家公司基於大資料的運營，完全沒有進行高額的網路設施投資，只是租用了亞馬遜的公共雲服務，一個月幾萬美元而已。

　　如果留心觀察，這樣的案例已經很多了，雖然都還比較簡單初級，但足以說明問題。 如果展開一下我們的想像力，類似上述案例