大資料的雜談

說到大資料，就感覺這個詞一夜之間在全世界火了，政府在研究它，以它制定科學計畫;學者研究它，視它為革命創新的第一步;公司研究它，視它為未來的領軍，誰錯過，誰就落後時代。 大資料的火熱並不意味著對於大資料的瞭解深入，反而表明大資料存在過度的炒作危險，如雲計算。 好了，那麼神奇的東西是什麼，又能做些什麼，下面就是我對大資料的一些理解，不對的，不好的請指出。

首先來說說它的概念吧!網路上有很多關於它的描述，比較多的是指無法在一定時間內用常規機器和軟硬體工具對其進行感知、獲取、管理、處理、和服務的資料集合(一般的量要達到PT級別)。 看概念的描述應該很好理解。

在來說說大資料的一些歷史來源。 貌似很多新的東西，新的技術，新的想法都是從美國開始，這次也不例外。 美國早在克林頓政府時，就宣佈實施「國家資訊基礎設施計畫」，這個計畫是由通信網、電腦網、資料網和消費類電子產品組成的資訊網路，傳送圖像、語言、文字到各個機構和家庭。 並在之後又在國防部上發佈NCW計畫，並逐年發展。 在上述背景下，2012年3月29日，HTTP://www.aliyun.com/zixun/aggregation/10075.html">美國政府宣佈了「大資料研究和發展倡議(BDR DI)」，意在推進大量、 複雜的資料集合中獲取知識和洞見能力。 而到了奧巴馬政府，它出臺了「大資料研究和發展倡議」，於是大資料時代開始了，美國乃至全球掀起了大資料研究熱潮。

在來說大資料的一些特性，這是介紹大資料資料一般都要說的，那我也講講。 主要概括起來是4v。 即：規模性(volume),多樣性(variety)和快速性(velocity)+真實性(veracity)或價值性(value)。 規模化其實就是資料量的規模，比如美國股市每天的成交量為70億股，谷歌每天處理的資料量是24PB... 這些資料的規模是以前無法想像的。 多樣性即說明資料類型的多樣性，包括：圖片，文字，視頻，數位，。。。 就是由於資料類型的多樣性使得大資料的分析成為困難。 快速性是資料量增長的速度。 但為什麼第四個有兩個定義，其實是觀點不同而已，一個是IDC公司認為大資料是由價值性，一個是IBM認為大資料必然具有真實性。

既然想研究大資料就應該有一些思維的改變，主要有以下三種：(1)可以分析更多資料，與之相關聯的所以資料都可以分析，而不再是依賴採樣。 (2)不再追求精確度。 當擁有海量即時資料時，絕對的精確不再是追求的主要目標，適當忽略微觀層面上的精度，會在宏觀層面擁有更好的洞察力。 (3)不再熱衷於尋找事物間的因果關係，而是相互之間的相關關係。 相關關係也行不能準確地說明一個社會現象發生的原因，但是它會揭示其發展過程。 或許這就是跟以前傳統資料採礦的差別。 有一個形象的比喻，以前的資料採礦時池塘捕魚，到大資料時就是大海捕魚，以前的分析是朝著自己預訂的目標方向去挖掘，而大資料時代則是不知道有什麼結果，或許什麼都沒有，所以就像大海捕魚。 非常有名的例子是啤酒和尿布的關係，之前人們是不知道這兩者有關系的，但通過大資料的分析，得到了它們的相關關係。

最後，想談談大資料的一些應用方面。 先記住大資料分析的核心價值。 全樣本，消除資訊噪音的影響，提高準確率，因為高效，彌補精確性。 雖然傳統的抽樣統計得出的資訊也許更精確，但往往滯後，這種滯後有時候是致命性的。 大資料時代與社交運算的結合，大資料時代的交通工程，大資料時代的只能電網實現，大資料分析與行銷手段的變化等很多方面都可以應用。