大資料是個什麼鬼啦？

關於大資料，有這樣一段話：

「Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is do ing it,so everyone claims they are doing it.」

看到這句話，大夥對於大資料是啥有了基本的概念嗎?目前，很多人對於大資料的理解依然停留在：海量的資料，超大規模，資料量到達了PB級別，甚至有EB、ZB級別上的資料。 通過對這些資料進行深入分析，就能得出非常有價值的結論，指引企業做出最佳決策。

大資料就是那種很多人都聽說過或者閱讀過此類的文章，但是對於具體是什麼事物不了解。

其實，現在HTTP://www.aliyun.com/zixun/aggregation/14294.html">的大資料指的並不僅僅是海量資料，更準確而言是對大資料分析的方法。 傳統的資料分析，是通過提出假設然後獲得相應資料，最後通過資料分析來驗證假設。 而大資料不是這樣的，大資料是從收集的海量資料中，通過演算法將這些來自不同管道、格式的資料進行直接分析，從中尋找到資料之間的相關性。 簡單而言，大資料更偏重于發現，以及猜測/印證的迴圈逼近過程。

而大資料的價值體現在對它的分析利用上。 一直以來，大資料的瓶頸並不是資料規模巨大導致的存儲、運算等問題，而是在前端資料的收集途徑，以及對資料進行結構化處理，進而引導後期的商業決策中的模型和演算法問題。

各個行業都在產生資料，現代社會的資料量正持續地以前所未有的速度增加著。 這些不同類型的資料和資料型，極其複雜，包括結構化、半結構化和非結構化的資料。 企業需要整合並分析來自複雜的傳統和非傳統資訊源的資料，包括企業內部和外部的資料。 隨著感應器、智慧設備和社會協同技術的爆炸性增長，資料的類型變得難以計數，包括文本、微博、感應器資料、音訊、視頻等。

而現在大熱的資料分析師正在做的是這樣的工作：收集資訊，將資訊結構化資料化，最後才是我們能看到的大資料帶來的神奇力量。 但問題是其中對資料進行處理工作量太大了。 根據訪談和專家測算，資料分析師的50%~80% 的時間都花在了處理資料上。

在智慧手環公司Jawbone 負責資料工作的Monica Rogati 說：

處理資料是整項工作中巨大的部分。 但有時我們感到沮喪，因為好像不停地處理資料就是我們做的所有事情。

這聽起來有點像冰山理論，即我們能看到的大資料只是冰山露出來的一個小角，而我們看不到的地方，如大資料的前期工作，就是海水下是更巨大的部分。

但諮詢公司麥肯錫曾在2011 的報告中指出：

「資料，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。 人們對於海量資料的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。 」

是的，存在問題的地方也潛藏著機會。 原始資料的格式和來源不可計數，舉一個例子，假如一家食品行業的企業需要進行大資料的收集和分析，它能收集的資料包括產量、出貨的位置資訊、天氣報告、零售商每日銷售量、社交媒體評論等。 而根據這些資訊，企業能夠洞察出市場的風向和需求的變化，進而制定相應的產品計畫。

的確，獲得的資訊越多越有利於企業做出明智的決策。 但這個決策是建立在不同的資料集之上的，這些來自各種感應器、文檔、網頁、資料庫的的資料，全部都是不同的格式，它們必須要被轉換為統一的格式，這樣軟體才能理解它們，進行分析。

將各類資料進行格式統一是一個嚴峻的挑戰，因為資料和人類語言一樣都具有模糊性，有些資料人類知道是什麼意思，但電腦卻不能識別，因此我們需要人工來一次又一次地重複這個工作。

現在已經有不少的初創公司試圖開發相關的技術來減輕這項工作，例如ClearStory Data，一家在帕洛阿爾托的初創公司，它開發的軟體能識別不同的資料來源，將它們整合，並將結果用視覺方式呈現，如圖表、圖形或資料地圖。 再如 Paxata，一家加州的初創公司，專注于資料的自動化——發現、清理、調配資料，通過Paxata 處理過的資料能被送入各種分析或視覺化軟體工具。

大資料目前的情況和電腦發展的軌跡有點相似。 一種先進的技術，最初往往只被幾名精英掌握，但隨著時間流逝，通過不斷地技術創新和投資，這項技術，或者說工具，會變得越來越好。 特別是當其融入到商業領域中後，這項工具就能得到廣泛應用，成為社會中的主流。

所以我們現在是歷史的見證者，看著大資料如何一步步完善，我們都需要掌握或選擇一個最佳的分析方法，以更好地挖掘出大資料的價值。