在大資料時代，你需要這樣思考

標籤：style   blog   http   os   ar   strong   sp   資料   2014   

　　維克托?邁爾?舍恩伯格和肯尼斯?庫克耶在《大資料時代》中告訴我們大資料的4V特點，即Volume（大量）、Velocity（高速）、 Variety（多樣）、Veracity（真實）。相比小資料，大資料一定是複雜的。然而，複雜性對於我們來說，絕對是一個機會而不應是一個問題。面對 大資料時代的撲面而來，如何擁抱大資料，從思考方式的轉變開始。

　　從“基於預設的結構化資料庫”到“無需預設的非關係型資料庫”

　　小資料時代，我們對於資料的儲存與檢索一直依賴於分類法和索引法，分類和索引是一種清晰擷取資料的機制設計，這種機制是以預設場域為前提的。這 種結構化資料庫的預設場域能夠卓越地展示資料的整齊排列與準確儲存，毫無疑問，這與追求資料的精確性目標是完全一致的，在資料稀缺與問題清晰的年代，這種 基於預設的結構化資料庫能夠有效回答人們的問題，並且這種資料庫在不同的時間能夠提供一致的結果。

　　面對大資料，由於資料的海量、混雜等特徵會使預設的資料庫系統崩潰。其實，資料的紛繁雜亂才真正呈現出世界的複雜性和不確定性特徵，想要獲得大 資料的價值，承認混亂而不是對抗或避免混亂才是一種可行的路徑。為此，伴隨著大資料的湧現，出現了非關係型資料庫，它不需要預先設定記錄結構，而且允許處 理各種各樣形形色色參差不齊的資料。因為包容了結構的多樣性，這些無需預設的非關係型資料庫設計能夠處理和儲存更多的資料，成為大資料時代的重要應對手 段。如微軟的資料庫設計專家PatHelland所言：“我們再也不能假裝活在一個齊整的世界裡。”

　　從“隨機樣本”到“全量資料”

　　統計學家通過分析發現，採樣分析的精確性隨著採樣隨機性的增加而大幅提高，但與樣本數量的增加關係不大。這個發現對於小資料時代無疑是非常鼓舞 人心的，隨機採樣獲得了巨大的成功，並成為現代社會測量領域的核心思想。隨機樣本的基礎是採樣的絕對隨機性，然而，如此嚴格意義的隨機實現起來是非常困難 的，一旦採樣過程存在任何偏見，分析結果將相去甚遠，況且隨機樣本帶給我們的只能是事先預設問題的答案。這種缺乏延展性的結果，無疑會使我們錯失更多的問 題域。

　　大資料時代，資料的收集問題不再成為我們的困擾，採集全量的資料成為現實。全量資料帶給我們視角上的宏觀與高遠，這將使我們可以站在更高的層級 全貌看待問題，看見曾經被淹沒的資料價值，發現藏匿在整體中有趣的細節。因為擁有全部或幾乎全部的資料，就能使我們獲得從不同的角度更細緻更全面的觀察研 究資料的可能性，從而使得大資料的分析過程成為驚喜的發現過程和問題域的拓展過程。

　　從“資料的精確性和結果的準確性”到“資料的混雜性和結果的容錯性”

　　小資料時代，由於可獲得的資料量比較小，為此我們必須盡量準確的記錄下所獲得的所有資料，從而引發了測量工具的最佳化工作；由於資料處理手段的限 制，能被我們利用的資料基本限於能適用於傳統資料庫的結構化資料；由於採用的是隨機採樣，因此採樣過程的精確度被放在重要的地位。顯然，這種對精確性的執 著是資訊缺乏時代和類比時代的產物。

　　大資料時代，海量資料的湧現一定會增加資料的混亂性且造成結果的不準確性，如果仍然執迷的依循準確性，那麼我們將無法應對這個新的時代。與資料 的混雜性可能帶來的結果錯誤性的增加相比，由資料量的擴張帶給我們的新洞察、新趨勢和新價值更有意義，因為大資料通常都用機率說話，何況大資料的處理之前 是可以對之進行資料清洗從而減少部分的錯誤資料。所以，與致力於避免錯誤相比，對錯誤的包容將會帶給我們更多資訊。其實，允許資料的混雜性和容許結果的不 精確性才是我們擁抱大資料的正確態度，只有讓步和接受甚至欣賞不精確性，才能看到大資料帶給我們的美好前景，未來我們應當習慣這種思維。

　　從“複雜演算法”到“簡單演算法”

　　演算法是挖掘資料價值的工具，因此演算法的研究一直以來是提升資料利用效率的重要路徑。小資料時代，在資料的限制無法突破的情形下，對資料資訊和價 值的擷取渴求使得對演算法的研究越來越深入，發明的演算法越來越複雜。而事實表明，當資料量以指數級擴張時，原來在小數量級的資料中表現很差的簡單演算法，準確 率會大幅提高；與之相反的是，在少量資料情況下運行得最好的複雜演算法，在加入更多資料時，其演算法的優勢則不在顯現。為此，更多的資料比演算法系統顯得更智能 更重要，大資料的簡單演算法比小資料的複雜演算法更有效。

　　從“為什麼”到“是什麼”

　　小資料時代，由於資料可獲得性和計算能力的有限性，使得我們對於問題的研究需要在假設的基礎上進行驗證，並探究“為什麼”，而始於假設的分析研究非常容易受偏見支配。

　　大資料時代，快速發展的資料存放區、資料轉送、資料擷取、資料處理等系列技術群，為我們對於問題的研究提供了新的視野和有價值的預測，並使我們獲得更多以往所不曾被關注的聯絡與動態，探究“是什麼”成為我們發現世界瞭解世界的更便捷的途徑，且不會受先驗假設的偏見影響。

　　從“因果關係”到“相關關係”

　　小資料時代，資訊的匱乏會使我們趨向於採用因果關係範式去快速理解問題並做出決策，雖然這種因果關係可能並不存在，但這是我們理解和解釋世界的 一條捷徑。在人類力量有限性凸顯的時候，這種認知捷徑往往能帶給我們一種認知上的安慰感和安全感，彷彿世界就是因果性的存在著。

　　由於大資料時代對於資料的研究不再拘泥於對因果關係的探究，這將會使我們完全有條件向關聯、非關聯等相關關係探究的轉變。類似啤酒與尿布存在相 關性的經典案例不勝枚舉。海量資料不斷被製造與我們對於資料搜集、儲存、傳輸、處理能力的日益提高，是大資料時代的當下特徵。基於互連網、雲端運算等現代化 手段，對海量的資料進行統計性的搜尋、比較、分析、歸納，我們會發現，原本似乎毫不相干的事物之間存在著較高的關聯度，這是傳統的原因分析、邏輯推理調研 難以解釋也無法企及的。

　　當然，相關關係並不是大資料洞察的終結目標。在很多情況下，一旦我們完成了對大資料的相關關係分析，而又不再滿足於僅僅“是什麼”時，我們就會 繼續朝向因果關係的研究，尋求“為什麼”，並且基於相關關係的分析，進一步尋求因果關係將會大大降低其分析成本。其實，因果關係就是一種特殊的相關關係。

　　從“審慎的決策與行動”到“快速的決策與行動”

　　小資料時代，我們基於對社會運作情境的假設，通過收集和分析資料來驗證這種假設；通過資料的檢驗，原有假設不成立，意味著我們將重新開始新的假設並重新收集和分析新的資料，直到我們的驗證通過為止。因此，小資料時代，我們的決策與行動是審慎的。

　　大資料時代，我們不再受限於傳統的思維模式和隱含的假定，我們需要對大資料分析的工具理論，通過對大資料的分析，大資料會為我們呈現出新的深刻 洞見和釋放出巨大的價值。我們在大資料的指導下探索世界並且不再受制於各種假設，這將使我們勢必要以積極的姿態隨時接收著來自資料的洞察，並做出快速的決 策與行動，因為機會和價值很快就會被重新整理，大資料的價值也正是在於將及時的資訊及時的傳遞給及時需要的人手中並及時的做出決策和行動。可以預見的未來必然 是，得資料者得天下。

　　其實，我們只是站在一個很長過程的起點上。

在大資料時代，你需要這樣思考