轉文峰——讀《大資料時代》有感

標籤：sp   資料   工作   伺服器   應用   br   網路   資訊   關係   

我在大資料領域已經工作五年多了，可如果一個外行朋友讓我給他解釋一 下什麼是大資料，我還真不好講。我能說就是海量資料的格式化、傳輸、儲存、查詢、展示嗎？還是過於抽象。我能說資料量大就叫大資料嗎？其實也不一定，一台 機器上的感應器收集到的資料可能每天都有幾個TB，但也僅僅是監控了一個機器的狀態。而全國各個市一天的蘋果價格，可能也只是幾MB大小，但它就是一個大 資料的例子。
　　
　　這本書的觀點很鮮明。首先是樣本等於總體。在大資料時代以前，如果想要瞭解某個市場的情況，一般是採用抽樣調查的方式，這種方式難免出現偏差，比如配合調查的人群，可能本身就有傾向性。但在大資料時代，我們直接面向的是總體樣本，能夠直接分析總體的真實情況，更加客觀。過去有兩個條件不具備，一個是資料的採集代價很大，現在通過網路可能直接拿到。比如全國人民今天都關心什麼，會在搜尋引擎的查詢記錄裡體現出來。第二是計算和儲存能力不具備，成千上萬台的高效能伺服器才能迅速計算出結果，在以前的計算機年代是搞不定的。
　　
　　第二個觀點是要關聯關係而不關心因果性。買了A東西的人很有可能買B東西，可能這兩者看似沒有什麼關聯，但儘管把它們放在一起就是了，我們最關心的是銷量，不是嗎？弄清楚是怎麼一個表象可能比較容易，但是想弄清楚背後的緣由，就需要很大的代價了，在這種快速變化的時代，不妨先利用這種關聯性去產生價值，剩下的慢慢去分析。
　　
　　我在讀這本書的時候，也在思考大資料到底是有什麼樣的特徵？和以前的時代到底有何不同？我覺得是在地區上要具有廣泛性，比如開始我說的全國各個市蘋果價格的例子，如果有了這樣的資訊，你就可以確定蘋果運送到哪裡能賺更多的錢，考慮的更長遠一點是在哪裡種蘋果最划算。書中還列舉了一個所有航班票價的例子，也是類似的。
　　
　　在大資料時代，我預測感應器領域會有十足的發展，也許以後感應器無處不在，我們通過感應器擷取到各種的資料，基於這些資料能實現一些新的價值。現在流行的穿戴式裝置，只是感應器的一個基本應用。Google的無人駕駛汽車也是一個應用的例子。但感應器時代我相信還沒有到來，現在是一個醞釀期。

轉文峰——讀《大資料時代》有感