大資料有多大？關於大資料的三大誤區

標籤：

 關於大資料的三大誤區 隨著整個行業對大資料的興趣越來越大，我最愛的話題之一，我在2013年做過的大資料的公眾演講超過我職業生涯中的任何往年。我在行業大會、活動，大學以及EMC內部共做過許多次演講。在這些演講中一次又一次地接觸到了一大堆關於大資料的評論，提問以及錯誤的理解。我相信將我聽到的分享給大家會很有用。 以下是對於大資料的三大誤區：

　　1. 最重要的，是關於大資料本身的大小

大資料主要是資料的大小，因為大資料就是大的，對嗎?其實，並不完全是。哈佛的定量社科學院的Gary King說。當然，如今的資料處理量要遠超過去(這裡是指”3Vs”的量-量，多變性及速度)，但如果人們只關注於GB、TB或PB，他們將僅僅視大資料為關於儲存和科技的問題。儘管這也是絕對重要的，但大資料的更突出的幾個方面通常是另外兩個V：多變性(Variety)和速度(Velocity)。速度指的是資料流及非常快的資料，資料積累或進入資料倉儲時的低延遲，以使人們可以更加快速地(或者甚至自動地)做出決定。資料流的確是個大問題，但是對我來說，其多變性是3V當中最有趣的。

上面顯示的這些表徵圖正是大資料產生的來源。實際上，這正說明了一個哲學問題—不僅僅是大資料改變了，更多的是，資料的定義本身已經發生了變化。也就是說，大多數的人認為資料就是成行成列的資料，如Excel表格，RDBMS資料庫，或儲存著TB級結構化資料的資料倉儲。這些的確沒有錯，大資料主要是有關半結構化資料和非結構化資料。 大資料包含了所有人們並不認為是資料的所有其他的事物，如RFID晶片，智能手機的地理空間感應器，映像，視頻檔案，點擊流，語音辨識資料以及這些資料的中繼資料。 當然，我們需要找到有效方法來

儲存大量的資料，然而我發現，當人們開始抓取資料的多變性及其速度，他們也開始尋找更加創新的方式來使用這些資料。

2. 你確定要雞蛋碰石頭嗎?

“好吧，但是為什麼我一定需要新的工具?我不能用原來的軟體工具來分析大資料嗎?”我們在討論使用Hadoop去排列成百上千的非結構資料輸入。討論中有位聽眾提問，為什麼他不能簡單地使用SPSS來分析大量的文本語料庫。事實上，一旦你領會了#1中的內容，那麼你將意識到你需要一個可以理解、儲存和分析不同資料輸入(映像，點擊流，視頻，聲紋，中繼資料，XML，等)，並且可以平行處理他們的新的工具。這就是為什麼記憶體中的案頭工具足以處理本地記憶體中的分析(SPSS，R，WEKA，等)卻無法處理大量的大資料來源。所以我們需要新的技術來管理這些各不相干的資料來源，並以並行的原則管理他們。

3. 不完整的資料品質代表大資料毫無意義

“是的，那麼大資料，資料的品質會怎麼樣呢?是不是意味著更大規模的“無用出入(GIGO)”? 大資料也一定可能會亂，而資料品質對任何分析都非常重要。然而，關鍵是要記住資料將不可避免地混亂。即，會有很多雜亂，各種異常情況，以及不一致性。而重要的是要把重點放在資料的數量和種類，以及它們可否可修剪並用以做有價值的分析。換句話說，在這些混亂之中要尋找某種訊號。在某些情況下，組織可能要解析和清理大量的資料來源，而在其他情況下，這些也可能不太重要。可以考慮Google趨勢分析。

Google趨勢分析顯示人們大資料分析搜尋的最熱門事情，如整個2013年在Google搜尋的最多的事情，如所示照片。這需要大量的儲存空間，處理能力以及強大的分析技術以從搜尋中篩選並排名。這是使用大資料而忽略GIGO的一個好例子。 從這個觀點來看，許多人們會說“哦!這聽起來的確是大的改變”是的!正如我的一個同事所說，可以用大資料的名字或動詞意義做一個區分。也就是說，作為名詞，把大資料僅僅當作需要被儲存和安置的“非常多的東西”。作為動詞，大資料視覺效果就意味著動作。這個陣營的人們視大資料為破壞性的力量，是改變他們的操作方式的動力。利用大資料以創造性的方式測試好點子，從而以分析的方式解決業務問題，如進行A/B測試—請參考Google測試50色調的藍色，去尋找人們最願意點擊的Gmail使用者，而不是僅憑營銷經理的猜測。或者想辦法衡量沒法衡量的事情，比如公司和大學找更好的方式來實現映像歸類的自動化。以新的方式探索新點子—以資料來回答“假如 ”的問題。 在這個競賽中，那些把大資料視作動詞的組織將是最大贏家!

【瞭解更多商業智慧行業資訊，商業智慧解決方案以及商業智慧軟體下載請訪問FineBI商業智慧官網www.finebi.com】

大資料有多大？關於大資料的三大誤區