分析師：“大資料時代”的生存法則

在Talend Connect大會上，一名IT業內分析專家指出，企業若不抓住大資料帶 來的機會，將很有可能在同行中遭到淘汰。

Jeff Kelly是Wikibon.org的 首席研究員，也是SiliconANGLE的編輯。他說，諸如Hadoop和MapReduce這樣的大 資料技術才剛剛起步；很多人由於技術有限或觀念陳舊，仍然將它們拒之門外。 然而，在不久的將來，當軟體使用門檻變低大量企業開始採用的時候，這些今天 已經採用了大資料技術的企業將再次佔領高地。到那時，他們會具備更豐富的信 息來進行決策，也會比其他企業賺到更多的錢。

作為曾就職於TechTarget 的記者，Kelly說：“我們已經研究大資料兩三年了，得到的結論就是，大資料是 目前業內贏取競爭優勢最有力的武器。當我們得出這個結論時，我們意識到了它 的轟動性。事實的確如此，我們實在想不出有哪一個行業不會受到大資料的影響 。”

“大資料”這個詞今天常在對機器產生的海量結構化與非結構化資訊 、社交媒體網站和行動裝置的形容中用到。除此之外，它也用來形容可從資訊中 提取出有用商業洞察的儲存、管理和分析技術。比較熟知的大資料管理技術包括 ：Apache HadoopDistributed File System、MapReduce、Hive、Pig和Mahout。

數 據指向性的優勢

在Talend Connect大會上大談決策制定流程中業務資料指 向性問題的不止Kelly一人，Tony Fraser也是其中之一。Fraser是Ogilvy & Mather（一家大型公關廣告公司）旗下營銷公司Neo@Ogilvy的創立人之一，也是 技術合伙人。

Fraser說：“我們做的是數字廣告。只要你能想到的領域， 我們都有涉及。”

Fraser在發言中舉出執行個體，說明了資料指向性決策為他 們公司成功帶來的協助。其一是，巴黎酒店和拉斯維加斯賭場與Neo@Ogilvy合作 ，吸引更多的顧客。Neo@Ogilvy首先通過社交媒體和旅遊網站針收集顧客對巴黎 酒店的正面評價，發現大多數都與Bellagio酒店噴泉的景色和街道對面的賭場相 關。根據這個資訊，公司團隊投放了一期電子廣告，內容為噴泉旁的巴黎酒店。

Fraser說：“廣告一投放出去，酒店的預定人數激增。”

大資料 運用的障礙

Kelly稱，大資料管理技術的概念早已傳播到大街小巷，但為 什麼真正使用它的企業卻很少呢?主要有兩個原因。

第一，Hadoop與其他 大資料軟體的使用極其困難，而正確使用技能的培訓尚未出台。目前，企業只有 高薪聘請相關專業的博士才能對大資料方程式進行分析。

Kelly說：“一 個Oracle DBA不一定具備管理、部署與監控Hadoop的技能。比如，一個分析層面 的資料工程師需要編寫MapReduce，而這樣的工作可與SQL查詢的編寫完全不同。 ”

第二，目前大部分企業還缺少實施大資料的概念和計劃。

現今 的許多大型企業都已習慣於通過資料倉儲與BI報表技術來擷取商務資訊。然而， Kelly認為，BI或資料倉儲模型是通過資料分析對過去進行評估，而大資料技術是 通過資料分析對未來進行預測。

他說：“對於這些企業來說，大資料運用 需要一種觀念上的轉變；你需要信任資料並跟著它指的方向前進。大資料的意義 就在於向前看、做出預測，然後行動。”

大資料管理的普及

Kelly 認為，大資料管理和分析與其他新興技術無異，最終都會普及，或者說會變得大 眾化。但是，這也需要一個過程。

由於大資料技術的複雜度對很多剛剛接 觸的企業都是不小的挑戰，所以這些新的應用工具和軟體技術需要被簡化。 Talend、Hortonworks和Cloudera等公司目前都在簡化大資料技術的難度。Kelly 說，大資料技術還需要很多革新，以讓使用者更簡單地進行部署和管理、對Hadoop 叢集進行防護並在流程與資料來源之間建立整合。

“現在你想成為一個頂級 資料程式員，就必須具備編寫MapReduce、SAS或其他語言程式的複雜技術。所以 ，我們需要研發出可以剔除部分專業性的工具；這樣一來，即使你沒有博士學位 ，也可以編寫大資料程式了。”

大資料的普及少不了對使用者的大量技能培 訓，內容包括大資料架構、Hadoop部署管理、Data Integration與MapReduce的編程等。

Kelly說：“我們需要全面解決存在問題。一方面簡化工具與技術；另一 方面加強人員的培訓，使DBA和商務分析師能夠勝任‘大資料時代’的工作。”