大資料之路不乏荊棘，然則其中的機遇卻高於一切

隨著生活越來越豐富，大資料也變得越來越難以處理；同時因為資料體積增大、資料類型繁多，技術人員在分析過程中不得不克服大量的挑戰和障礙。 本文將討論為什麼資料會變得越來越複雜及難以管理，以及在我們分析、整合及存儲這些資料時又會面臨哪些挑戰及障礙，當然還有大資料又會給未來帶來什麼樣的機遇。

大資料確實很大並且很複雜

大資料究竟有多大

舉個簡單的例子，去參加一個小朋友的生日派對。 在出發時，你會發送一個tweet說明一下，資料隨之產生。 車在半路上，停車加油，付款時果斷產生了資料。 在超市購買生日卡片，掃描購物卡、結帳同樣產生了資料。 在生日派對中，拍個照片，錄段視頻，當你在Facebook、Flickr以及Youtube上發佈時同樣產生了資料。 在派對過程中發送的消息，同樣產生了資料。 貫穿整個過程，你的手機因不停的發送GPS位置而產生資料，你的車因為不停的追蹤燃耗而產生資料。 由此可見，我們在日常行為活動中產生了大量的資料。

通過IBM瞭解到，我們每天大約建立2.5 quintillion（1 000 0003）位元組的資料，而在過去兩年建立了總數據量的90%，同時資料體積以指數的方式增加。 隨著公司資料捕獲能力的增強、多媒體變得流行、社交媒體會話的增加以及使用互聯網做更多的事情，資料的體積也不可思議的速度激增。

大資料究竟有多複雜

大資料是複雜的。 之所以複雜因為資料的多樣性，其中包括結構化資料和非結構化資料。 大資料的複雜還在於交付和使用的速度，比如「即時」。 並且，大資料的複雜還在於資料的體積。 以前家用存儲說的是MB和GB，現在講的已經是TB了，而企業早已跨入PB單元。

大資料超市

大資料增加了資訊管理業務的需求，比如Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC和HP已經支付150億美元給專門從事資料管理和分析的軟體公司。 在2010年，這個產業自身的價值已經超過1000億美元，並以每年10%的速度增長著——比整個軟體業務快2倍。

發達經濟體讓大資料密集型技術得到更廣泛的使用。 世界範圍內，有46億的移動終端在產生資料，有10到20億人在訪問互聯網。 在1990到2005期間，超過10億人進入了中產階級，更多富起來的人同樣導致了資訊的增長。 在1986年，世界電信網路有效的資訊交互能力為281 PB，1993年為471 PB，2000年為2.2 EB，2007年為65EB，而在2013年，預計的通信總量為667 EB。

大資料分析

大資料需求在可容忍時間內對大體積資料進行處理特殊的技術，大資料分析實踐者通常不喜歡共用儲存，更傾向于直接連接存儲（Direct Attached Storage，DAS）， 在並行的內部處理節點中混合使用了高速SSD與高容量SATA磁片。 而當下的共用儲存架構SAN及NAS已被扣上緩慢、複雜及昂貴的頭銜，該類型架構完全不符合現下大資料技術在性能、商用伺服器及低成本上的標準。

即時及近即時的資訊交付已成為大資料分析的界定特徵，盡可能的避免延時同樣成為大資料技術的首要挑戰之一。 資料更希望被存儲在記憶體中，而不是其他終端FC SAN連接的機械硬碟上。 同樣在大資料情景下，SAN模式下對分析應用程式的要求上比其它類型存儲要高得多。

當然，共用存儲在大資料分析情景下也有著自己的優勢，但是自2011年以後，已不為絕大多數大資料實踐者所採納。

大資料挑戰及障礙

鑒於複雜性，大資料處理面臨著一系列挑戰：

1. 在類似文本或視頻的非結構化資料上，我們要如何去理解及使用。

2. 我們該如何在資料產生時捕獲最重要的部分，並即時的將它交付給正確的人。

3. 鑒於當下的資料體積和計算能力，該如何儲存、分析及理解這些資料。

4. 缺乏人才

當下討論最多的問題就是缺乏大資料人才，值得慶倖的是許多教育機構都針對此開設了相應的學術課程。 而我們也看到一些更好的現象，企業和高校合作共同對抗這個人才稀缺問題，這也是最有效的人才培養途徑。

5. 其它一些固有的挑戰，隱私、訪問安全以及部署

通過EIU（Economist Intelligence Unit）與Lyris（數位化行銷軟體供應商）最新的報告「Mind the Digital Marketing Gap」瞭解到，37% 的行銷主管發現大資料解析到決策制定的轉換上存在著非常大的挑戰，而45%認為他們不具備有效的大資料分析能力。

24%的行銷人員表示他們一直在使用大資料技術來發現見解並制定市場策略，儘管其中大多數人只是偶爾使用資料做可行性分析及個人化客戶通信。

其它一些障礙還包括缺乏資金（43%的受訪者）、過於強調數位工具及社交媒體、管道的增多以及人力資源的匱乏（33%左右的受訪者）。

大資料機遇

儘管當下大資料技術的應用上還存在許多的挑戰，但是其中存在的機遇卻遠超過這些挑戰。 大資料成為創新、競爭及生產力提升的絕對利器，我們可以使用大資料回答以前無法解決的問題。 我們可以使用大資料獲得真知和知識，確定趨勢及提高生產力，取得競爭優勢並為世界經濟創造更多的價值。

(責任編輯：蒙遺善)