解讀2013年大資料應用與趨勢的調研

在互聯網行業，2013年可以說是被公認是具有跨時代意義的「大資料元年」。 在這一年，資料比以往任何時候都要寶貴，甚至成為可以與石油資源相媲美的新能源，大資料被認為是繼資訊化和互聯網後整個資訊革命的又一次高峰。 然而，大資料不是口號，需要更多的企業付諸實踐，從單調的資料中挖掘出潛在價值。

在本年初的一項調查曾指出，28%的全球企業和25%的中國企業已經開始進行大資料實踐。 為了進一步瞭解中國企業大資料應用的真實情況，有關結構展開了一項有關大資料應用與趨勢的專項調查，揭示大資料給企業帶來的挑戰及其解決之道。

此次調查于2013年9月30日正式啟動，歷時一個半月，通過線上線下兩種途徑回收問卷500余份，人群覆蓋資料架構師、資料庫管理和運維工程師、資料庫開發工程師、資料分析師、研發總監和IT經理等技術人員。

一、本次大資料調查的主要結論

1、每月新增資料規模在500G以上的企業由2012年的16.67%，增長到18.11%。 雖然擁有大資料的企業比例有所上升，但與預測中資料增長速度還有很大差距。

2、選用國產大資料產品的企業僅占5.61%，國產廠商若抓住大資料和資訊安全的重大機遇，將迎來成長的春天。

3、企業認為大資料的存儲和處理過程中三個最大的難點是資料安全、系統性能瓶頸和資料類型多樣化。

4、在大資料時代，企業面臨的最大挑戰是缺乏專業的大資料人才。

5、針對非結構化資料，企業目前最迫切需要解決的是如何對這些資料進行分析。

6、當前已經部署大資料的企業達到21.89%，計畫1年內部署的占27.92%，2014年將是大資料部署的高峰期。

7、企業在大資料選型的過程中最先考慮的三個因素是產品的性能、服務與支援水準和與其他應用的相容性。

8、大多數企業選擇大資料產品或解決方案的類型是大資料分析軟體。

9、被調查者最關注的大資料技術，排在前五位的分別是大資料分析、雲資料庫、Hadoop、記憶體資料庫，以及資料安全。

10、被調查者認為在大資料分析中最重要的三個功能，分別是即時分析、豐富的採礦模型和視覺化介面。

二、企業大資料應用現狀

對於如何定義大資料?這是一個仁者見仁、智者見智的問題。 主流的有「3V」模型，即數量(Volume)、速度(Velocity)和種類 (Variety)，還有Gartner的定義，即大資料是超出了常用硬體環境和軟體工具在可接受的時間內為其使用者收集、管理和處理資料的能力。

龐大的資料量無疑是大資料最明顯的一個特徵。 有預測稱，全球資訊量正以每年59%的速度增長。 企業的資料規模是否達到難以承受的程度?在去年的調查中我們就曾對企業每月新增資料規模進行摸底，結果顯示企業的資料規模不斷增大，但還未達到企業無法掌控的程度，每月新增資料規模在500G以上的企業占到 16.67%。

1、企業每月新增資料規模調查

今年的情況又是如何呢?從上圖可以看出，被調查者所在企業每月新增資料規模在10G以下的占到26.79%，11-100G的占到41.89%，101-500G的占到13.21%，500G以上的達到18.11%。

對比去年的結果可以看出，企業每月新增資料規模在500G以上的由2012年的16.67%，增長到2013年的18.11%，同比增長8.64%。 擁有大資料的企業比例有所上升，但與預測中資料增長速度(59%)還有很大差距。

2、企業選用大資料廠商調查

企業更青睞哪家大資料廠商?或許從現有產品的部署情況可以看出端倪。 從上圖可以看出，排在前六位的的廠商分別是IBM(18.74%)、 Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

與2012年的調查資料相比，Oracle從27.93%下降到18.33%，一家獨大的狀況終止，取而代之的是遍地開花，各個廠商所占份額相對平均。 前三位中IBM和SAP份額增長最為迅猛，分別由15.99%和7.66%增長到現在的18.74%和11.35%。

在今年的調查中，新增了國產廠商的選項。 相比國外的幾家IT巨頭，國產廠商的佔有率僅為5.61%。 今年震驚一時的「棱鏡門」事件給公司資訊安全敲響了警鐘，也給國產廠商帶來巨大的機遇和挑戰。 大資料和資訊安全領域的需求激增，國產廠商將迎來成長的春天。

三、企業大資料痛點分析

多年前，企業關注資訊化和互聯網化，近幾年關注更多的是雲計算、移動化和社交化。 馬海祥覺得無論哪種技術趨勢，都給企業的資料處理和分析帶來不少難題。 資料量的激增、資料多樣性和複雜性、資料安全的問題，都成為企業面臨的挑戰。 為了進一步瞭解企業的真實需求，此次調查針對大資料時代的企業痛點進行分析。

1、企業大資料的存儲和處理難點調查

從上圖來看，企業在大資料存儲和處理上的難點分佈比較均勻，所占比例最高的為數據安全(18.98%)，排在第二的是系統性能瓶頸(18.42%),第三位的是資料類型多樣化(18.01%)。 其他還有資料分析效率低(15.24%)、資料讀寫瓶頸(14.96%)和存儲壓力(14.40%)。

選項之間的差距非常小，也說明這六項都被認為是企業資料存儲和處理的難點，其中資料安全是企業最關注的問題。 在大資料環境下，很多企業正在重新思考資訊安全性原則，保護資料資源不被侵犯。

2、企業在大資料時代面臨的挑戰

在大資料時代，企業面臨的挑戰可以從上圖中看出一些端倪。 缺乏專業的大資料人才(26.99%)成為企業面臨的最大挑戰，其次是非結構化資料的分析和處理(26.65%)、傳統技術難以處理大資料(25.27%)以及新技術門檻過高(21.13%)。

大資料相關人才的欠缺將會成為影響大資料超市發展的一個重要因素。 據Gartner預測，到2015年，全球將新增440萬個與大資料相關的工作崗位，且會有25%的組織設立首席資料官職位。 大資料的相關職位需要的是複合型人才，能夠對數學、統計學、資料分析、機器學習和自然語言處理等多方面知識綜合掌控。 未來，大資料將會出現約100萬的人才缺口，需要社會、高校和企業共同努力去培養和挖掘。

3、企業針對非結構化資料的挑戰

面對文本、圖片、視頻等非結構化資料，企業並不擅長處理。 從上圖的調查結果可以看出，企業目前最迫切需要解決的是如何對這些資料進行分析，所占比例達到 38.96%。 其次是與其他資料來源進行集成(32.50%)、如何保存這些資料(14.72%)，以及資料安全問題(13.82%)。

我曾在馬海祥博客的一篇文章中提過資料的核心是發現價值，而駕馭資料的核心是分析。 分析是大資料最關鍵的環節，尤其對於傳統方式難以應對的非結構化資料，人們最先想到是把它們轉化為結構化資料，然後再處理和分析。

與企業對結構化資料安全性的關注不同，非結構化資料的安全問題在企業中缺乏應有的重視。 但據統計，高達80%的商業資料均以非結構化的形式保存。 非結構化資料的安全問題也迫在眉睫，企業需要提前做好預警和規劃。

四、企業大資料選型規劃

毋庸置疑，大資料是2013年最熱門的話題。 熱鬧之余，馬海祥覺得我們更應該去冷靜的思考一下，企業是否需要部署大資料、需要部署哪種類型的大資料，以及如何選擇適合的解決方案，需要做一個有針對性的選型規劃。

根據今年的一項調查顯示，全球企業軟體支出近300億美元，相比2012年增長6.4%，預計2014年企業支出將向大資料傾斜，尤其在企業內容管理、資料整合和資料品質工具三個方面。

1、部署大資料應用規劃調查

從國內企業大資料應用的現狀和規劃來看，情況有什麼不同呢?通過上圖可以看出，目前已經部署大資料應用的企業所占比例達到21.89%，計畫1年內部署的企業占27.92%，計畫2年內部署的企業占14.34%， 沒有相關計畫和不確定的企業分別占11.32%和24.53%。

大資料時代，企業已經逐漸意識到資料的重要性，也慢慢開始接受從傳統資料庫到大資料分析的轉變。 但是大資料最大的難點就是落地，需要與業務需求相結合，選擇一套合適的大資料解決方案。

2、大資料選型影響因素調查

從上圖可以看出，企業在大資料選型的過程中最先考慮的三個因素是產品的性能(19.79%)、服務與支援(15.20%)和相容不同應用 (13.94%)。 其次是產品的價格(13.16%)、產品的易用性(12.18%)、支援移動化(11.11%)、所屬廠商及品牌(7.80%)，以及是否開源(6.82%)。

產品的性能排在第一位是毋庸置疑的。 排名在產品價格前面的服務與支援，卻似乎印證了IT廠商向服務提供者轉型道路的正確性。 另外，隨著移動化的不斷深入，支援移動版的大資料解決方案，將成為未來趨勢。

3、大資料產品或解決方案類型調查

除了產品選型時考慮的因素，企業選擇什麼類型的大資料產品或解決方案更適合自己呢?從上圖可以看出，選擇大資料分析軟體的企業占32.05%、選擇大資料整體解決方案的占28.96%，選擇基礎架構產品的占28.38%， 最少選擇的是大資料一體機，所占比例達到10.62%。

除了前文所述的大資料分析的重要性之外，我們還可以看到大資料一體機沒有想像中那麼受歡迎。 據馬海祥博客上的業內人士透露，大資料一體機往往針對某一業務流程設計，缺乏普適性，且價格昂貴，不是一般企業能夠接受的。 所以目前的大資料一體機往往針對成熟的業務流程，能極大的簡化部署和維護工作。

五、企業大資料應用趨勢

在很長的一段時間中，只要一提到大資料，人們的腦海中總會浮現出Hadoop，它幾乎成為大資料的代名詞。 但其實大資料的技術領域很廣，涉及資料獲取、整合、治理、分析、探索、汲取智慧的方方面面。

1、大資料技術趨勢調查

從上圖可以看出，被調查者最關注的大資料技術中，排在前五位的分別是大資料分析(12.91%)、雲資料庫(11.82%)、 Hadoop(11.73%)、記憶體資料庫(11.64%)，以及資料安全(9.21%)。 其次是NoSQL(8.21%)、資料倉儲(8.21%)、資料整合(7.94%)、商業智慧(7.13%)、列式資料庫(5.96%)、大資料(資料庫)一體機(3.52%)，以及NewSQL(1.71%)。

令人欣慰的是，Hadoop已不再是人們心目中僅有的大資料技術，而大資料分析成為最被關注的技術。 從中可以看出，人們對大資料的瞭解已經逐漸深入，關注的技術點也越來越多。

2、大資料分析功能調查

既然大資料分析是最被關注的技術趨勢，那麼大資料分析中的哪項功能是最重要的呢?從上圖可以看出，排在前三位的功能分別是即時分析(21.32%)、豐富的採礦模型(17.97%)和視覺化介面(15.91%)。 其次是預測分析(13.10%)、社交資料分析(12.12%)、雲端服務(11.69%)，以及移動BI(7.90%)。

我們在2012年也曾做過類似的調查，當時選擇豐富的採礦模型(27.22%)比即時分析(19.88%)多7.34%。 短短一年時間內，企業對即時分析的需求激增，成就了很多以即時分析為創新技術的大資料廠商。

馬海祥博客點評：

本調查針對2013年大資料應用現狀和趨勢展開，從調查結果可以看出，企業在未來一兩年中有迫切部署大資料的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大資料分析和整體大資料解決方案的需求。 與此同時，大資料還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養資料領域的複合型人才，説明企業打贏這場「資料戰」。

　　本文為馬海祥博客原創文章，如想轉載，請注明原文網址摘自于HTTP://www.mahaixiang.cn/sjfx/367.html，注明出處;否則，禁止轉載;謝謝配合!