IDC周震剛：中國大資料超市的十大預測

2012年7月24日，主題為「芯動大資料 智領大機遇」的英特爾大資料論壇在北京舉行。 會上，IDC中國企業級系統與軟體研究部高級研究經理周震剛分享了大資料超市的觀察。

IDC中國企業級系統與軟體研究部高級研究經理周震剛

周震剛表示，IDC一直把大資料、雲和移動以及社交這四個主題當做未來IT的主要方向。 IDC在大資料方面已經做了大概三四年的研究，IDC中國從去年開始對大資料超市做了深入研究。

什麼是大資料？ ——四個「V」

周震剛介紹道，IDC對大資料的定義是四個「V」：高容量的資料、資料類型多樣化、持續性不斷刷新的資料，以及為使用者帶來最終的價值。

大資料的IT市場包括四個層面

周震剛表示，IDC認為大資料的整個IT市場主要包括了四個層面：

第一個層面是IT基礎架構層面，包括伺服器、存儲、網路、I/O等等方面的硬體的設施以及相關的基礎架構軟體；

第二個層面，上層資料的組織和管理；

第三個層面，更上層對資料的組織；

第四個層面，更上層的分析和挖掘的市場，包括對最終使用者提供的最上層的決策的支援，資料展現的市場。

這四個層面是大資料IT市場完全包含的四個方面。 大資料超市到底有多大？ IDC有一個未來的預測，我們看到2010年全球大資料以及相關的硬體、軟體和服務市場，大概是30億美元以上的市場，而我們在2015年整個市場將超過170億美元，平均增長速度每年超過50%， 這裡面我們也給出了IDC的具體大資料的定義。 我們看來大資料不僅僅是在資料分析領域，目前來看已經逐漸開始影響我們所說的資料中心、移動、包括社交網路等相關其他的主題的市場。 IDC總結了全球以及中國大資料的市場研究，我們提出了在中國大資料未來十個可能成為大資料超市發展的重點方向，所以今天我們主要是為大家分享IDC在中國大資料超市的十大預測。

在對大資料的IT市場結構進行了剖析之後，周震剛分享了IDC對於大資料超市的十大預測：

第一個預測，未來兩三年當中，Hadoop會有一個很明顯的商業化的過程。 可以拿一頭大象比較一下另外一個很熟悉的動物小企鵝，Linux市場和Hadoop市場是非常相似的發展過程。 大概十幾年前，90年代初，當Linux專案剛剛開始的時候經歷了幾個過程，從專案開始到Linux社區的成立，總共經歷了大約三四年的時間，而我們看到Hadoop專案2006年提出到現在，基本上的確立也是在三四年時間。 Linux的生態環境的形成，主流的商業方案基本是在2000年左右，我們可以預測這頭大象可能會和企鵝跑得一樣快甚至更快，我們看到2010年到2011年之間Hadoop的生態環境已經形成， 很可能在2013年甚至在今年就會形成非常主流的Hadoop的商業化的打包產品不斷地推向市場。

第二個預測，Hadoop發展非常快的前提之下，很早期的Hadoop專案也面臨著種種挑戰，這頭大象在跑的過程中也遇到一些障礙，值得我們在未來關注。 首先看這頭大象初始的時候是不是完全為了驗證概念或者完全做試驗開發的專案，如果有比較明確的行業應用目的，可以說這個專案在未來有比較好的發展，有一些完全屬於驗證概念的專案就會受到一些挑戰。 專案實施初期是不是使用了一些關鍵案例，可以讓專案繼續推廣。 再就是專案開發是否是適合用Hadoop的環境，而不是針對傳統的資料庫就可以解決的市場，非要用Hadoop來實現，反而是背道而馳。 如果說這三個方向都能夠非常適合，那麼Hadoop專案可能會繼續走下去。 但是有一些早期專案可能會被優勝劣汰，留下來都是精華的Hadoop專案。

第三個預測，說Hadoop是完全開源的市場，開源的市場很可能只是一個完全免費的市場，難以給廠商帶來更多的機會，這些廠商不會投入很大的力量在這方面，因為它拿不到什麼績效。 既然我們所有的水都是免費，為什麼還要買瓶裝水呢？ 這完全可以告訴大家，和免費競爭並不是不可能的，另外在免費的市場帶來的機會，絕不僅僅是免費的一小塊市場。 Linux市場在過去幾年間，圖中藍色是Linux純作業系統的市場，它的增長速度每年百分之十幾，但是它帶來的基礎架構軟體、系統管理軟體、開發應用軟體，比如說資料庫、開發工具以及應用套裝軟體括Linux伺服器硬體的增長， 未來幾年增長了幾倍之多，所以應該說開源軟體的發展其實會給很多相關市場帶來更多的機會。

第四個預測，大資料會帶來更多的軟體公司之間的收購。 大資料軟體市場的生態系統有很多類型的軟體廠商，包括傳統的關聯資料庫廠商，以及多維展現做分析的軟體廠商，對Hadoop分析包括管理，包括Hadoop應有的廠商這裡面有很多我們熟悉的公司，也有很多不熟悉的小公司， 後面這些我們不太熟悉的公司很可能在未來被大公司所並購。 我們看到這個市場沒有一個公司能夠覆蓋整個市場規模，所以未來幾年將會看到很多收購，尤其是前端的展現，最終能夠提供給最終客戶的廠商，將會有很多並購發生。

第五個預測，在Appliance的市場，包括傳統的DataWareHouse的時候，還有NoSQLAppliance，未來有兩個方向，一是更為開放的架構，通過開放的架構減低自己的成本， 另外也有很多企業級的廠商會採購很多打包的產品，實現它的功能，這種Appliance Server實際上就是未來的趨勢之一。

第六個預測，大資料將在未來一兩年從我們看到的傳統的互聯網和電信方面的應用，現在看到大資料都集中在互聯網，現在看到聯通、電信也在著手做很多大資料的開發，未來幾年我們將會看到這個大象逐漸向更多行業發展。 比如說政府，我們看到一些智慧城市的專案中已經有了實施，大資料如果能夠在政府的應用更廣泛，可能上週末的暴雨就有更及時的分析和預測，我們也不會遭受那麼大的損失。 另外能源方面的模擬的分析和應用，來尋找能源挖掘的地點，也將碰到大資料的一些應用。 另外，製造業上下游的產業鏈，以及金融業的金融分析和預測，都是大資料未來會走向更深入行業的趨勢。 所以說未來幾年，使用者將瞭解大資料，將不僅僅是處理網路相關的屬性，而是說行業方面的，對資料流程的監測和分析將有更多的需求。

第七個預測，大資料創造新的市場區隔。 我們原來一直講雲計算時代，未來可能會有DataService，其實IDC也是做這個工作，把資料當做服務提供，未來可能有一些專業的資料帶來來做一些工作，使用者開始把資料創造出來以後，交給我，我有一個分析平臺和專業知識， 説明你分析資料背後的資訊，然後再把結果返回給你，我們可能會出現資料代理。 在資料未來多種多樣的情況下，可能有些統一的資訊訪問平臺的市場區隔，這個市場區隔用來把大資料做統一管理和分析元件。 此外還有一些市場，比如說社交方面，社交將從傳統的SocialMedia到Socialytic，也就是說基於社交分析更多會和企業內部的管理系統結合形成真正的無縫的社交分析。 大資料超市現在相關人才還非常短缺，未來幾年大資料超市一定有更多的培訓市場機會，甚至高校會開展資料分析的課程，會有專門的資料分析工程師的出現。 當然還有可能有些市場是我們根本沒有想到的。

第八個預測，打包的大資料行業分析應用出現。 從傳統概念來講，大資料太複雜了，無法形成打包好的分析應用，但是在未來幾年中，某一個行業的應用會形成一定的共性，將會有廠商根據行業的分析應用，打包好一些分析的應用，基於大資料的分析應用推廣到行業方面， 這不僅是做資料分析的專長，也需要很多行業方面的專業專長，將會有很多行業的ISV加入到大資料行列中，基於大資料平臺開展他們的開發應用。

第九個預測，大資料推動基礎架構向Scale-out發展。 因為從比較傳統的資料處理方式和大資料的處理方式來講，我們發現在處理結構化和非結構化資料方面，它們的存儲方式不一樣，更多的大資料採用分析存儲的方式更有效率。 在對資料進行處理的時候，因為大資料的類型比較複雜，資料量比較大，可以通過分散式的處理方式把應用複雜分散到分散式系統的各個節點上，而傳統的資料處理將是運算能力非常強、CPU主頻非常高的一台機器來處理， 而不是大資料這種多個節點、多個CPU核數來處理，這代表了大資料時代發展方向從Scale-up轉向Scale-out。

第十個預測，中國成為全球最重要的大資料超市之一。 我們看幾個數位，中國人口數是全球第一，去年中國GDP是全球第二。 另外七千萬台PC的出貨量和九千萬台智慧手機的出貨量，這都是全球第一的出貨量，也就造就了全球第一互聯網使用者數和全球第一的互聯網移動使用者數，創造資料的規模遠遠超過全球其他各個國家，即使一些發達國家，由於沒有這麼多的人口， 沒有這麼多的互聯網和移動互聯網的使用者，所以資料量產生的過程中也難以和我國相比。 我們看到伺服器端、資料中心端，伺服器的出貨量，去年中國126萬台，全球第二。 而存儲方面兩EB大概兩千個PB的規模，只是伺服器端存儲出貨量也是全球第二，所有資料都說明，無論是用戶端還是企業級，中國都是非常重要的市場，這勢必誕生新的模式來讓全球認識中國的重要性。 可以拿一個過去的例子來比較，為什麼大家會看到華為和中興在通信領域獲得了這麼大的成功，並不完全他們的低價衝擊了其他市場，是因為華為和中興有中國人口基數的通訊量，它的交換器能夠適應中國十幾億人的通話量， 所以它的產品在任何一個國家都能獲得成功，而國外的產品未必適合中國大規模的能量。 所以我們可以推到大資料超市，在中國的大量資料處理所產生的解決方案將可以適用其他任何一個國家，其他國家推出的解決方案未必勢必我們國家。 我們也期待在大資料超市中國企業能夠獲得更多的成功。

大資料給市場帶來的將是更廣泛的機會，對於中國來說這個市場是非常有前景的，值得大家重視的一個市場。 另外各行業的客戶和各行業的開發商也應該在大資料超市抓住機會，借助自己的優勢創造更多的價值。

(責任編輯：蒙遺善)