大資料玩家們對2013年趨勢的預測

本文來自ZDnet的記者Adrew Brust的博客文章。 主要陳述大資料業內人士對2013年發展的預測和作者自己的一些觀點。

在大資料領域，雖然對技術產業的預測是不可缺少的，但是Adrew對宣傳一個具體公司的計畫明顯缺乏興趣，而且許多業內公司都把他們明年的計畫發給了Adrew，所以他認為：如果能把這些2013年的預測整合一下，再融入自己的觀點， 將是一件非常有意思的事情。

▲圖：Big Data將會在2013發展到哪個階段?

Hadoop的2013

首先從Hadoop說起。 做為大資料領域的代表技術，許多企業都把明年的計畫聚焦在Hadoop之上。 MapR的執行總監John Schroeder預測，「使用者對Hadoop的優化將更注重硬體」。 同時，Pervasive Software的技術總監Mike Hoskins也指出，「對企業友好的Hadoop技術市場將達到前所未有的高峰」。

Adrew認為這兩個預測都會發生，從整體上說，不僅是Hadoop本身本會得到迅猛的發展，同時Hadoop在多個資料中心中的配置和無縫集成技術也將成為熱門。 或許因為于此，MapR的Schroeder會說，「Hadoop的專業知識正在飛速增長，但是這方面優秀的人才仍然很缺乏」，他還預測，「基於SQL的Hadoop工具將會得到持續發展」。 對於後面的這個預測我們沒法提出反對的意見，因為僅僅在過去的一個季度裡，這樣的工具就取得了巨大的發展，並且目前的發展勢頭也有減弱。

然而並不是所有的觀點都一致。 Rainstor自己就有基於SQL-Hadoop的混合產品，它預測一旦當企業需要對大資料進行管理，在明年將會尋找新技術，而不僅僅局限于Hadoop，這就和Pervasive的預測形成了強烈的對比，「 MapR將佔領傳統資料倉儲的市場，Hadoop將會成為大資料分析的不二選擇」。

Hadoop上層

過去Hadoop已經給我們帶來了許多微妙的預測。 Rainstor預測，「企業的大資料熱情將從底層研究中釋放出來，他們會更多地關注一系列清晰的業務和技術。 」MapR預測，「開源(增加收入)的應用將勝過節流應用」。 其他公司的預測基本上都認為，明年的使用者將會轉移到成熟的更高層次的大資料模型之上。

雖然他們是對的，但是從底層中轉移出來並不容易，其中還有許多問題尚未解決。 許多預測師似乎都有同感，普遍的說法是，Data Quality將會繼續成為企業的燙手山芋」。 Progress DataDirect的專家預測，「企業將會被他們自己的資料淹沒，同時分散的資料也會帶來新的麻煩。 」這些預測似乎有點危言聳聽，但是在商務智慧的世界裡，這些預測已經不新鮮了。 如果說大資料的世界能避免這些問題，那恐怕只會是一場美好願景下的炒作。 一旦這些炒作過去，那些問題就會凸顯，使你無法逃避。

資料分析和虛擬化

業界人士發給Adrew預測的並不只有Rainstor, Pervasive, MapR 和 Progress DataDirect。 Adrew同樣收到了關注市場分析的BlueKai和iOS資料虛擬的供應商Roambi的預測。 他們的預測都是基於自己的服務，普遍涉及了使用者這個主題，指出他們必然會遇到更多、更複雜的問題。

例如Roambi提到，「有一半的業務資料沒法利用到，這影響到了決策和預測的準確性」。 BlueKai的執行總監Omar Tawakol指出，「有遠見的品牌會重新評估他們的代理，基於最大化利用交叉頻道聽眾的資料能力，去測量資料利用率和ROI。 」

降低複雜度

大資料技術的落地將會有兩個特點：一個是對MapReduce依賴越來越少，另外一個是會把Hadoop技術深入的應用到企業的軟體架構中。

對於第一個特點，Adrew指的是像Cloudera的Impala和微軟的PolyBase這樣的軟體會得到充分發展，他們繞開了MapReduce，直接對存在HDFS中的資料進行處理。 MapR預測基於SQL的工具將和上面的軟體一起繼續發展，Pervasive預測，「YARN正在改變Hadoop的遊戲規則，它不僅允許在Hadoop上運行MapReduce應用，同時還允許其他類型的應用在其上面部署。 」

對於第二個特點，大規模的使用Hadoop是個必然趨勢，漸漸的就會形成行業的標準，進而成為更有價值的軟體基礎，而不僅是自己內部使用。 因此，Adrew認為我們會看到更多集成了Hadoop功能的商務智慧和智慧分析工具，這樣我們對Hadoop專家的依賴就會逐漸降下來。

拭目以待

這些預言中哪些會成為現實，讓我們一起拭目以待。