大資料在2012「一飛沖天」,它將會以一種戲劇性的方式改變數據管理的各個方面。 大資料系統已經給機器生成資料管理、連續的ETL、操作型BI、動態資料以及基於雲的資料倉儲都帶來了變化。
隨著大資料發展進入2013年,已經沒有什麼技術能比NoSQL資料庫和Hadoop更活躍了,它們都有著更大的提升空間。 根據MarketAnalysis.com 2012年的一份報告看,單單是Hadoop MapReduce市場,預計複合年增長率將達到58%,在2018年將達到22億美元的規模。
不過,NoSQL和Hadoop的出現主要是為應對非結構化資料,比如文本資料或者web日誌。 就像Apache Hadoop一樣,這些技術通常是從開源發起,然後逐漸成為新的商業產品。
Judith Hurwitz是Hurwitz and Associates公司的總裁兼CEO,她認為大資料架構和大規模並行處理大大改變了資料應用現狀。 她說:「在此之前,即便資料真的對公司很重要,人們也並不是真正有能力獲取海量資料並即時分析。 而現在,原來無法實現的目標已經觸手可及。 」
SQL陣營的逆襲
從2012年開始,關於主流關聯式資料庫將走向沒落的評論就此起彼伏。 觀察者認為,同上文提到的技術相比,SQL 關係資料庫未來幾年在應對大資料時將失去以往的競爭力。
這一趨勢背後的推動力是企業希望以更快的速度獲取更多非結構化資料,這樣才能更加依靠資料驅動做決策。 習以為常的資料處理方式正在經歷變革,以便更好地融入新的技術。
對於那些傳統的關聯式資料庫廠商,過去一年中擁抱大資料以及Hadoop的例子也有很多:
IBM不斷收購一些高級資料分析公司,以擴充大資料產品線。 藍色巨人的努力方向從小的改進(比如,針對DB2 10的NoSQL圖形存儲和InfoSphere Warehouse 10)到顛覆性的PureData一體機,都是為了説明客戶搞定大資料。
甲骨文在2012年初推出了大資料機(Big Data Appliance),又在近期發佈了Oracle NoSQL資料庫2.0版本,該產品已經自動實現重新平衡,新的應用程式設計介面可以處理大物件並與Oracle資料庫有更緊密的集成,還可以支援直接用SQL查詢Oracle NoSQL資料庫記錄。
微軟展示了Hadoop對Windows Azure和Windows Server支援的預覽; Teradata公司發佈了其Aster大資料分析產品;而Informatica公司發佈了PowerCenter套件的大資料版,據說消除了Hadoop手工編碼的需求,它把程式設計任務帶入了Informatica開發環境。
大資料永遠不會存在誰取代誰的問題,SQL雖然在過去一年中遭受了衝擊,但是它並不會走向衰落。 正相反,一些NoSQL和Hadoop方面比較專業的公司也在SQL方面做了許多努力。 一個典型的例子是Hadoop初創公司Cloudera,通過Impala來提升Hadoop與SQL的協作程度。 Impala是一款Hadoop軟體產品,支援標準SQL做互動式查詢。
大資料變革
大資料變革也帶動了資料庫技術的前進,現在我們看到SQL與NoSQL從對立更多地走向了融合。 事實上,在大資料早期的討論中,傳統關聯式資料庫技術是被忽視的。
流媒體資料庫廠商SQLstream的副總裁Ronnie Beggs表示:「在過去的幾年裡,由於大資料的崛起,SQL作為主流技術遭受了一定的衝擊。 大資料更多地和NoSQL聯繫在了一起。 」
他人為在2013年,我們應該會看到明顯的變化。 在最近幾年已經有很多努力在使NoSQL資料庫更好地適應SQL資料庫的風格。
Beggs說:「大資料是不斷變化的,我們接下來這一年會看到的是SQL歸來,它將作為所有大資料平臺的介面。 」
Hadoop、NoSQL和SQL共存的方式,標誌著大資料在成熟度方面邁進了新的一步。 隨著2013年開啟,大資料有可能從一個熱門話題逐漸轉向落地實踐。
Ashland BI研究機構的總裁和創始人Colin White表示:「我認為人們正努力通過大資料的炒作,來真正理解其商業價值。 在2013年,我認為我們將看到人們從大資料獲得商業價值的更好的例子。 這不是關於大資料的問題,而是你用大資料做什麼的問題。 」
雖然對新技術有廣泛的興趣,但不同公司對於接受全面大資料系統的速度也會有所不同。
一位系統集成商在金融行業的活動上向TechTarget記者表示,銀行作為一個領域,只有部分涉足了基本的大資料,而不是全部。 銀行和其它領域只看到了大資料的數量,而沒有留意到它的非結構性。 至少目前還是這樣。
他說:「大資料的含義有兩部分。 第一部分是它們的量很大,第二部分是資料是非結構化的。 銀行明顯屬於第一部分。 但是我們不會去收集tweets這樣的社交資料,至少目前還沒有。 我們還在觀望,看金融資料服務市場的其他使用者如何處理它。 」
(責任編輯:呂光)