大資料技術的發展背景

對大企業而言，大資料的興起部分是因為計算能力可用更低的成本獲得，且各類系統如今已能夠執行多工處理。 其次，記憶體的成本也在直線下降，企業可以在記憶體中處理比以往更多的資料。 還有就是把電腦聚合成伺服器集群越來越簡單。 IDC的資料庫管理分析師Carl Olofson認為，這三大因素的結合便催生了大資料。

「我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，」他說。 「過去有些大型超級電腦就曾涉足過繁重的多處理系統，一起構建成緊密聚合的集群，但由於都是專門設計的硬體，所以其成本動輒數十萬甚至數百萬美元。 而現在，我們利用普通的商品化硬體也能獲得同樣的計算能力。 這便説明我們能夠更快、更便宜地處理更多的資料。 」

當然，並非所有擁有龐大資料倉儲的企業都可以說他們正在使用大資料技術。 IDC認為，某項技術要想成為大資料技術，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個「V」判據中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

多樣性是指，資料應包含結構化的和非結構化的資料。 體量是指聚合在一起供分析的資料量必須是非常龐大的。 而速度則是指資料處理的速度必須很快。 Olofson說，大資料「並非總是說有數百個TB才算得上。 根據實際使用方式，有時候數百個GB的資料也可稱為大資料，這主要要看它的第三個維度，也就是速度或者時間維度。 假如我能在1秒之內分析處理300GB的資料，而通常情況下卻需要花費1個小時的話，那麼這種巨大變化所帶來的結果就會增加極大的價值。 所謂大資料技術，就是至少實現這三個判據中的兩個的可承受得起的一種應用。 」

與開源之關係

「很多人都認為，Hadoop和大資料是同義字。 但這是個錯誤，」Olofson解釋說。 例如Teradata、MySQL和一些「聰明的集群技術」的實施案例都沒有使用Hadoop，但也被認為是大資料的實施案例。

作為大資料的一種應用環境，Hadoop之所以能夠引起人們的注意，是因為它是基於MapReduce環境的，這是超算圈裡很常用的一種簡化環境，主要是由谷歌所創建的一個專案。 Hadoop是和各種Apache專案密切相關的混合實施環境，其中包含了在MapReduce環境下所創建的HBase資料庫。

軟體發展人員一般會用一切利用到Hadoop以及相似的高級技術的手段來回應——而這些技術很多都是在開源社區裡開發的。 「他們創建了一個令人眼花繚亂、變化多端的東西，即所謂的NoSQL資料庫，該資料庫的鍵值多數都已利用了各種技術在處理能力、多樣化，或者資料庫規模上做了優化的，」Olofson說。

開源技術一般是沒有商業支援的，「所以這些東西還必須讓其進化一段時間，逐漸剔除各種缺陷，而這一般需要數年的時間。 這就是說，羽毛未豐的大資料技術目前還無法在普通市場上普及。 」與此同時，IDC預計至少有三家商業廠商會在年底之前對Hadoop提供某種類型的支援服務。 還有其他一些廠商，如Datameer等，也會提供帶有Hadoop元件的分析工具，允許企業開發他們自己的應用。 例如Cloudera和Tableau等已經在其產品中用到了Hadoop。

升級關聯式資料庫

行業觀察家們一般都贊成在升級關係資料庫管理系統(RDBMS)時也要考慮大資料技術。 Olofson說，「大資料技術適用于速度更快、規模更大、成本更低廉的場合。 」比如Teradata就把它的系統做得成本更低廉、具備可擴充性和集群環境。

然而還有些人則不這麼認為。 Gartner的資料管理分析師Marcus Collins說，「通常在使用RDBMS時，都要用到BI工具，但這種處理流程並非真的大資料。 這種流程由來已久。 」

(責任編輯：蒙遺善)