洞悉大資料：Hadoop和雲分析七大誤解

標籤：style   blog   http   io   os   使用   ar   java   for   

七大誤解：大資料與hadoop

對於Hadoop技術而言，可以說是開源領域的傳奇，然而如今業界還伴隨著一些流言，這些流言可能會導致IT高管們帶著“有色”的觀點去制定策略。

從IDC分析師報告中2013年資料存放區上的增長速度將達到53.4%，AT&T更是聲稱無線資料的流量在過去的5年內增長200倍，從互連網內容、電子郵件、應用通知、社交訊息以及每天接收的訊息都在顯著的增長，這也是眾多大企業都聚焦大資料的原因所在。

毫無疑問，Hadoop成為解決大資料需求的主要投資領域之一，而類似Facebook等互連網巨頭在都公開的吹捧Hadoop上取得的成功，同樣初入大資料領域的公司也必先著眼於Hadoop。但對於Hadoop技術而言，是一個多維的解決方案，可以通過不同的方式進行部署和使用。下面就瞭解一些關於Hadoop和大資料的七大錯誤理念：

　　1.大資料僅僅是容量

對大資料來說，除了指體積之外，還經常提到Variety（多樣）、Variability（可變）、Velocity（速度）和Value（價值）。關鍵點在於大資料並不是體積上的增長，更多是未來的即時分析、結構化和非結構化資料的發展，並被企業CIO用於更好的決策。

綜上所述，並不是只有分析大資料才會獲得價值。舉個例子，儲存和分析1PB的逾時限資料的價值可能比不上即時分析1GB的資料，而從“新鮮”的資料上獲得價值比解剖過時的資料更具價值。

　　2.傳統SQL不能在Hadoop上使用

眾多廠商在Hadoop上投入精力，布局市場戰略時，十分清楚HDFS和MapReduce受限於處理類似SQL語言的能力，這也是Hive、Pig和Sqoop最終得以推廣的原因。更多企業通過Hadoop和SQL相容來管理大量的資料，Pivotal HD是結合SQL平行處理資料庫與Hadoop 2.0，針對企業資料分析需求而最佳化的Hadoop強化版本。

　　3.Hadoop是唯一的新IT資料平台

談到資料平台，大型主機在IT投資組合裡有是一個長期投資，與ERP、CRM和SCM這些系統一樣演變至今。而面對大資料時代，大型主機不想被架構遺棄，必須展示在現有IT投資環境中的價值，而許多客戶遇到速度、規模和成本的問題，通過vFabric SQLFire這樣的記憶體大資料網路去解決高速資料存取，促進大型主機批處理或即時分析報告這些問題。

　　4.虛擬化會導致效能下降

Hadoop最初的設計只是運行實體伺服器上，然而隨著雲端運算發展，許多企業都希望能作為雲資料中心提供服務。之所以虛擬化Hadoop，企業首先要考慮管理基礎設施的擴充性，認識到擴充計算資源，比如虛擬Hadoop節點在資料和計算分開時會對效能有所協助，否則如果你關閉某個Hadoop節點將丟失上面的所有資料或者添加一個沒有資料的空節點。

　5.Hadoop只可以在資料中心運行

對於在SaaS雲端服務解決方案，許多雲端服務允許雲端運行Hadoop、SQL，這無疑可以協助企業省下資料中心建造投資的時間和金錢。特別是對於公用雲端情況下，Java開發人員可以從Spring Data for Hadoop以及一些其它的GitHub用例中獲益。

　　6.Hadoop對虛擬化無經濟價值

Hadoop被很多人認為，儘管在商用伺服器上運行，添加一個虛擬層在帶來額外支出的同時並不會有額外的價值收益，但其實這個說法並沒有考慮到資料和資料分析事實上都是動態。虛擬化基礎設施同樣可以減少物理硬體數量，讓CAPEX（資本支出）直接等於商用硬體成本，而通過自動以及高效利用共用基礎設施同樣可以減少OPEX（運營成本）。

　　7.Hadoop不能運行在SAN或NAS上

儘管Hadoop在本地磁碟上運行，對於中小型叢集一樣可以在一個共用的SAN環境下體現良好的效能表現，而高頻寬比如10GB乙太網路、PoE以及iSCSI對效能同樣有很好的支援。

由此，大資料成為行業追逐的熱點，以上七大有關大資料“誤解”問題的客觀看待。如同不同項目需求不同，Hadoop是一個工具來協助企業更好的應對大資料問題。無論是面對資料格的GemFire 或SQLFire，還是面向訊息的RabbitMQ中介軟體，一個完整的SaaS解決方案如今比在Hadoop環境更容易實現。

洞悉大資料：Hadoop和雲分析七大誤解