洞悉大資料：Hadoop和雲分析七大誤解

七大誤解：大資料與hadoop

對於Hadoop技術而言，可以說是開源領域的傳奇，然而如今業界還伴隨著一些流言，這些流言可能會導致IT高管們帶著「有色」的觀點去制定策略。

從IDC分析師報告中2013年資料存儲上的增長速度將達到53.4%，AT&T更是聲稱無線資料的流量在過去的5年內增長200倍，從互聯網內容、電子郵件、應用通知、社交消息以及每天接收的消息都在顯著的增長， 這也是眾多大企業都聚焦大資料的原因所在。

毫無疑問，Hadoop成為解決大資料需求的主要投資領域之一，而類似Facebook等互聯網巨頭在都公開的吹捧Hadoop上取得的成功，同樣初入大資料領域的公司也必先著眼于Hadoop。 但對於Hadoop技術而言，是一個多維的解決方案，可以通過不同的方式進行部署和使用。 下面就瞭解一些關於Hadoop和大資料的七大錯誤理念：

1.大資料僅僅是容量

對大資料來說，除了指體積之外，還經常提到Variety（多樣）、Variability（可變）、Velocity（速度）和Value（價值）。 關鍵點在於大資料並不是體積上的增長，更多是未來的即時分析、結構化和非結構化資料的發展，並被企業CIO用於更好的決策。

綜上所述，並不是只有分析大資料才會獲得價值。 舉個例子，存儲和分析1PB的超時限資料的價值可能比不上即時分析1GB的資料，而從「新鮮」的資料上獲得價值比解剖過時的資料更具價值。

2.傳統SQL不能在Hadoop上使用

眾多廠商在Hadoop上投入精力，佈局市場戰略時，十分清楚HDFS和MapReduce受限於處理類似SQL語言的能力，這也是Hive、Pig和Sqoop最終得以推廣的原因。 更多企業通過Hadoop和SQL相容來管理大量的資料，Pivotal HD是結合SQL並行處理資料庫與Hadoop 2.0，針對企業資料分析需求而優化的Hadoop強化版本。

3.Hadoop是唯一的新IT資料平臺

談到資料平臺，大型機在IT投資組合裡有是一個長期投資，與ERP、CRM和SCM這些系統一樣演變至今。 而面對大資料時代，大型機不想被架構遺棄，必須展示在現有IT投資環境中的價值，而許多客戶遇到速度、規模和成本的問題，通過vFabric SQLFire這樣的記憶體大資料網路去解決高速資料存取， 促進大型機批次處理或即時分析報告這些問題。

4.虛擬化會導致性能下降

Hadoop最初的設計只是運行實體伺服器上，然而隨著雲計算發展，許多企業都希望能作為雲資料中心提供服務。 之所以虛擬化Hadoop，企業首先要考慮管理基礎設施的擴充性，認識到擴展計算資源，比如虛擬Hadoop節點在資料和計算分開時會對性能有所説明， 否則如果你關閉某個Hadoop節點將丟失上面的所有資料或者添加一個沒有資料的空節點。

5.Hadoop只可以在資料中心運行

對於在SaaS雲服務解決方案，許多雲服務允許雲端運行Hadoop、SQL，這無疑可以説明企業省下資料中心建造投資的時間和金錢。 特別是對於公有雲情況下，JAVA開發者可以從Spring Data for Hadoop以及一些其它的GitHub用例中獲益。

6.Hadoop對虛擬化無經濟價值

Hadoop對虛擬化無經濟價值

Hadoop被很多人認為，儘管在商用伺服器上運行，添加一個虛擬層在帶來額外支出的同時並不會有額外的價值收益，但其實這個說法並沒有考慮到資料和資料分析事實上都是動態的。 虛擬化基礎設施同樣可以減少物理硬體數量，讓CAPEX（資本支出）直接等於商用硬體成本，而通過自動以及高效利用共用基礎設施同樣可以減少OPEX（運營成本）。

7.Hadoop不能運行在SAN或NAS上

儘管Hadoop在本地磁片上運行，對於中小型集群一樣可以在一個共用的SAN環境下體現良好的性能表現，而高頻寬比如10GB乙太網、PoE以及iSCSI對性能同樣有很好的支援。

　　由此，大資料成為行業追逐的熱點，以上七大有關大資料「誤解」問題的客觀看待。 如同不同專案需求不同，Hadoop是一個工具來説明企業更好的應對大資料問題。 無論是面對資料網格的GemFire 或SQLFire，還是面向消息的RabbitMQ中介軟體，一個完整的SaaS解決方案如今比在Hadoop環境更容易實現。