有關Hadoop的六大誤解

迄今為止，Hadoop和大資料實際上是同義字。 然而隨著大資料的炒作不斷升溫，出現了很多對Hadoop如何應用於大資料的誤解。


　　Hadoop是一種用於存儲和分析大型資料集開源軟體框架，可處理分佈在多個現有伺服器中的資料。 Hadoop適合處理來自手機、電子郵件、社交媒體、感應器網路和其它不同管道的多樣化、大負荷的資料，因此通常被認為是一種大資料作業系統。 而這正是第一個誤解的來源：


　　1、Hadoop是一個完整的解決方案。


　　事實並非如此。 無論你把它稱為「框架」或「平臺」都可以，只是不能認為Hadoop可以解決大資料方面的所有問題。


　　「市場上沒有標準的Hadoop產品，」《太大而無法忽略：大資料的商業案例》一書的作者菲爾·西蒙說：「這不像別的東西，你可以從IBM或SAP那裡，得到一個標準的資料庫。 」


　　然而西蒙不認為這是一個長期的問題。 首先，由於Hadoop是開源專案，許多其他Hadoop相關的專案，如Cassandra和HTTP://www.aliyun.com/zixun/aggregation/13713.html">HBase， 都可以滿足特定的需求。 HBase提供的分散式資料庫，支援大資料表的結構化資料存儲。


　　此外，正像紅帽、IBM和其他廠商將Linux打包成各種方便使用的產品一樣，有很多大資料方面的創業公司，正在對Hadoop做同樣的事情。 所以，雖然Hadoop本身不是一個完整的解決方案，大多數企業實際上還是會在比較完整的大資料解決方案中遇到它。


　　2、Hadoop是一種資料庫。


　　Hadoop是經常被當作資料庫，但事實並非如此。 Damballa安保公司的一名軟體工程師，Marshall Bockrath-Vandegrift說：「Hadoop核心中沒有任何類似于查詢或索引的核心平臺。 」Damballa公司利用Hadoop來分析即時的安全風險。


「我們使用HBase來説明我們的風險分析師針對被動DNS資料運行即時查詢。 HBase和其他即時技術不僅與Hadoop是互補的，而且多數依賴Hadoop核心的分散式存儲技術(HDFS)來實現高性能的分散式資料集的訪問。 」他補充說。


　　Bloom Reach資料行銷分析公司的科學家Prateek Gupta也表示：「Hadoop不是為替代資料庫系統而生的，但卻可以用來建立資料庫系統。 」


　　3、企業級Hadoop應用過於冒險。


　　許多企業擔心Hadoop太新，未經考驗，不適合企業級應用。 沒有什麼想法比這更錯誤的了。 別忘了，Hadoop是基於谷歌檔案系統的分散式存儲平臺和運行于該檔案系統上的GoogleMapReduce資料分析工具建立的。 雅虎在Hadoop上投入了資金和精力，並于2008年推出其第一個大型Hadoop應用，一種搜索「網站地圖」，可對所有已知的網頁和相應的中繼資料進行索引，從而完成對這些頁面的搜索。


　　現在，Hadoop被包括Netflix、Twitter和eBay等公司所採用，包括微軟、IBM和甲骨文這樣的公司都有Hadoop工具出售。 目前，將Hadoop稱為「成熟」的技術還為時尚早，這一點與任何大資料平臺的情況類似，然而它確實已經得到了大型企業的採納和驗證。


　　這不意味著它是一種沒有風險的平臺，安全問題本身就是一個比較棘手的問題。 但企業遠不該就因此被Hadoop平臺的年輕而嚇跑。


　　4、要使用Hadoop，就得請一堆程式師。


　　取決於你要做的事情，這個說法或許是對的。 如果你計畫開發優秀的下一代Hadoop大資料套件，可能需要專業的JAVA和MapReduce程式設計人員。 反過來，如果你願意利用他人的成就，程式設計就不是一個問題。 資料整合供應商Syncsort的建議分析師們利用Hadoop相容的資料整合工具來運行高級查詢，這樣做無需任何編碼工作。


大多數資料整合工具都有圖形化介面，可以遮罩MapReduce程式設計的複雜性，很多還帶有預置的範本。 此外，包括Alpine Data Labs、Continuuity和Hortonworks在內的創業型公司，還提供可以簡化大資料和Hadoop應用的工具。


　　5、Hadoop不適合中小企業。


　　許多中小企業擔心會被「大資料」的趨勢拒之門外。 IBM、甲骨文等大型廠商自然傾向于兜售大而昂貴的解決方案。 這並不意味著市場上沒有適合中小企業的相關工具。


　　雲計算正在迅速推動一些尖端技術的大眾化應用。 「雲計算正將資本支出轉化為運營成本，」《大資料》的作者菲爾·西蒙指出。 「你可以和Netflix利用相同的雲服務。 同樣的事情也開始發生在大資料領域，一個只有五個員工的企業，照樣可以使用Kaggle。 」


　　Kaggle稱自己為「在資料問題和資料方案間搭建橋樑的市場。 」例如，創業公司Jetpac以5000美元懸賞一種演算法，以找出最有吸引力的度假照片。 多數度假照並不好，而從中篩選是一個繁瑣，耗時的過程。


　　Jetpac讓人手工評選出了30000張照片，並且尋求一種能夠與人工方式類似，只是通過分析中繼資料(照片大小、標題，描述資訊)來進行排序的演算法。 如果該公司自行開發這一演算法，花的錢絕對不止5000美元。 而且他們只能得到一種方案，而不是從各種方案中優選。 Jetpac的影像處理工具，最終説明其獲得了240萬美元的風投資金。


　　6、Hadoop比較便宜。


　　這個誤解對任何開放原始碼的軟體都適用。 省下最初的採購成本，並不意味著你一定會省錢。 例如，雲計算的問題之一就是，要在亞馬遜平臺上建立一個科研專案非常容易，以致于很多人都在AWS建立了自己的專案，在持續付費的同時，卻忘了這些專案本身。


　　虛擬伺服器的盲目擴張，已經使物理伺服器的增加相形見絀。 雖然Hadoop可以説明你存儲和分析資料，但你又如何將老的資料導入到新的系統中?如何實現資料的視覺化?如何分享資料?對於這些會更多被大家分享的資料，你又如何去保護它?


　　Hadoop實際上一種東拼西湊的解決方案。 你可以從Cloudera這樣的公司獲得完整的企業級解決方案，也可以著手建立自己高度定制化的解決方案。 無論你選擇的路線如何，都要認真做好預算，因為免費軟體從來都不是真正免費的。