Hadoop成為大資料關鍵部件

如今，Apache的Hadoop技術在説明企業管理海量資料的過程中變得越來越重要。 包括NASA（美國國家航空航天局）、Twitter和Netflix等使用者對這一開源分散式運算平臺的依賴性越來越大。 Hadoop作為一種處理大資料的機制已經獲得了越來越多的支援。 因為企業電腦系統中的資料量正在快速增長，企業開始嘗試從這些海量資料中獲取派生價值。 由於認識到Hadoop的巨大潛力，更多的使用者在使用現有Hadoop平臺技術的同時，著手研發自有的技術，以對Hadoop堆疊進行補充。

Hadoop的使用現狀

NASA希望Hadoop能夠處理眾多專案中的龐大資料，例如SKA（平方千米陣列）星空圖像。 這些圖像在未來十年內的生成速度將達到700TB/秒。 NASA的高級電腦專家Chris Mattmann表示，包括Hadoop在內的資料系統和Apache OODT（物件導向的資料技術）等技術將用於應對這些海量資料負載。

Twitter的資料專家Oscar Boykin說：「Twitter是Hadoop的大客戶。 所有向使用者提供定制化推薦的相關產品都在一定程度上與Hadoop進行著互動。 」這家公司使用Hadoop的時間已經有四年了，並且研發了Scalding。 Scalding是一款Scala庫，旨在讓編寫Hadoop MapReduce的工作變得更加容易。 該產品建立在Cascading JAVA庫的頂層，這樣做的目的是對Hadoop的複雜性進行概括。

Hadoop的子專案包括MapReduce、HDFS（Hadoop分散式檔案系統）和Common。 MapReduce是用於處理計算集群上大型資料集的軟體框架，HDFS提供了對應用資料的高速訪問，Common則為支援其他Hadoop子專案提供了一些公用程式。

電影租賃服務商Netflix已經開始使用用於建構管理的Hadoop相關技術——Apache ZooKeeper。 Netflix的高級平臺工程師Jordan Zimmerman說：「我們在分散式鎖、部分佇列排列和領導人選舉等所有類型的工作中都使用了這種技術，以優化服務活動。 我們針對ZooKeeper開發了一個開源用戶端，我們稱其為Curator。 這個用戶端作為一個開發者庫與ZooKeeper相連。 」

Tagged的高級資料工程師Rich McKinley則表示，Tagged社交網路正在使用Hadoop技術用於資料分析，處理每天所生成的接近0.5個太位元組的新資料。 Hadoop還正在被用於Greenplum資料庫容量之外的任務中。 目前Tagged仍然在使用Greenplum資料庫。 McKinley說：「我們希望僅通過擴展讓Hadoop做更多的工作。 」

儘管大家都在稱讚Hadoop，但是部分使用者認為仍然有一些問題需要解決。 比方說，Hadoop在可靠性和工作追蹤上的不足。 Tagged的McKinley指出了Hadoop在延時上存在的問題。 「獲得資料的時間應該非常快，然而每個人最大的抱怨就是它進行查詢時的延遲太高。 」 McKinley說。 Tagged目前正在使用另一個Hadoop派生專案Apache Hive進行查詢。 他說：「Hadoop需要花上數分鐘才能給出結果，而Greenplum給出結果只需要幾秒鐘。 但是與Greenplum相比，Hadoop更加便宜。 」

Hadoop 2.0蓄勢待發

Hadoop 1.0在2011年被推出，其擁有通過Kerberos（麻省理工學院開發的安全認證系統）的高強度安全認證，支援HBase資料庫。 對於即將推出的新版本，HortonWorks的CTO Eric Baldeschwieler提供了一個包括2.0版本在內的Hadoop技術發展路線圖。 （HortonWorks公司是Apache Hadoop的主要資助者之一）。

Hadoop 2.0版本在2012年年初進入測試階段。 Baldeschwieler表示：「在這一版本中，MapReduce層進行了部分重寫，所有的存儲邏輯和HDFS均進行了徹底重寫。 」Hadoop 2.0技術改進的重點放在了利用Yarn（下一代MapReduce）和眾多功能進行擴展與創新方面。 Yarn將允許使用者添加自己的計算模型，這樣一來，使用者就不用必須使用MapReduce了。 「我們希望，社區能夠發現更多使用Hadoop的新方法，期待的用法包括即時應用和機器學習演算法。 而可擴充性、插接式存儲也在規劃之中。 」Baldeschwieler說。 據悉，Hadoop 2.0的公佈發行版本本預計將在2012年年內推出。

(責任編輯：蒙遺善)