基於大資料分析系統Hadoop的13個開源工具

Hadoop是由Apache基金會開發的一個大資料分散式系統基礎架構，最早版本是2003年原Yahoo! DougCutting根據Google發佈的學術論文研究而來。 使用者可以在不了解分散式底層細節的情況下，輕鬆地在Hadoop上開發和運行處理海量資料的應用程式。 低成本、高可靠、高擴展、高有效、高容錯等特性讓Hadoop成為最流行的大資料分析系統，然而其賴以生存的HDFS和MapReduce元件卻讓其一度陷入困境——批次處理的工作方式讓其只適用于離線資料處理， 在要求即時性的場景下毫無用武之地。 因此，各種基於Hadoop的工具應運而生，本次為大家分享Hadoop生態系統中最常用的13個開源工具，其中包括資源調度、流計算及各種業務針對應用場景。 首先，我們看資源管理相關。

資源統一管理/調度系統

在公司和機構中，伺服器往往會因為業務邏輯被拆分為多個集群，基於資料密集型的處理框架也是不斷湧現，比如支援離線處理的MapReduce、支援線上處理的Storm及Impala、支援反覆運算計算的Spark及流處理框架S4， 它們誕生於不同的實驗室，並各有所長。 為了減少管理成本，提升資源的利用率，一個共同的想法產生——讓這些框架運行在同一個集群上;因此，就有了當下眾多的資源統一管理/調度系統，比如Google的Borg、Apache的YARN、Twitter的Mesos( 已貢獻給Apache基金會)、騰訊搜搜的Torca、FacebookCorona(開源)，本次為大家重點介紹ApacheMesos及YARN：

1.ApacheMesos

代碼託管地址：ApacheSVN

Mesos提供了高效、跨分散式應用程式和框架的資源隔離和共用，支援Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一個開源專案，使用ZooKeeper實現容錯複製，使用LinuxContainers來隔離任務，支援多種資源計劃分配(記憶體和CPU)。 提供JAVA、Python和C++APIs來開發新的並行應用程式，提供基於Web的使用者介面來提查看集群狀態。

2.HadoopYARN

代碼託管地址：ApacheSVN

YARN又被稱為MapReduce2.0，借鑒Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供JAVA虛擬機器記憶體的隔離。

對比MapReduce1.x，YARN架構在用戶端上並未做太大的改變，在調用API及介面上還保持大部分的相容，然而在YARN中，開發人員使用ResourceManager、 ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。 其中ResourceManager是一個中心的服務，負責調度、啟動每一個Job所屬的ApplicationMaster，另外還監控ApplicationMaster的存在情況; NodeManager負責Container狀態的維護，並向RM保持心跳。 ApplicationMaster負責一個Job生命週期內的所有工作，類似老的框架中JobTracker。

Hadoop上的即時解決方案

前面我們有說過，在互聯網公司中基於業務邏輯需求，企業往往會採用多種計算框架，比如從事搜索業務的公司：網頁索引建立用MapReduce，自然語言處理用Spark等。 本節為大家分享的則是Storm、Impala、Spark三個框架：

3.ClouderaImpala

代碼託管地址：GitHub

Impala是由Cloudera開發，一個開源的MassivelyParallelProcessing(MPP)查詢引擎。 與Hive相同的中繼資料、SQL語法、ODBC驅動程式和使用者介面(HueBeeswax)，可以直接在HDFS或HBase上提供快速、互動式SQL查詢。 Impala是在Dremel的啟發下開發的，第一個版本發佈于2012年末。

Impala不再使用緩慢的Hive+MapReduce批次處理，而是通過與商用並行關係資料庫中類似的分散式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成)， 可以直接從HDFS或者HBase中用SELECT、JOIN和統計函數查詢資料，從而大大降低了延遲。

4.Spark

代碼託管地址：Apache

Spark是個開源的資料分析集群計算框架，最初由加州大學伯克利分校AMPLab開發，建立于HDFS之上。 Spark與Hadoop一樣，用於構建大規模、低延時的資料分析應用。 Spark採用Scala語言實現，使用Scala作為應用框架。

Spark採用基於記憶體的分散式資料集，優化了反覆運算式的工作負載以及互動式查詢。 與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective物件那樣管理分散式資料集。 Spark支援分散式資料集上的反覆運算式任務，實際上可以在Hadoop檔案系統上與Hadoop一起運行(通過YARN、Mesos等實現)。

5.Storm

代碼託管地址：GitHub

Storm是一個分散式的、容錯的即時計算系統，由BackType開發，後被Twitter捕獲。 Storm屬於流處理平臺，多用於即時計算並更新資料庫。 Storm也可被用於「連續計算」(continuouscomputation)，對資料流程做連續查詢，在計算時就將結果以流的形式輸出給使用者。 它還可被用於「分散式RPC」，以並行的方式運行昂貴的運算。

Hadoop上的其它解決方案

就像前文說，基於業務對即時的需求，各個實驗室發明了Storm、Impala、Spark、Samza等流即時處理工具。 而本節我們將分享的是實驗室基於性能、相容性、資料類型研究的開源解決方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、 ApacheTez、ApacheAmbari。

6.Shark

代碼託管地址：GitHub

Shark，代表了「HiveonSpark」，一個專為Spark打造的大規模資料倉儲系統，相容ApacheHive。 無需修改現有的資料或者查詢，就可以用100倍的速度執行HiveQL。

Shark支援Hive查詢語言、元存儲、序列化格式及自訂函數，與現有Hive部署無縫集成，是一個更快、更強大的替代方案。

7.Phoenix

代碼託管地址：GitHub

Phoenix是構建在ApacheHBase之上的一個SQL中介層，完全使用JAVA編寫，提供了一個用戶端可嵌入的JDBC驅動。 Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBasescan，並編排執行以生成標準的JDBC結果集。 直接使用HBaseAPI、協同處理器與自訂篩檢程式，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒。 Phoenix完全託管在GitHub之上。

Phoenix值得關注的特性包括：1，嵌入式的JDBC驅動，實現了大部分的java.sql介面，包括中繼資料API;2，可以通過多個行鍵或是鍵/值單元對列進行建模;3，DDL支援;4，版本化的模式倉庫;5，DML支援; 5，通過用戶端的批次處理實現的有限的事務支援;6，緊跟ANSISQL標準。

8.ApacheAccumulo

代碼託管地址：ApacheSVN

ApacheAccumulo是一個可靠的、可伸縮的、高性能、排序分散式的鍵值存儲解決方案，基於單元存取控制以及可定制的伺服器端處理。 使用GoogleBigTable設計思路，基於ApacheHadoop、Zookeeper和Thrift構建。 Accumulo最早由NSA開發，後被捐獻給了Apache基金會。

對比GoogleBigTable，Accumulo主要提升在基於單元的訪問及伺服器端的程式設計機制，後一處修改讓Accumulo可以在資料處理過程中任意點修改鍵值對。

9.ApacheDrill

代碼託管地址：GitHub

本質上，ApacheDrill是GoogleDremel的開源實現，本質是一個分散式的mpp查詢層，支援SQL及一些用於NoSQL和Hadoop資料存儲系統上的語言，將有助於Hadoop使用者實現更快查詢海量資料集的目的。 當下Drill還只能算上一個框架，只包含了Drill願景中的初始功能。

Drill的目的在於支援更廣泛的資料來源、資料格式及查詢語言，可以通過對PB位元組資料的快速掃描(大約幾秒內)完成相關分析，將是一個專為互動分析大型資料集的分散式系統。

10.ApacheGiraph

代碼託管地址：GitHub

ApacheGiraph是一個可伸縮的分散式反覆運算圖處理系統，靈感來自BSP(bulksynchronousparallel)和Google的Pregel，與它們區別于則是是開源、基於Hadoop的架構等。

Giraph處理平臺適用于運行大規模的邏輯計算，比如頁面排行、共用連結、基於個人化排行等。 Giraph專注于社交圖計算，被Facebook作為其OpenGraph工具的核心，幾分鐘內處理數萬億次使用者及其行為之間的連接。

11.ApacheHama

代碼託管地址：GitHub

ApacheHama是一個建立在Hadoop上基於BSP(BulkSynchronousParallel)的計算框架，模仿了Google的Pregel。 用來處理大規模的科學計算，特別是矩陣和圖計算。 集群環境中的系統架構由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems) 這3大塊組成。

12.ApacheTez

代碼託管地址：GitHub

ApacheTez是基於HadoopYarn之上的DAG(有向無環圖，DirectedAcyclicGraph)計算框架。 它把Map/Reduce過程拆分成若干個子過程，同時可以把多個Map/Reduce任務組合成一個較大的DAG任務，減少了Map/Reduce之間的檔存儲。 同時合理組合其子過程，減少任務的執行時間。 由Hortonworks開發並提供主要支援。

13.ApacheAmbari

代碼託管地址：ApacheSVN

ApacheAmbari是一個供應、管理和監視ApacheHadoop集群的開源框架，它提供一個直觀的操作工具和一個健壯的HadoopAPI,可以隱藏複雜的Hadoop操作，使集群操作大大簡化， 首個版本發佈于2012年6月。

ApacheAmbari現在是一個Apache的頂級專案，早在2011年8月，Hortonworks引進Ambari作為ApacheIncubator專案，制定了Hadoop集群極致簡單管理的願景。 在兩年多的開發社區顯著成長，從一個小團隊，成長為Hortonworks各種組織的貢獻者。 Ambari使用者群一直在穩步增長，許多機構依靠Ambari在其大型資料中心大規模部署和管理Hadoop集群。

目前ApacheAmbari支援的Hadoop元件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。