大資料核心技術

標籤：

    Common：在2.2.0以前的大多數版本中，包含HDFS、MapReduce和其他項目公用內容，從2.2.0開始HDFS和MapReduce被分離為獨立的子項目，其餘內容為Hadoop Common。
    Avro：新的資料序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。
    MapReduce：並行計算架構，0.20前使用org.apache.hadoop.mapred舊介面，2.2.0版本開始引入org.apache.hadoop.mapreduce的新API。
    HDFS：HadoopDistributed File System(Hadoop Distributed FileSystem)。
    Pig：巨量資料分析平台，為使用者提供多種介面。
    Hive：資料倉儲工具，由Facebook貢獻。
    Hbase：類似Google BigTable的分布式NoSQL列資料庫。(HBase和Avro已經於2010年5月成為頂級Apache項目)。
    ZooKeeper：分布式鎖設施，提供類似Google Chubby的功能，由Facebook貢獻。
   Sqoop：Sqoop是一個用來將Hadoop和關係型資料庫中的資料相互轉移的工具，可以將一個關係型資料庫(例如：MySQL, Oracle, Postgres等)中的資料匯入到Hadoop的HDFS中，也可以將HDFS的資料匯入到關係型資料庫中。
   Oozie：負責MapReduce作業調度。

大資料核心技術