大資料倉儲集錦

標籤：開源工具   統計   相關   資料管道   article   spl   map   bsp   app   

大資料目前的主要趨勢（自己理解）檔案系統、部署、各種流和開源工具-------ETL開發（BI項目）----資料統計分析------資料採礦、機器學習                                                                                                                                                 圖片來自 淺析   一、關於kakfa kafka相關       Kafka是由LinkedIn開發的一個分布式的訊息系統，使用Scala編寫，它以可水平擴充和高吞吐率而被廣泛使用。目前越來越多的開源分散式處理系統如Storm，Spark，Flink都支援與Kafka整合。現在我們的資料即時處理平台也使用到了kafka。現在它已被多家不同類型的公司作為多種類型的資料管道和訊息系統使用。 二、spark   Spark 以及 spark streaming 核心原理及實踐 三、Sqoop    sqoop 學習       將匯入或匯出命令翻譯成 MapReduce 程式來實現 在翻譯出的 MapReduce 中主要是對 InputFormat 和 OutputFormat 進行定製.
  四、FLume （部落格） 五、hive與hbase的區別  

大資料倉儲集錦