Flume NG 簡介及配置實戰

標籤：style   blog   http   ar   os   sp   java   檔案   資料   

摘自：http://my.oschina.net/leejun2005/blog/288136

• 1、Flume 的一些核心概念：
• 1.1 資料流模型
• 1.2 高可靠性
• 1.3 可恢複性
• 2、Flume 整體架構介紹
• 2.1 Exec source
• 2.2 Spooling Directory Source
• 3、常用架構、功能配置樣本
• 3.1 先來個簡單的：單節點 Flume 配置
• 3.2 單節點 Flume 直接寫入 HDFS
• 3.3 來一個常見架構：多 agent 匯聚寫入 HDFS
• 3.3.1 在各個webserv日誌機上配置 Flume Client
• 3.3.2 在匯聚節點配置 Flume server
• 4、可能遇到的問題：
• 4.1 OOM 問題：
• 4.2 JDK 版本不相容問題：
• 4.3 小檔案寫入 HDFS 延時的問題
• 4.4 資料重複寫入、丟失問題
• 4.5 tail 斷點續傳的問題：
• 4.6 在 Flume 中如何修改、丟棄、按預定義規則分類儲存資料？
• 5、Refer：

 

複製去Google翻譯翻譯結果2.2後台列印目錄源

Flume NG 簡介及配置實戰