flume 1.7 的配置

標籤：convert   ant   eve   可靠   解決   lin   訊息   平台   font   

 Apache Flume是一個分布式的、可靠的、高效的日誌資料收集組件；我們通常使用Flume將分散在叢集中多個Servers的log檔案，彙集到中央式的資料平台中，以解決“從離散的記錄檔中查看、統計資料困難”的問題。當然，Flume不僅僅可以收集log檔案，它也支援比如TCP、UDP等訊息資料的收集；無論如何，我們最終解決的問題就是“將離散的資料進行收集

flume的一些核心概念：
Agent使用JVM 運行Flume。每台機器運行一個agent，但是可以在一個agent中包含多個sources和sinks。
Client生產資料，運行在一個獨立的線程。
Source從Client收集資料，傳遞給Channel。
Sink從Channel收集資料，運行在一個獨立線程。
Channel串連 sources 和 sinks ，這個有點像一個隊列。
Events可以是日誌記錄、 avro 對象等

Flume以agent為最小的獨立運行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大組件構成，如：

二 、flume的官網

http://flume.apache.org/

：   http://flume.apache.org/download.html

三、安裝

1.解壓下載好的包

# >  tar -zxvf apache-flume-1.7.0-bin.tar.gz

2.修改系統內容變數

 # > vim /etc/profile

export FLUME_HOME=/home/bigdata/flume-1.7.0

export PATH=$PATH:$FLUME_HOME/bin:

3.重新整理環境變數

# > source /etc/profile

 4.驗證安裝

# > flume-ng version

會看到以下輸出：

5.修改flume的flume-env.sh 設定檔

# > /home/flume-1.7.0/conf

在檔案中添加

export JAVA_HOME=/home/jdk1.8.0_131/

完成！！！

 

flume 1.7 的配置