Flume 學習筆記之 Flume NG概述及單節點安裝

標籤：type   ati   which   不同的   適用於   接受   event   config   ext   

Flume NG概述：

Flume NG是一個分布式，高可用，可靠的系統，它能將不同的海量資料收集，移動並儲存到一個資料存放區系統中。輕量，配置簡單，適用於各種日誌收集，並支援 Failover和負載平衡。其中Agent包含Source，Channel和 Sink，三者組建了一個Agent。三者的職責如下所示：

 

• Source：用來消費（收集）資料來源到Channel組件中
• Channel：中轉臨時儲存，儲存所有Source組件資訊
• Sink：從Channel中讀取，讀取成功後會刪除Channel中的資訊

 

 

單節點安裝：

• 下載 tar：
• 解壓：

　　　　 tar -zxvf apache-flume-1.7.0-bin.tar.gz

• 設定環境變數：

export FLUME_HOME=/usr/local/flume

export PATH=$PATH:$FLUME_HOME/bin

 

• 修改flume-env.sh：

export JAVA_HOME=/usr/java/jdk1.7.0_80

• 測試是否安裝成功：

• 修改設定檔：

a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.channels = c1a1.sources.r1.command = tail -F /home/sky/flume/log_exec_tail# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1

• 啟動Agent：

flume-ng agent -c conf -f /usr/local/flume/conf/exec_tail.conf -n a1 -Dflume.root.logger=INFO,console

• 測試Flume是否可以接受到日誌更新：

 

 

 

測試成功！

Flume 學習筆記之 Flume NG概述及單節點安裝