flume實戰應用解析

標籤：it

業務背景:

  將java項目產生的記錄檔分門別類的輸出給flume

第一步:

 將日誌輸出到flume中,在java程式中編寫log4j,並指定輸出到哪個flume伺服器中

log4j.rootLogger=INFO,flumelog4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.Hostname=192.168.13.132log4j.appender.flume.Port=41414

第二步:

import java.util.Date;import org.apache.log4j.Logger;public class flume {public static final Logger logger = Logger.getLogger(flume.class);public static void main(String[] args) throws Exception { while(true) { logger.info(String.valueOf(new Date().getTime())); Thread.sleep(2000);}}}

第三步:

參考

案例15:avro 負載平衡的方式動態擷取檔案中內容啟動132和133,也可以指定優先順序,參照案例17:avro 負載平衡加優先順序配置

比如將三種不同日誌分別產生到不同的伺服器上比如 132產生的是access 133產生的是ugcheader 就可以了

log4j.rootLogger=INFO,access ,ugcheader log4j.appender.access =org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.access .Hostname=192.168.13.132log4j.appender.access .Port=41414

log4j.rootLogger=INFO,access ,ugcheader log4j.appender.ugcheader =org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.ugcheader .Hostname=192.168.13.133log4j.appender.ugcheader .Port=41414

flume實戰應用解析