ELK - 簡談 logstash flume

標籤：logstash flume

現主流的日誌分析系統有 logstash 和 flume，結合好多網上前輩的說法，匯總了一下，希望和大家分享與探討，有不同的想法歡迎留言。

Flume 

Cloudera提供的一個高可用的，高可靠的，分布式的海量日誌採集、彙總和傳輸的系統；

支援定製各類資料發送方，便於收集資料，一般和 kafka 訂閱訊息系統搭配較多；

目前有兩個版本，OG和NG，區別很大，感興趣的可以去研究一下；

特點：

1、側重資料轉送，有內部機制確保不會丟資料，用於重要日誌情境；

2、由java開發，沒有豐富的外掛程式，主要靠二次開發；

3、配置繁瑣，對外暴露監控連接埠有資料。

650) this.width=650;" src="https://s1.51cto.com/wyfs02/M02/8F/B0/wKiom1jp3WvRAZAqAACg0ITYDGM341.png" title="1.png" style="width:400px;height:234px;" alt="wKiom1jp3WvRAZAqAACg0ITYDGM341.png" vspace="0" hspace="0" height="234" border="0" width="400" />

logstash 

elastic.co的一個開源的資料收集引擎，可動態統一不同的資料來源的資料至目的地；

目的處理並收集日誌格式，搭配elasticsearch進行分析，kibana進行頁面展示；

目前最新版本5.3，整合了上述兩個搭檔，參考官網詳解。

特點：

1、內部沒有一個persist queue，異常情況可能會丟失部分資料；

2、由ruby編寫，需要ruby環境，外掛程式很多；

3、偏重資料前期處理，分析方便。

650) this.width=650;" src="https://s5.51cto.com/wyfs02/M00/8F/B0/wKiom1jp5cagErcyAAIGKSN7gaA252.png" title="QQ20170409154059.png" style="width:400px;height:223px;" alt="wKiom1jp5cagErcyAAIGKSN7gaA252.png" vspace="0" hspace="0" height="223" border="0" width="400" />

	flume	logstash
結構上	Source、Channel、Sink	Shipper、Broker、Indexer
簡易程度	很繁瑣，要分別作source、channel、sink的手工配置，而且涉及到複雜的資料擷取環境	簡潔清晰，三個部分的屬性都定義好了，只需選擇就好，而且可以自行開發外掛程式
曆史背景	最初設計的目的是為了把資料傳入HDFS中，側重傳輸(多路由)，重穩定性	側重對資料的預先處理，因為日誌的欄位需要大量的預先處理，為解析做鋪墊
對比	像是散裝的台式機，使用較麻煩，工具繁多，需要根據業務選擇	更像是組裝好的台式機，使用簡單方便，搭配ELK更高效

本文出自 “北冰--Q” 部落格，請務必保留此出處http://beibing.blog.51cto.com/10693373/1914411

ELK - 簡談 logstash flume