Heka配置講解，heka講解

Heka配置講解，heka講解
基於Heka，Elasticsearch和Kibana的分布式後端日誌架構

目前主流的後端日誌都採用的標準的elk模式（Elasticsearch，Logstash，Kinaba），分別負責日誌儲存，收集和日誌可視化。

不過介於我們的記錄檔多樣，分布在各個不同的伺服器，各種不同的日誌，為了日後方便二次開發定製。所以採用了Mozilla仿照Logstash使用golang開源實現的Heka。

整體架構圖

採用Heka，Elasticsearch和Kibana後的整體架構如所示

Heka篇簡介

Heka對日誌的處理流程為輸入 分割 解碼 過濾 編碼 輸出。單個Heka服務內部的資料流了通過Heka定義的Message資料模型在各個模組內進行流轉。

heka內建了常用的大多數模組外掛程式，比如

• 輸入外掛程式有Logstreamer Input可以將記錄檔作為輸入源，

• 解碼外掛程式Nginx Access Log Decoder可以將nginx訪問日誌解碼為標準的索引值對資料交給後邊的模組外掛程式進行處理。

得益於輸入輸出的靈活配置，可以將分散各地的Heka收集到的日誌資料加工後統一輸出到日誌中心的Heka進行統一編碼後交給Elasticsearch儲存。

安裝

源碼安裝的方式較為繁瑣這裡就不再介紹，有需要可以參考官網文檔。http://hekad.readthedocs.io/en/v0.10.0/installing.html

這裡我們的linux發行版用的centos所以使用rpm包的安裝方式。

下載rpm安裝包

 

1	wget https://github.com/mozilla-services/heka/releases/download/v0.10.0/heka-0_10_0-linux-amd64.rpm

使用rpm -i heka-0_10_0-linux-amd64.rpm進行安裝。

安裝後執行 hekad -version輸出版本號碼即安裝成功。

使用說明 點擊這裡 wuguiyunwei.com