Elasticsearch實戰－入門

標籤：

1.概述

　　今天接著《Elasticsearch實戰－日誌監控平台》一文來給大家分享後續的學習，在《Elasticsearch實戰－日誌監控平台》中給大家介紹一個日誌監控平台的架構方案，接下來給大家分享如何去搭建部署這樣一個平台，給大家做一個入門介紹。下面是今天的分享目錄：

• 搭建部署 Elastic 套件
• 運行叢集
• 預覽

　　下面開始今天的內容分享。

2.搭建部署 Elastic 套件

　　搭建 Elastic 套件較為簡單，下面我們開始減搭建部署相關套件，首先我們準備必要的環境。

2.1 基礎軟體

　　大家可以 Elastic 的官方網站下載對應的安裝包，地址如下所示：

　　［］

　　另外，一個基礎環境就是需要用到 JDK，ES 叢集依賴 JDK，地址如下所示：

　　［］

2.2 Logstash 部署

　　這裡我們將 Logstash 的服務部署在中心節點中，其核心設定檔如下所示：

• central.conf

input {    redis {        host => "10.211.55.18"        port => 6379         type => "redis-input"        data_type => "list"        key => "key_count"    }   }filter {    grok {        match => ["message", "%{IPORHOST:client} (%{USER:ident}|-) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} %{NUMBER:bytes} \"(%{QS:referrer}|-)\" \"(%{QS:agent}|-)\""]    }    kv {                source => "request"                field_split => "&?"                value_split => "="        }    urldecode {        all_fields => true    }}output {    elasticsearch {        cluster => "elasticsearch"        codec => "json"        protocol => "http"    }   }

　　其代理節點，分別部署在日誌生產節點之上，核心設定檔如下所示：

• shipper.conf

input {    file {        type => "type_count"        path => ["/home/hadoop/dir/portal/t_customer_access.log"]        exclude => ["*.gz", "access.log"]    }   }output {    stdout {}    redis {        host => "10.211.55.18"        port => 6379        data_type => "list"        key => "key_count"    }   }

2.3 Elasticsearch 部署

　　接著，我們部署 ES 叢集，配置較為簡單，其配置內容如下所示：

• elasticsearch.yml

node.name: "node1"

　　這裡我只配置了其節點名稱資訊，叢集名稱使用預設的，若大家需要配置其他資訊可自行處理，需要注意的是，這裡在實用 scp 命令分發到其他節點時，需要修改其屬性值，保持每個節點的 node.name 值不一樣即可。

　　另外，在安裝外掛程式 ES 叢集的相關外掛程式時，可以使用以下命令：

• head 外掛程式

sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

• bigdesk 外掛程式

sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

　　其對應的 Web UI 介面如所示：

• head外掛程式的介面

• bigdesk的介面

　　關於其他的 ES 叢集的外掛程式，搭建可以根據實際業務需求進行選擇性的安裝，這裡就不多贅述了。

2.4 Kibana 部署

　　這裡我們需要安裝一個能夠去可視化 ES 叢集資料的工具，這裡我們選擇 Kibana 工具去可視化我們的資料，其安裝較為簡單，只需配置對應的核心檔案即可，配置如下：

• kibana.yml

elasticsearch_url: "http://10.211.55.18:9200"

　　這裡去可視化 node1 節點 ES 叢集中資料。

3.運行叢集

　　接著，我們啟動整個系統，啟動步驟如下所示：

• 啟動 Redis

[[email protected] ~]$ redis-server &

• 啟動代理節點（分別在其代理節點啟動shipper）

bin/logstash agent --verbose --config conf/shipper.conf --log logs/stdout.log &

• 啟動中心服務

bin/logstash agent --verbose --config conf/central.conf --log logs/stdout.log &

• 啟動 ES 叢集（分別在 ES 節點啟動）

bin/elasticsearch start

• 啟動 Kibana 服務

bin/kibana

4.預覽

　　這裡，我們可以預覽收集的日誌，日誌資訊我只抽取了幾條，如下：

　　我們還可以使用篩選功能，選取我們需要觀察的資料結果，這裡我們篩選了 IP 和 AppName 屬性進行觀察，如所示：

5.總結

　　這裡需要注意的是，若是我們初次開機 Kibana 服務，收集日誌資訊為空白的情況下，在我們建立索引時，Settings 模組下的介面中 Create 按鈕會是灰色狀態，導致無法建立，這裡大家在建立的時候需要保證我們有日誌已被收集儲存到 ES 叢集。如，由於我已收集儲存日誌到 ES 叢集，所以按鈕呈現綠色狀態，供點擊建立。如所示：

6.結束語

　　這篇部落格就和大家分享到這裡，如果大家在研究學習的過程當中有什麼問題，可以加群進行討論或發送郵件給我，我會盡我所能為您解答，與君共勉！

Elasticsearch實戰－入門