筆記: 試用Kibana+Logstash+Elasticsearch+Redis

標籤：elasticsearch

做Android 3年，對網路不是很關注，現在再看讓我吃一驚，很多以前期望的功能都開源了，而且功能強大，就試用了一下。

簡單試用

下載elasticsearch-1.4.2並啟動

下載logstash-1.4.2, 運行下面的命令

bin/logstash -e ‘input { stdin { } } output { elasticsearch { host => localhost } }‘

在console 輸入的資料都會被 logstash轉入到 elasticsearch  （所以  logstash 就是個資料 glue 或 稱為 connector）

發現多了一個index （ 但也多了一個沒有用的 Node ，待以後瞭解）

下載 kibana-3.1.0， kibana只是js，放到web app 目錄下就可以了

我放到 /var/lib/tomcat6/webapps/ROOT/

而後訪問 http://10.15.4.207:8080/kibana-3.1.0/index.html

但它卻包錯說串連不到 elasticsearch， 查多多篇資料，用下面的方法解決

改 elasticsearch.yml , 添加下面兩行

http.cors.enabled: true
http.cors.allow-origin: /https?:\/\/<*your\.kibana\.host*>(:[0-9]+)?/

看到 Kibana的介面

加入 redis

下載 redis-2.8.19

make 後運行  src/redis-server 啟動服務

redis就是一個類似memcached的資料儲存服務介面

這個實驗其實很簡單，用了兩個 logstash 進程

第一個 feed,   讀取 stdin 而後把資料發到  redis中

第二個 給index資料，  logstash 讀取 redis的資料 而後把資料提交給 elasticsearch

具體步驟，編輯 logstash.feed.conf  

$ cat logstash.feed.conf

input {
  stdin {
  }
}
output {
  stdout { }
  redis { host => "127.0.0.1" data_type => "list" key => "logstash" }
}

並用 bin/logstash -f  logstash.feed.conf 啟動

編輯  logstash.index.conf (內容如下）

input {
    redis 
{
host => "127.0.0.1"
data_type =>"list"
key => "logstash"
type => "redis-input"
}
}

output 
{
elasticsearch {
host => "localhost"
}
}

在 feed 的console 輸入資料，再到 Kibana視窗中檢查

資料成功匯入了。

有了強大的工具，我最近沒有幹互連網，但也在構思它的可用之處。

ref:

http://www.cnblogs.com/xiaouisme/p/3977721.html

http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html

http://tinytub.github.io/logstash-install.html

http://blog.csdn.net/longxibendi/article/details/35237543

http://m.oschina.net/blog/179848

筆記: 試用Kibana+Logstash+Elasticsearch+Redis