大資料時代日誌分析平台ELK的搭建

標籤：

A,首先說說ELK是啥,  ELK是Elasticsearch 、 Logstash 和 Kiabana 三個開源工具組成。Logstash是資料來源,Elasticsearch是分析資料的,Kiabana是展示資料用的

B,開始搞

　　1,安裝 Logstash 依賴包 JDK

     wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
　　  要是沒有wget可以yum -y install wget安裝一下wget,有的機子是沒有安裝的

　　　JDK 的安裝方式比較簡單，只需將下載回來的程式包解壓到相應的目錄即可。

　　  mkdir /usr/local/java　　  tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

     　設定 JDK 的環境變數，如下：

　　tail -3 ~/.bash_profile　　export JAVA_HOME=/usr/local/java/jdk1.8.0_45　　export PATH=$PATH:$JAVA_HOME/bin　　exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
   然後就可以java 或者javac試試JDK有沒有安裝成功
  (1)安裝 Logstash 
　　下載　　
　　wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
　　解壓

　　tar -zxf logstash-1.5.2.tar.gz -C /usr/local/
　　啟動,-e是說明以參數形式啟動
　　/usr/local/logstash-1.5.2/bin/logstash -e ‘input { stdin { } } output { stdout {} }‘

　　2,安裝Elastic search
    下載,解壓完成安裝

    tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
　　接下來我們在 logstash 安裝目錄下建立一個用於測試 logstash 使用 elasticsearch 作為 logstash 的後端的測試檔案 logstash-es-simple.conf，
　　該檔案中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結果顯示到螢幕上，同時也輸出到elastisearch中。
　　cat logstash-es-simple.conf 
　　input { stdin { } } output { elasticsearch {hosts => "localhost" } stdout { codec=> rubydebug } }
　　一定要注意上面的是hosts而不是host國內的都死host然後我搞了半天Google後才發現少了個s
　　啟動logstash
　　/usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
　　然後會看到系統列印
　　Logstash startup completed
　　hello logstash { "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }
　　可以使用curl指令查看ES有沒有收到資料curl ‘http://localhost:9200/_search?pretty‘
　　3,安裝Kibana
　　下載後解壓到對應的檔案夾
　　tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
　　啟動

　　/usr/local/kibana-4.1.1-linux-x64/bin/kibana
　　使用  http://kibanaServerIP ： 5601  訪問 Kibana ，登入後，首先，配置一個索引，預設， Kibana 的資料被指向 Elasticsearch ，使用預設的 logstash-* 的索引名稱，並且是基於時間的，點擊“ Create ”即可
　　然後就說明基本的已經部署完成了
　　但是如果需要顯示一些系統資訊或者收集系統的日誌資訊還需要很多配置
　　欲知後事如何,請繼續關注

大資料時代日誌分析平台ELK的搭建