使用logstash收集php-fpm slow log

目前php-fpm的服務部署在了docker中，對php-fpm的log和php error log可以通過syslog協議的形式發送出去，而php-fpm的slow log卻不能配置為syslog協議，只能輸出到檔案中，因為一條slow log的是有多行組成的。

為了收集slow log，可以通過logstash、flume等工具進行收集，本文採用logstash對slow log進行收集，並將收集的log寫入到kafka中，便於後續的處理。logstash的input採用讀取檔案的方式，即跟tail -f的原理類似。為了能夠將多行日誌作為一行，採用了filter中的multiline來對多行日誌進行合併作業。logstash的配置如下：

input {    file {        path => [“/var/log/php-fpm/fpm-slow.log"]    }}filter {    multiline {        pattern => "^$"        negate => true        what => "previous"    }}output {    stdout{codec => rubydebug}    kafka {        codec => plain {           format => “tag|%{host}%{message}"        }        topic_id => "fpm-slowlog"        bootstrap_servers => “kafka1.hostname:8082,kafka2.hostname:8082"    }}

