通過shell和redis來實現叢集業務中日誌的即時收集分析

 

650) this.width=650;" border="0" alt="" src="http://www.bkjia.com/uploads/allimg/131227/1T1113S9-0.png" />

在統計項目中，最難實施的就是日誌資料的收集。日誌分布在全國各個機房，而且資料量比較大，像rsync+inotify這種方式顯然不能滿足快速日誌同步的要求。 當然大家也可以用fluentd和flume採集日誌資料，除了這個我們也可以自己寫一套簡單的。

 

我寫的這個日誌分析系統 流程是：

 

  
1   在用戶端收集資料，然後通過redis pub方式把資料發給服務端 
  
 
  
2   伺服器端是redis的sub    他會把資料統一存放在一個檔案，或者當前就過濾出來 
 

 

用戶端收集日誌的更新資料

 

  
#!/bin/bash 
  
 
  
DATE=`date +%s` 
  
LOGFILE=$1 
  
if [ ! -f $1 ];then 
  
 echo "LOG file did not give or it's not a file" 
  
fi 
  
sleep_time="2" 
  
 
  
count_init=`wc -l ${LOGFILE}|awk '{print $1}'` 
  
while true 
  
do 
  
DATE_NEW=`date +%s` 
  
#    DATE=$(date +%s) 
  
    count_new=`wc -l ${LOGFILE}|awk '{print $1}'` 
  
    add_count=$((${count_new} - ${count_init})) 
  
    count_init=${count_new} 
  
        if [ ! -n "${add_count}" ] 
  
        then 
  
            add_count=0 
  
        fi 
  
     QPS=$((${add_count}/${sleep_time})) 
  
     info=`tail -n ${add_count} ${LOGFILE}`     
  
     echo $info      
  
#    我們可以把info這個值傳出去 
  
     echo " Then QPS at `date -d "1970-01-01 UTC ${DATE_NEW} seconds" +"%Y-%m-%d %H:%M:%S"` is "${QPS} 
  
#    echo " DATE_NEW: " $DATE_NEW " DATE_PLUS :" $DATE_PLUS 
  
sleep $sleep_time 
  
done 
 

 

650) this.width=650;" border="0" alt="" src="http://www.bkjia.com/uploads/allimg/131227/1T111AH-1.png" />

把即時的日誌也列印出來

650) this.width=650;" border="0" alt="" src="http://www.bkjia.com/uploads/allimg/131227/1T1116350-2.jpg" />

 

想傳到服務端，我們只需要在指令碼裡面加下面這命令就ok了~ 

/root/redis-bash-cli -h 10.10.10.61 PUBLISH rui "$info"

 

redis-bash-cli  這個是用戶端的指令碼，可以把資料publish過去

 

  
#!/bin/bash   
  
source /usr/share/redis-bash/redis-bash-lib 2> /dev/null  
  
if [ $? -ne 0 ]; then  
  
  LIBFOLDER=${0%/${0##*/}}  
  
  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null  
  
  if [ $? -ne 0 ]; then  
  
    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"  
  
    exit 127   
  
  fi  
  
fi  
  
REDISHOST=localhost  
  
REDISPORT=6379  
  
REPEAT=1  
  
DELAY=0  
  
while getopts ":h:n:p:r:a:i:" opt  
  
do  
  
    case ${opt} in  
  
        h) REDISHOST=${OPTARG};;  
  
        n) REDISDB=${OPTARG};;  
  
        p) REDISPORT=${OPTARG};;  
  
        r) REPEAT=${OPTARG};;  
  
        a) AUTH=${OPTARG};;  
  
        i) DELAY=${OPTARG};;  
  
    esac  
  
done  
  
shift $((${OPTIND} - 1))  
  
if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]  
  
then  
  
    exec 6<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd  
  
    if [ $? -ne 0 ]; then  
  
        exit 1  
  
    fi  
  
else  
  
    echo "Wrong arguments"  
  
    exit 255  
  
fi  
  
[ "${AUTH}" != "" ] && redis-client 6 AUTH ${AUTH} > /dev/null  
  
[ "${REDISDB}" != "" ] && redis-client 6 SELECT ${REDISDB} > /dev/null  
  
for ((z=1;z<=${REPEAT};z++))  
  
do  
  
    redis-client 6 "${@}"  
  
    if [ $? -ne 0 ]; then  
  
        exit 1  
  
    fi  
  
    [ ${DELAY} -gt 0 ] && sleep ${DELAY}  
  
done  
  
exec 6>&- #close fd  
 

 

Log Service端

650) this.width=650;" border="0" alt="" src="http://www.bkjia.com/uploads/allimg/131227/1T1115196-3.png" />

 

redis-publish-test  這個是Log Service端，可以收到publish的資料

 

 

  
#!/bin/bash   
  
source /usr/share/redis-bash/redis-bash-lib 2> /dev/null  
  
if [ $? -ne 0 ]; then  
  
  LIBFOLDER=${0%/${0##*/}}  
  
  echo $LIBFOLDER  
  
  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null  
  
  if [ $? -ne 0 ]; then  
  
    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"  
  
    exit 127   
  
  fi  
  
fi  
  
REDISHOST=localhost  
  
REDISPORT=6379  
  
while getopts ":h:p:" opt  
  
do  
  
    case ${opt} in  
  
        h) REDISHOST=${OPTARG};;  
  
        p) REDISPORT=${OPTARG};;  
  
    esac  
  
done  
  
shift $((${OPTIND} - 1))  
  
while true  
  
do  
  
    exec 5>&-  
  
    if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]  
  
    then  
  
        exec 5<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd  
  
    else  
  
        echo "Wrong arguments"  
  
        exit 255  
  
    fi  
  
    redis-client 5 SUBSCRIBE ${1} > /dev/null # subscribe to the pubsub channel in fd 5  
  
    while true  
  
    do  
  
        unset ARGV  
  
        OFS=${IFS};IFS=$'\n' # split the return correctly  
  
        ARGV=($(redis-client 5))  
  
        IFS=${OFS}  
  
        if [ "${ARGV[0]}" = "message" ] && [ "${ARGV[1]}" = "${1}" ]  
  
        then  
  
        echo ${ARGV[2]}  
  
        a=${ARGV[2]}  
  
            echo $($a)  
  
            echo "Message from pubsub channel: ${ARGV[2]}"  
  
        elif [ -z ${ARGV} ]  
  
        then  
  
            sleep 1  
  
            break  
  
        fi  
  
    done  
  
done  
 

 

 

本文出自 “峰雲，就她了。” 部落格，請務必保留此出處http://rfyiamcool.blog.51cto.com/1030776/1191926