伺服器系統架構分析日誌

1、利用網路處理量計算。

計算參考公式：

並發 = connection established / min(server keepalive, server timeout)

翻譯一下：

並發 = 伺服器傳輸連結數 除以 伺服器軟體的keepalive設定和伺服器軟體的逾時設定之間的最小值

這個公式算出來的數字是keepalive時間段內的平均值，比真實平均值要小一點，如果想找最大值就要設定keepalive為0或1，然後多探測幾次。

connection established是伺服器當前正在傳輸的連結，但是keepalive開啟時，建立立的傳輸連結會一直存在直到keepalive/timeout關閉連結；用戶端主動關閉連結的話connection established也會關閉，不過這種連結一般比較少，多數瀏覽器都是支援keepalive並遵守伺服器配置的。

在linux查看connection established數位辦法是在命令列執行：

netstat -est|grep "connections established"|cut -d "c" -f 1

keepalive和timeout數字查看辦法要查看web server軟體的設定檔

注意:這個方法只能用於最前端的伺服器或7層交換器，前端之後的伺服器因為緩衝或連結方式的原因往往是不準確的。

2、利用伺服器日誌計算

因為伺服器每處理一個請求，都會在日誌裡留下一條資訊，所以利用伺服器軟體的日誌來計算是最準確的，但是是這種計算方式浮動也可能會比較大，需要取最大值計算。

首先在確定伺服器軟體有將所有請求寫入一個記錄檔裡，並確保該記錄檔正在不停記錄。

為節省時間和伺服器資源，把log檔案的最後一萬條記錄拿出來統計，我就用nginx預設的main格式作個例子：

執行命令：

tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c

命令的意思是取log檔案的最後一萬條記錄，然後用awk取得記錄檔中表示時間的一列（$4），接著再對該列進行一次排序，最後是用uniq把這一列相鄰的重複行合并，並計算合并的條數。

其中先sort再uniq是一種安全的做法，以確保同一秒的日誌先被歸到一起，然後再合并，這樣就不會有同一秒種的日誌會被切成幾段這樣的現象。

可以得到輸出：

23 [09/Sep/2008:20:26:02
26 [09/Sep/2008:20:26:03
17 [09/Sep/2008:20:26:04
20 [09/Sep/2008:20:26:05
...
70 [09/Sep/2008:20:29:43
61 [09/Sep/2008:20:29:44
45 [09/Sep/2008:20:29:45
37 [09/Sep/2008:20:29:46
2  [09/Sep/2008:20:29:47

在這些輸出中，第一條記錄和最後一條記錄因為時間有可能被切斷，所以是完全不可靠之資訊，可以忽略。

如果輸出少於10行的話，要擴大一下範圍，修改tail -10000為tail -100000取最後十萬條資料統計。

如果只需要看最大值，可以再用sort命令進行排序，並用head命令取出前10行記錄：

tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head

awk命令是一個功能比較強的命令，在這裡只用到最簡單的awk '{print $4;}'，意思是將日誌每行按空格切分開，然後切出來的結果依次從左至右就是$1 $2 $3 ...，nginx預設的main日誌時間欄位剛好是$4，所以在這裡拿$4來計算。如果是別的格式的日誌，依照這個辦法去找到列數：

就拿apache預設的日誌來看，首先：

head -1 apache.log

得到類似以下的輸出：

60.8.207.86 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

用awk按空格來切分開之後，60.8.207.86就是$1，$2和$3都是-，[09/Sep/2008:21:03:58是$4，這就是需要拿出來統計的。嗯，怎麼apache的日誌和nginx的一樣的？現在才發現。

那命令也基本沒什麼變化，執行一下：

tail -10000 apache.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head

注意，如果是在squid伺服器後面的apache，則日誌會變成這樣：

60.8.207.86, 127.0.0.1 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

因為日誌的第一個段：x_forwarded_for中含有空格，所以時間的段會在$3、$4或$5之間變化，從而不能確定，可以先用一次awk或cut以[這個符號切分一下：

tail -10000 apache.log | awk -F"[" '{print $2;}' | awk '{print $1;}' | sort | uniq -c | sort -nr | head

或

tail -10000 apache.log | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head

這樣統計就準確了。