最佳化Linux下的核心TCP參數來提高伺服器負載能力

標籤：

http://blog.renhao.org/2010/07/setup-linux-kernel-tcp-settings/

提高伺服器的負載能力，是一個永恒的話題。在一台伺服器CPU和記憶體資源額定有限的情況下，最大的壓榨伺服器的效能，是最終的目的。要提高Linux系統下的負載能力，可以先啟用Apache的Worker模式（參考我寫的《Ubuntu下配置Apache的Worker模式》一文），來提高單位時間內的並發量。但是即使這麼做了，當網站發展起來之後，串連數過多的問題就會日益明顯。在節省成本的情況下，可以考慮修改Linux的核心TCP/IP參數，來最大的壓榨伺服器的效能。當然，如果通過修改核心參數也無法解決的負載問題，也只能考慮升級伺服器了，這是硬體所限，沒有辦法的事。

Linux系統下，TCP/IP串連斷開後，會以TIME_WAIT狀態保留一定的時間，然後才會釋放連接埠。當並發請求過多的時候，就會產生大量的TIME_WAIT狀態的串連，無法及時斷開的話，會佔用大量的連接埠資源和伺服器資源（因為關閉後進程才會退出）。這個時候我們可以考慮最佳化TCP/IP的核心參數，來及時將TIME_WAIT狀態的連接埠清理掉。

本文介紹的方法只對擁有大量TIME_WAIT狀態的串連導致系統資源消耗有效，不是這個原因的情況下，效果可能不明顯。那麼，到哪兒去查TIME_WAIT狀態的串連呢？那就是使用netstat命令。我們可以輸入一個複核命令，去查看當前TCP/IP串連的狀態和對應的個數：

#netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

這個命令會顯示出類似下面的結果：

LAST_ACK 14
SYN_RECV 348
ESTABLISHED 70
FIN_WAIT1 229
FIN_WAIT2 30
CLOSING 33
TIME_WAIT 18122

我們只用關心TIME_WAIT的個數，在這裡可以看到，有18000多個TIME_WAIT，這樣就佔用了18000多個連接埠。要知道連接埠的數量只有65535個，佔用一個少一個，會嚴重的影響到後繼的新串連。這種情況下，我們就有必要調整下Linux的TCP/IP核心參數，讓系統更快的釋放TIME_WAIT串連。

我們用vim開啟設定檔：

#vim /etc/sysctl.conf

然後，在這個檔案中，加入下面的幾行內容：

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

最後輸入下面的命令，讓核心參數生效：

#/sbin/sysctl -p

簡單的說明下，上面的參數的含義：

net.ipv4.tcp_syncookies = 1 表示開啟SYN Cookies。當出現SYN等待隊列溢出時，啟用cookies來處理，可防範少量SYN攻擊，預設為0，表示關閉；
net.ipv4.tcp_tw_reuse = 1 表示開啟重用。允許將TIME-WAIT sockets重新用於新的TCP串連，預設為0，表示關閉；
net.ipv4.tcp_tw_recycle = 1 表示開啟TCP串連中TIME-WAIT sockets的快速回收，預設為0，表示關閉；
net.ipv4.tcp_fin_timeout 修改系統預設的 TIMEOUT 時間。

在經過這樣的調整之後，除了會進一步提升伺服器的負載能力之外，還能夠防禦一定程度的DDoS、CC和SYN攻擊，是個一舉兩得的做法。

此外，如果你的串連數本身就很多，我們可以再最佳化一下TCP/IP的可使用連接埠範圍，進一步提升伺服器的並發能力。依然是往上面的參數檔案中，加入下面這些配置：

net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000

這幾個參數，建議只在流量非常大的伺服器上開啟，會有顯著的效果。一般的流量小的伺服器上，沒有必要去設定這幾個參數。這幾個參數的含義如下：

net.ipv4.tcp_keepalive_time = 1200 表示當keepalive起用的時候，TCP發送keepalive訊息的頻度。預設是2小時，改為20分鐘。
net.ipv4.ip_local_port_range = 10000 65000 表示用於向外串連的連接埠範圍。預設情況下很小：32768到61000，改為10000到65000。（注意：這裡不要將最低值設的太低，否則可能會佔用掉正常的連接埠！）
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN隊列的長度，預設為1024，加大隊列長度為8192，可以容納更多等待串連的網路連接數。
net.ipv4.tcp_max_tw_buckets = 5000 表示系統同時保持TIME_WAIT的最大數量，如果超過這個數字，TIME_WAIT將立刻被清除並列印警告資訊。默 認為180000，改為5000。對於Apache、Nginx等伺服器，上幾行的參數可以很好地減少TIME_WAIT通訊端數量，但是對於 Squid，效果卻不大。此項參數可以控制TIME_WAIT的最大數量，避免Squid伺服器被大量的TIME_WAIT拖死。

經過這樣的配置之後，你的伺服器的TCP/IP並發能力又會上一個新台階。

最佳化Linux下的核心TCP參數來提高伺服器負載能力