在Linux下用LVS和Ipvsadm做Web負載平衡

在Linux下用LVS和Ipvsadm做Web負載平衡，如果想對負載平衡有一個全面、宏觀上的理解，可以看：伺服器負載平衡技術的原理及應用。

一、簡介及環境配置

在Linux下用LVS和Ipvsadm做Web負載平衡，本例子用的作業系統是：Ubuntu；LVS是在linux作業系統基礎上建立虛擬伺服器，實現服務節點之間的負載平衡。它是基於linux核心實現的，2.6.X核心預設整合了lvs模組，LVS常用負載平衡的實現是基於ip協議的，所以一般稱為IPVS。

本例子有三台Ubuntu伺服器，192.168.0.111、192.168.0.197、192.168.0.198，那麼我們把192.168.0.111作為負載平衡伺服器使用，那麼首先需要檢查下作業系統是否已經整合了LVS，可以在命令列執行：modprobe -l | grep ipvs，如果出現：
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko 
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
則說明已經有了LVS，就不需要重新編譯安裝了，如果是其它Linux系統，沒有內建LVS的，也可以到網上搜尋下安裝，也不是很複雜。

那麼接下來需要安裝ipvsadm，直接運行apt-get install ipvsadm命令，安裝成功後，運行命令：
ipvsadm
會看到提示： 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

則說明已經安裝成功。

二、負載平衡器配置

接下來就是配置LVS，就是在負載平衡器（192.168.0.111）上建一個虛擬ip，然後用ipvsadm建立轉寄規則：
ifconfig eth0:0 192.168.0.112 netmask 255.255.255.255 broadcast 192.168.0.112
echo "1" >/proc/sys/net/ipv4/ip_forward
ipvsadm -C
ipvsadm -A -t 192.168.0.112:8888 -s rr
ipvsadm -a -t 192.168.0.112:8888 -r 192.168.0.197 -g -w 1
ipvsadm -a -t 192.168.0.112:8888 -r 192.168.0.198 -g -w 1

注意：192.168.0.197和192.168.0.198分別運行了一個Web伺服器，連接埠都是8888，在此之前一定要確保這兩個Web伺服器通過瀏覽器可以正常訪問到。

如上命令執行完畢之後，可以再次運行命令：
ipvsadm

如果看到如下資訊，則說明配置成功：
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  eric-app-server.local:8888 rr
  -> ubuntu-2.local:8888          Route   1      0          0         
  -> ubuntu.local:8888            Route   1      0          0 

三、真實伺服器配置

那麼接下來就需要配置真實伺服器192.168.0.197和192.168.0.198，分別在這兩個伺服器上運行如下命令：
ifconfig lo:0 192.168.0.112 netmask 255.255.255.255 broadcast 192.168.0.112
route add default gw 192.168.0.112
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sudo sysctl -p

四、配置完畢看效果

那麼此時整個負載平衡配置基本就完成了，在瀏覽器輸入：http://192.168.0.112:8888/index.html，就會看到Hello Word-1111111111111111111! 或者Hello Word-222222222222222222222! ，因為http://192.168.0.197:8888/index.html頁面的內容就是：Hello Word-1111111111111111111!，http://192.168.0.197:8888/index.html頁面的內容就是：Hello Word-222222222222222222222!

另外剛開始走了一個彎路，就是最開始找的三台伺服器不在同一個局域內，還有是虛擬機器，因此是配置不成功的。基於這種模式做負載平衡必須要求負載平衡伺服器有雙網卡，一個對內網，另一個對外網，並且還需要和後面的真實伺服器是在同一個局域內。

五、ipvsadm命令參考

1，virtual-service-address:是指虛擬伺服器的ip 地址
2，real-service-address:是指真實伺服器的ip 地址
3，scheduler：調度方法
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h

命令選項解釋：
有兩種命令選項格式，長的和短的，具有相同的意思。在實際使用時，兩種都可以。
-A --add-service 在核心的虛擬伺服器表中添加一條新的虛擬伺服器記錄。也就是增加一台新的虛擬伺服器。
-E --edit-service 編輯核心虛擬伺服器表中的一條虛擬伺服器記錄。
-D --delete-service 刪除核心虛擬伺服器表中的一條虛擬伺服器記錄。
-C --clear 清除核心虛擬伺服器表中的所有記錄。
-R --restore 恢複虛擬伺服器規則
-S --save 儲存虛擬伺服器規則，輸出為-R 選項可讀的格式
-a --add-server 在核心虛擬伺服器表的一條記錄裡添加一條新的真實伺服器記錄。也就是在一個虛擬伺服器中增加一台新的真實伺服器
-e --edit-server 編輯一條虛擬伺服器記錄中的某條真實伺服器記錄
-d --delete-server 刪除一條虛擬伺服器記錄中的某條真實伺服器記錄
-L|-l --list 顯示核心虛擬伺服器表
-Z --zero 虛擬服務表計數器清零（清空當前的串連數量等）
--set tcp tcpfin udp 設定連線逾時值
--start-daemon 啟動同步守護進程。他後面可以是master 或backup，用來說明LVS Router 是aster 或是backup。在這個功能上也可以採用keepalived 的VRRP 功能。
--stop-daemon 停止同步守護進程
-h --help 顯示協助資訊

其他的選項:
-t --tcp-service service-address 說明虛擬伺服器提供的是tcp 的服務[vip:port] or [real-server-ip:port]
-u --udp-service service-address 說明虛擬伺服器提供的是udp 的服務[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 說明是經過iptables 標記過的服務類型。
-s --scheduler scheduler 使用的調度演算法，有這樣幾個選項rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,預設的調度演算法是： wlc.
-p --persistent [timeout] 持久穩固的服務。這個選項的意思是來自同一個客戶的多次請求，將被同一台真實的伺服器處理。timeout 的預設值為300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真實的伺服器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式為直接路由模式（也是LVS 預設的模式）
-i --ipip 指定LVS 的工作模式為隧道模式
-m --masquerading 指定LVS 的工作模式為NAT 模式
-w --weight weight 真實伺服器的權值
--mcast-interface interface 指定組播的同步介面
-c --connection 顯示LVS 目前的串連 如：ipvsadm -L -c
--timeout 顯示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 顯示同步守護進程狀態
--stats 顯示統計資訊
--rate 顯示速率資訊
--sort 對虛擬伺服器和真實伺服器排序輸出
--numeric -n 輸出IP 位址和連接埠的數字形式