linux中利用ControlPersist提升SSH的連線速度

背景介紹：
目前，項目中伺服器的組態管理已經全部從Puppet遷移到了Ansible，而之前一直認為不會帶來困擾的SSH通道慢的問題則暴露的很明顯了。
因為很多時候需要同時更新幾百台伺服器，有不少伺服器與Ansible主機還不在同一個IDC機房。
無意間發現了一篇文章，提到開啟SSH的ControlMaster並持久化socket串連，可以加速Ansible的執行速度，不需要在每次都經曆SSH認證，單個伺服器可能節約的時間僅在1秒左右，而上百台的伺服器就能節省約1分鐘左右的時間。

但開啟這個功能，必須安裝版本較新的openssh，而我們大部分主機都是CentOS6.4 x86_64，預設的版本太舊了並且官方yum倉庫中的版本也很舊。
考慮到這個功能僅需要用戶端的支援即可，不需要在每台伺服器上都安裝，我們就下載了最新的openssh源碼包並打包成了RPM直接安裝到了Ansible操作主機上。

伺服器環境：

CentOS 6.4 x86_64 Minimal

1. 編譯產生OpenSSH RPM
1.1 安裝編譯所需工具

$ sudo yum -y groupinstall "Development tools"
$ sudo yum -y install pam-devel rpm-build rpmdevtools zlib-devel krb5-devel tcp_wrappers tcp_wrappers-devel tcp_wrappers-libs

1.2 配置RPM編譯環境

$ cd /home/dong.guo
$ mkdir rpmbuild
$ cd rpmbuild
$ mkdir -pv {BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS,TMP}

$ cd /home/dong.guo
$ vim .rpmmacros

%_topdir /home/dong.guo/rpmbuild

%_tmppath /home/dong.guo/TMP

1.3 升級OpenSSL到最新
$ sudo yum update openssl

1.4 編譯OpenSSH RPM

1.4.1 下載源碼包
$ cd /home/dong.guo/rpmbuild/SOURCES/
$ wget http://mirror.team-cymru.org/pub/OpenBSD/OpenSSH/portable/openssh-6.6p1.tar.gz
$ wget http://mirror.team-cymru.org/pub/OpenBSD/OpenSSH/portable/openssh-6.6p1.tar.gz.asc
$ openssl dgst -sha1 openssh-6.6p1.tar.gz; echo b850fd1af704942d9b3c2eff7ef6b3a59b6a6b6e

1.4.2 配置SPEC檔案

$ cd /home/dong.guo/rpmbuild/SPECS
$ tar xfz ../SOURCES/openssh-6.6p1.tar.gz openssh-6.6p1/contrib/redhat/openssh.spec
$ mv openssh-6.6p1/contrib/redhat/openssh.spec openssh-6.6p1.spec
$ rm -rf openssh-6.6p1
$ sudo chown 74:74 openssh-6.6p1.spec
$ sed -i -e "s/%define no_gnome_askpass 0/%define no_gnome_askpass 1/g" openssh-6.6p1.spec
$ sed -i -e "s/%define no_x11_askpass 0/%define no_x11_askpass 1/g" openssh-6.6p1.spec
$ sed -i -e "s/BuildPreReq/BuildRequires/g" openssh-6.6p1.spec

1.4.3 編譯產生RPM
$ cd /home/dong.guo/rpmbuild/SPECS
$ rpmbuild -ba openssh-6.6p1.spec

1.4.4 查看產生的RPM

$ cd /home/dong.guo/rpmbuild/RPMS/x86_64
$ ls openssh-*

openssh-6.6p1-1.x86_64.rpm  openssh-clients-6.6p1-1.x86_64.rpm  openssh-debuginfo-6.6p1-1.x86_64.rpm  openssh-server-6.6p1-1.x86_64.rpm

1.4.5 安裝產生的RPM

$ cd /home/dong.guo/rpmbuild/RPMS/x86_64
$ sudo rpm -e openssh-askpass
$ sudo rpm -e openssh-ldap
$ sudo rpm -Fvh openssh*6.6p1-1*rpm

Preparing...          ########################################### [100%]
   1:openssh          ########################################### [ 33%]
   2:openssh-clients  ########################################### [ 67%]
   3:openssh-server   warning: /etc/ssh/sshd_config created as /etc/ssh/sshd_config.rpmnew ##################################### [100%]

1.4.6 查看已安裝的RPM

$ sudo rpm -qa | grep openssh
openssh-clients-6.6p1-1.x86_64
openssh-server-6.6p1-1.x86_64
openssh-6.6p1-1.x86_64

2. 配置ControlMaster

$ cd /home/dong.guo
$ vim .ssh/config

Host *
  Compression yes
  ServerAliveInterval 60
  ServerAliveCountMax 5
  ControlMaster auto
  ControlPath ~/.ssh/sockets/%r@%h-%p
  ControlPersist 4h

3. 下載cmc工具用於管理sockets

$ cd ~
$ sudo yum install http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
$ sudo yum install git
$ cd /home/dong.guo
$ mkdir bin
$ git clone https://github.com/ClockworkNet/cmc.git
$ cp cmc/cmc bin/

4. 使用與測試
4.1 查看當前的sockets
$ cmc -l

No ControlMaster connection sockets found.

4.2 統計第一次的執行時間
$ time ssh rainbow@ 'hostname -s'
ec2-tokyo

real 0m9.486s
user 0m0.017s
sys 0m0.015s

耗時9.5秒

4.3 查看當前的sockets
$ cmc -l

  Master running (pid=32857, cmd=ssh: /home/dong.guo/.ssh/sockets/rainbow@-22 [mux], start=19:19:05)
  Socket: /home/dong.guo/.ssh/sockets/rainbow@-22

4.4 統計有socket情況下的執行時間

$ time ssh rainbow@ 'hostname -s'

ec2-tokyo

real 0m0.240s
user 0m0.004s
sys 0m0.005s

耗時0.24秒

4.5 刪除當前所有的sockets

$ cmc -X
- Closing ControlMaster connection
Exit request sent.

4.6 統計沒有socket情況下的執行時間

ec2-tokyo

real 0m9.468s
user 0m0.016s
sys 0m0.017s
仍然是9.5秒

5. 結論
在開啟了ControlMaster的持久化之後，SSH在建立了sockets之後，節省了每次驗證和建立串連的時間。
在網路狀況不是特別理想，尤其是跨互連網的情況下，所帶來的效能提升是非常可觀的，在上面的測試中節約了9秒。
而即使在區域網路內部使用，每台伺服器節省1秒左右的時間，同時操作上百台伺服器時，節省的時間也是非常可觀的，非常值得擁有。