Linux流量複製工具

  對於一些有並發要求的業務，特別是對接外部流量時，產品上線前一定要做的就是壓力測試，但是常規的壓力測試並不能覆蓋所有情況。以gemeter、ab,、webbench、http_load為例，這些通過類比請求的壓測工具，只能發送特定的參數，對於一些參數異常導致的程式處理異常是無法考慮到的，所以就需要一款能複製真實流量，並且不影響線上業務的工具。
流量複製工具有很多，例如Gor、tcpreplay、tcpcopy等，這些工具貼合真實情境，能類比真實流量，並支援流量的放大或縮小，更容易測試出程式的瓶頸和潛在問題。

幾款流量複製工具：

1. gor: https://github.com/buger/goreplay
2. tcpreplay: https://github.com/appneta/tcpreplay
3. tcpcopy: https://github.com/session-replay-tools/tcpcopy
4. Nginx模組ngx_http_mirror_module，在Nginx 1.13.4中開始引入，使用前請檢查nginx版本

Nginx模組ngx_http_mirror_module

配置如下：

server {    listen 8080;    access_log /home/work/log/nginx/org.log;    root html/org;}server {    listen 8081;    access_log /home/work/log/nginx/mir.log ;    root html/mir;}upstream backend {    server 127.0.0.1:8080;}upstream test_backend {    server 127.0.0.1:8081;}server {    listen       80;    server_name  localhost;    #charset koi8-r;    #access_log  logs/host.access.log  main;    location / {        mirror /mirror;        proxy_pass http://backend;    }    location /mirror {        internal;        proxy_pass http://test_backend$request_uri;    }}

流量放大，配置兩個mirror即可

location / {        mirror /mirror;        mirror /mirror;        proxy_pass http://backend;    }

使用是很方便，但是線上nginx一般都承載了不止一個業務，修改nginx配置後需要nginx -s reload來使之生效，這種操作線上上還是盡量需要避免的。

gor https://github.com/buger/goreplay

Gor概述

  Gor 是用 Golang 寫的一個 HTTP 即時資料流量複製工具。功能更強大，支援流量的放大、縮小，頻率限制，還支援把請求記錄到檔案，方便回放和分析，也支援和 Elasticsearch 整合，將流量存入 ES 進行即時分析。

下載安裝，可以下載編譯好的二進位檔案直接使用

> wget https://github.com/buger/goreplay/releases/download/v0.16.1/gor_0.16.1_x64.tar.gz> tar xzvf gor_0.16.1_x64.tar.gz

流量複製到檔案

可以將流量複製到檔案，然後再對他們進行回放。回放的時候，流量會維持原始的時間間隔。如果你使用了百分比來進行速率限制，那麼回放的速率會相應的增加或減少。有了這種速率限制，gor就可以用來進行壓力測試。

#write to filegor --input-raw :80 --output-file requests_origin.gor#read from filegor --input-file requests_origin.gor --output-http "http://localhost:8081"

可以使用時間戳命名錄製檔案，預設情況下，檔案是按“塊”儲存的，即檔案大小到達上限後，添加尾碼，並建立另一個檔案，如下

gor --input-raw :80 --output-file %Y%m%d.gor#append false20140608_0.gor20140608_1.gor20140609_0.gor20140609_1.gor

預設是按“塊”隱藏檔的方式，但是可以參數配置，--output-file-append，使用之後如下

gor --input-raw :80 --output-file %Y%m%d.gor --output-file-append#append true20140608.gor20140609.gor

時間格式檔案名的配置說明：

%Y: year including the century (at least 4 digits)%m: month of the year (01..12)%d: Day of the month (01..31)%H: Hour of the day, 24-hour clock (00..23)%M: Minute of the hour (00..59)%S: Second of the minute (00..60)預設格式是%Y%m%d%H

流量回放

目前，這種方式只支援"input-file",而且只能用百分比去控制回放速率。請注意，這個回放的速率比例是相對於input的。即按照錄下來的流量的時間戳記去進行回放。

以2倍速率回放
gor --input-file "requests_origin.gor|200%" --output-http "http://localhost:8081"

如果“input-flie”是多個檔案，可以用正則去匹配，
gor --input-file "requests_origin*.gor|200%" --output-http "http://localhost:8081"

配合如下配置參數，可以更好進行壓力測試
--input-file-loop 重複迴圈執行input-file
--exit-after 30s 在30s後停止，可以控制壓力測試的時間。分鐘的單位是m

Gor常用命令

簡單的HTTP流量複製
> gor --input-raw :80 --output-http "http://localhost:8081"

HTTP流量複製頻率控制(擷取每秒超過10個請求)
> gor --input-tcp :28020 --output-http "http://localhost:8081|10"

HTTP流量複製縮小
> gor --input-raw :80 --output-tcp "http://localhost:8081|10%"

HTTP流量記錄到本地檔案
> gor --input-raw :80 --output-file requests_origin.gor

HTTP流量回放和壓測
> gor --input-file "requests_origin.gor|200%" --output-http "http://localhost:8081"

HTTP流量過濾複製

> gor --input-raw :8080 --output-http http://localhost:8081 --output-http-url-regexp ^www.

自訂一些流量複製的參數

> gor --input-raw :80 --output-http http://localhost:8081 --http-allow-method POST --http-set-header 'User-Agent: Gor' -output-http-workers=1 -http-allow-url test.php

將流量複製兩份到不同的測試服務

> gor --input-tcp :8080 --output-http "http://localhost:8081" --output-http "http://localhost:8082"

將流量像負載平衡一樣分配到不同的伺服器

> gor --input-tcp :8080 --output-http "http://localhost:8081" --output-http "http://localhost:8082" --split-output true

Gor配置參數

> gor --help-http-allow-header valuegor --input-raw :8080 --output-http localhost:8081 --http-allow-header api-version:v1.1用一個Regex來匹配http頭部，如果請求的頭部沒有匹配上，則被拒絕-http-allow-method valuegor --input-raw :8080 --output-http localhost:8081 --http-allow-method GET類似於一個白名單機制來允許通過的http要求方法，除此之外的方法都被拒絕.-http-allow-url valuegor --input-raw :8080 --output-http localhost:8081 --http-allow-url ^www一個Regex用來匹配url， 用來過濾完全符合的的url，在此之外的都被過濾掉-http-disallow-header valuegor --input-raw :8080 --output-http localhost:8081 --http-disallow-header "User-Agent: Replayed by Gor"用一個Regex來匹配http頭部，匹配到的請求會被拒絕掉-http-disallow-url valuegor --input-raw :8080 --output-http localhost:8081 --http-disallow-url ^www用一個Regex來匹配url，如果請求匹配上了，則會被拒絕-http-set-header valuegor --input-raw :8080 --output-http localhost:8081 --http-set-header 'User-Agent: Gor'設定頭資訊，如果已經存在會覆蓋-http-set-param valuegor --input-raw :8080 --output-http localhost:8081 --http-set-param api_key=v1.1佈建要求參數，如果已經存在會覆蓋更多參數請查閱官方文檔 https://github.com/buger/goreplay/wiki