來源:互聯網
上載者:User
關鍵字
nginx
mozi
agent
user
禁止
由於ubuntu 9.10 的發佈,SRT ubuntu源最近的流量可是飆得厲害~ 昨天一天的平均流量是 9.6MB/s ,算算一天就有800GB了。。。 更可惡的是,一分析日誌,有一個「HTTP://www.aliyun.com/zixun/aggregation/29851.html">Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)」的User_Agent(據說是迅雷的),很是誇張,居然占了八成的流量,看我下面的日誌分析:
$ tail -n 1000 /var/log/nginx/mirror.access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tai l
3 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
4 SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP. Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +HTTP://www.google.com/bot.html)
5 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)
6 Ubuntu APT-HTTP/1.3 (0.7.20.2ubuntu6)
16 Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)
18 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
39 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
41 Ubuntu APT-HTTP/1.3 (0.7.23.1ubuntu2)
94 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; )
767 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
於是,我不得不想辦法禁掉了這個UA,不然也太影響訪問了,最近有很多使用者都出現訪問不暢的狀況了。 但是網上這方面的資料還真不太好找,於是請教ubuntu-cn的一葉老大,終於找到辦法了:
建立一個 /etc/nginx/agent.conf 內容如下(需要注意的是,空格和括弧需要使用「\」進行轉義,這也是我摸索了好久得出的結論):
if ($HTTP_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ . NET\ CLR\ 1.1.4322;\ . NET\ CLR\ 2.0.50727\)") { return 404; }
然後在這個site的配置裡include這個conf檔,比如 /etc/nginx/sites-enabled/ubuntu-mirror 裡添加如下一行: include /etc/nginx/agent.conf;
迅雷V5.9,看樣子很有必要專門維護一個UA清單,不過那樣估計這些軟體會更流氓。
為了這破玩意,在apache/ligHTTPd/nginx/squid上都做UA識別了。 做源還好,可以搞成准入的,只允許apt/wget這些,做公共服務真是鬱悶。