在Nginx中攔截特定使用者代理程式的教程

在Nginx中攔截特定使用者代理程式的教程

 　　這篇文章主要介紹了在Nginx中攔截特定使用者代理程式的教程,並為這些被攔截的使用者佈建一個黑名單以方便管理,需要的朋友可以參考下

　　現代互連網滋生了大量各種各樣的惡意機器人和網路爬蟲，比如像惡意軟體機器人、垃圾郵件程式或內容刮刀，這些惡意工具一直偷偷摸摸地掃描你的網站，幹些諸如檢測潛在網站漏洞、收穫電子郵件地址，或者只是從你的網站偷取內容。大多數機器人能夠通過它們的“使用者代理程式”簽名字串來識別。

　　作為第一道防線，你可以嘗試通過將這些機器人的使用者代理程式字串添加入robots.txt檔案來阻止這些惡意軟體機器人訪問你的網站。但是，很不幸的是，該操作只針對那些“行為良好”的機器人，這些機器人被設計遵循robots.txt的規範。許多惡意軟體機器人可以很容易地忽略掉robots.txt，然後隨意掃描你的網站。

　　另一個用以阻擋特定機器人的途徑，就是配置你的網路伺服器，通過特定的使用者代理程式字串拒絕要求提供內容的請求。本文就是說明如何在nginx網路伺服器上阻擋特定的使用者代理程式。

　　在Nginx中將特定使用者代理程式列入黑名單

　　要配置使用者代理程式阻擋列表，請開啟你的網站的nginx設定檔，找到server定義部分。該檔案可能會放在不同的地方，這取決於你的nginx配置或Linux版本(如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/)。

　　 代碼如下:

　　server {

　　listen 80 default_server;

　　server_name xmodulo.com;

　　root /usr/share/nginx/html;

　　....

　　}

　　在開啟該設定檔並找到 server 部分後，添加以下 if 聲明到該部分內的某個地方。

　　 代碼如下:

　　server {

　　listen 80 default_server;

　　server_name xmodulo.com;

　　root /usr/share/nginx/html;

　　# 大小寫敏感的匹配

　　if ($http_user_agent ~ (Antivirx|Arian) {

　　return 403;

　　}

　　#大小寫無關的匹配

　　複製代碼 代碼如下:

　　if ($http_user_agent ~* (netcrawl|npbot|malicious)) {

　　return 403;

　　}

　　....

　　}

　　如你所想，這些 if 聲明使用Regex匹配了任意不良使用者字串，並向匹配的對象返回403 HTTP狀態代碼。 $http_user_agent是HTTP請求中的一個包含有使用者代理程式字串的變數。‘~'操作符針對使用者代理程式字串進行大小寫敏感匹配，而‘~*'操作符則進行大小寫無關匹配。‘|'操作符是邏輯或，因此，你可以在 if 聲明中放入眾多的使用者代理程式關鍵字，然後將它們全部阻擋掉。

　　在修改設定檔後，你必須重新載入nginx以啟用阻擋：

　　?

1	$ sudo /path/to/nginx -s reload

　　你可以通過使用帶有 “--user-agent” 選項的 wget 測試使用者代理程式阻擋。

　　?

1	$ wget --user-agent "malicious bot" http://<nginx-ip-address>

　　管理Nginx中的使用者代理程式黑名單

　　目前為止，我已經展示了在nginx中如何阻擋一些使用者代理程式的HTTP請求。如果你有許多不同類型的網路爬蟲機器人要阻擋，又該怎麼辦呢?

　　由於使用者代理程式黑名單會增長得很大，所以將它們放在nginx的server部分不是個好點子。取而代之的是，你可以建立一個獨立的檔案，在該檔案中列出所有被阻擋的使用者代理程式。例如，讓我們建立/etc/nginx/useragent.rules，並定義以下面的格式定義所有被阻擋的使用者代理程式的圖譜。

　　?

1	$ sudo vi /etc/nginx/useragent.rules

　　複製代碼 代碼如下:

　　map $http_user_agent $badagent {

　　default 0;

　　~*malicious 1;

　　~*backdoor 1;

　　~*netcrawler 1;

　　~Antivirx 1;

　　~Arian 1;

　　~webbandit 1;

　　}

　　與先前的配置類似，‘~*'將匹配以大小寫不敏感的方式匹配關鍵字，而‘~'將使用大小寫敏感的Regex匹配關鍵字。“default 0”行所表達的意思是，任何其它檔案中未被列出的使用者代理程式將被允許。

　　接下來，開啟你的網站的nginx設定檔，找到裡麵包含 http 的部分，然後添加以下行到 http 部分某個位置。

　　複製代碼 代碼如下:

　　http {

　　.....

　　include /etc/nginx/useragent.rules

　　}

　　注意，該 include 聲明必須出現在 server 部分之前(這就是為什麼我們將它添加到了 http 部分裡)。

　　現在，開啟nginx配置定義你的伺服器的部分，添加以下 if 聲明：

　　 代碼如下:

　　server {

　　....

　　if ($badagent) {

　　return 403;

　　}

　　....

　　}

　　最後，重新載入nginx。

　　?

1	$ sudo /path/to/nginx -s reload

　　現在，任何包含有/etc/nginx/useragent.rules中列出的關鍵字的使用者代理程式將被nginx自動禁止。