python3 爬蟲5--分析Robots協議

標籤：agent   排除   lan   內容   引擎   對象   col   otp   根目錄   

1Robots協議

Robots協議告訴了搜尋引擎和爬蟲那些頁面可以抓取，那些不可以，通常是存放在robots.txt檔案裡面，位於網站的根目錄下

robots.txt中內容的示範：

User-agent:* //表示了搜尋爬蟲的名稱，*表示對任何爬蟲都有效

Disallow:/ //表示了不允許抓取的目錄，/表示不允許抓取所有目錄，沒有寫就代表允許抓取所有的目錄

Allow:/public/ //表示在排除Disallow中，可以抓取的目錄

2robotparse

robotparse就是用來專門解析robots.txt檔案的

from urllib.robotparser import RobotFileParser

下面是RobotFileParse()的使用方法

set_url()，用來設定 robots.txt 檔案的連結。如果已經在建立 RobotFileParser 對象時傳入了連結，那就不需要再使用這個方法設定了。

read()，讀取 robots.txt 檔案並進行分析，注意這個函數是執行一個讀取和分析操作，如果不調用這個方法，接下來的判斷都會為 False，所以一定記得調用這個方法，這個方法不會返回任何內容，但是執行了讀取操作。

parse()，用來解析 robots.txt 檔案，傳入的參數是 robots.txt 某些行的內容，它會按照 robots.txt 的文法規則來分析這些內容。

can_fetch()，方法傳入兩個參數，第一個是 User-agent，第二個是要抓取的 URL，返回的內容是該搜尋引擎是否可以抓取這個 URL，返回結果是 True 或 False。

mtime()，返回的是上次抓取和分析 robots.txt 的時間，這個對於長時間分析和抓取的搜尋爬蟲是很有必要的，你可能需要定期檢查來抓取最新的 robots.txt。

modified()，同樣的對於長時間分析和抓取的搜尋爬蟲很有協助，將目前時間設定為上次抓取和分析 robots.txt 的時間。

from urllib.robotparser import RobotFileParser

rp=RobotFileParse()

rp.set_url(‘http://www.jianshu.com/robots.txt‘)

#也可以直接設定rp=RobotFileParse(‘http://www.jianshu.com/robots.txt‘)

re.read()

#也可以這麼設定rp.parse(urlopen(‘http://www.jianshu.com/robots.txt‘).read().decode(‘utf-8‘).splict(‘\n‘))

print(rp.can_fetch(‘*‘,‘http://www.jianshu.com/p/b67554025d7d‘))

print(rp.can_fetch(‘*‘, "http://www.jianshu.com/search?q=python&page=1&type=collections"))

python3 爬蟲5--分析Robots協議