HTTP Error 403: Forbidden

標籤：error   user   pytho   webkit   uil   build   地方   下載   forbidden   

在寫網頁爬蟲的時候，有的網站會有反爬取措施，所以有可能出現上面所示bug

出現bug的地方可能有兩處：

1. requests請求時

　　requests.get(url)，返回結果是403。

　　解決方案：

　　headers= {

　　　　　　‘User-Ageent‘:‘一些字元‘,

　　　　　　‘Cookie‘:‘一些字元‘

　　　}

　　requests.get(url, headers=headers)，

　　此時返回結果應該就是200，正常。加入headers的目的是，類比人的行為，讓伺服器認為是人在操作，

　　User-Agent, Cookie可以查看網頁requests，即可查明，不同網頁，Cookie不同

2. urlretrieve下載東西時

　　解決方案：

 import urllib.requestopener=urllib.request.build_opener()opener.addheaders=[(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36‘)]urllib.request.install_opener(opener)url=‘‘local=‘‘urllib.request.urlretrieve(url,local）

　　原理還不是很清楚，在stackoverflow上找到的，結果正確。

HTTP Error 403: Forbidden