[Python] urllib2.HTTPError: HTTP Error 403: Forbidden

標籤：

搬運自http://www.2cto.com/kf/201309/242273.html，感謝原作。

之所以出現上面的異常,是因為如果用 urllib.request.urlopen 方式開啟一個URL，伺服器端只會收到一個單純的對於該頁面訪問的請求。
但是伺服器並不知道發送這個請求使用的瀏覽器，作業系統，硬體平台等資訊,而缺失這些資訊的請求往往都是非正常的訪問,例如爬蟲。
有些網站為了防止這種非正常的訪問,會驗證請求資訊中的UserAgent(它的資訊包括硬體平台、系統軟體、應用軟體和使用者個人偏好)。
如果UserAgent存在異常或者是不存在,那麼這次請求將會被拒絕。

可行的解決方案是在請求中加入UserAgent的資訊。
以下是一次成功的例子：

URL=‘TestURL‘　　#用真實的URL替代TestURLHEADERS={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0‘}req=urllib2.Request(url=URL,headers=HEADERS)
htmlcode=urllib2.urlopen(req).read()

[Python] urllib2.HTTPError: HTTP Error 403: Forbidden