簡單 python 爬蟲（一）__python

比如爬我在航電上做過的題目，可以用如下代碼：

# ubuntu kylin 14.04import urllib2 import urllib   url="http://acm.hdu.edu.cn/userstatus.php?user=461807914"  headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}   request = urllib2.Request(url,None,headers)                                                                 response = urllib2.urlopen(request)   print (response.read())

剛開始寫的時候沒有那個header，給我彈出個403 forbidden，很是費解。原來有的網站對你發出的請求會進行判斷，如果你的請求資訊完全，就會接受你的請求。比如發送這個請求使用的瀏覽器,作業系統,硬體平台等資訊,而缺失這些資訊的請求往往都是非正常的訪問,例如爬蟲。現在可以在發送的資訊裡面加入一個假的頭資訊，騙過對方的伺服器就可以了。