Python -bs4反爬蟲解決方案__Python

爬蟲有時會遭遇兩種情況,導致無法正常爬取
(1)IP封鎖,(貌似美團會出現)
(2)禁止機器人爬取,(比如Amazon)

解決方案:
我們以下面文章裡的爬蟲代碼為例
http://blog.csdn.net/co_zy/article/details/77150544
其中的getHTMLText()函數,更改如下,添加fakeHeaders ,proxies
這裡的可以通過ip測試網站進行驗證是否成功使用了代理 http://ip.chinaz.com/

def getHTMLText(self,url):        fakeHeaders = {'user-agent':'Mozilla/5.0'}        proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", }           try:            r = requests.get(url,headers = fakeHeaders , proxies=proxies,timeout=30)            r.raise_for_status()            r.encoding = r.apparent_encoding            return r.text        except:            return ""