python抓取網頁過程

標籤：

準備過程

1.抓取網頁的過程

準備好http請求（http request）->提交對應的請求->獲得返回的響應（http response）->獲得網頁源碼

2.GET還是POST

3.Headers（可選）

在某些情況下，直接抓取是被禁止的，此時需要提供一個Headers來告訴對方我不是機器人

例如：

1 def getHtml(url):2     header={‘User-Agent‘ : ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1‘,‘Referer‘ : ‘******‘}3     request=urllib2.Request(url,None,header)4     response=urllib2.urlopen(request)5     text=response.read()6     return text

4.Post Data（可選）

某些情況下是需要登入某網站的，此時需要提交帳號密碼之類的，則需要使用Post Data

在IE中稱為request body，chrome中成為Post Data

5.Cookie（可選）

一般來說，類比登陸的時候往往會涉及到Cookie

6.其他（代理，最大逾時時間timeout）

內容分析

1.對於html源碼，調用BeautifulSoup庫

2.Regex

 

 

本文參考了http://www.crifan.com/summary_about_flow_process_of_fetch_webpage_simulate_login_website_and_some_notice/

可以說是一個簡化版，想看的可以去看原文

PS：博主提供了很多電腦方面的資料，讀後協助很大，有興趣的可以過去看看

python抓取網頁過程