Python爬蟲：HTTP協議、Requests庫，pythonrequests

Python爬蟲：HTTP協議、Requests庫，pythonrequests

HTTP協議：

HTTP（Hypertext Transfer Protocol）：即超文字傳輸通訊協定 (HTTP)。URL是通過HTTP協議存取資源的Internet路徑，一個URL對應一個資料資源。

HTTP協議對資源的操作：

Requests庫提供了HTTP所有的基本請求方式。官方介紹：http://www.python-requests.org/en/master

Requests庫的6個主要方法：

Requests庫的異常：

Requests庫的兩個重要對象：Request（請求）、Response（相應）。Request對象支援多種要求方法；Response對象包含伺服器返回的所有資訊，也包含請求的Request資訊。

Response對象的屬性：

其中，r.encoding指：如果header中不存在charset，則認為編碼為ISO‐8859‐1。

r.raise_for_status()可以直接知道r.status_code是否等於200。

HTTP協議與Requests庫對比：

爬取網頁的通用代碼架構：

1 try:2     r = requests.get(url,timeout = 30)3     r.raise_for_status()4     # 如果狀態不是200，引發HTTPError異常5     r.encoding = r.apparent_encoding6     return r.text7 except:8     return '產生異常'

例如，擷取PMCAFF首頁的資訊：

 1 import requests 2  3 def getHtmlText(url): 4     try: 5         r = requests.get(url,timeout = 30) 6         r.raise_for_status() 7         r.encoding = r.apparent_encoding 8         return r.text 9     except:10         return '產生異常'11 12 if __name__ == '__main__':13     url = 'https://www.pmcaff.com/'14     print(getHtmlText(url))

爬取網頁的通用代碼架構：作業環境：Mac，Python 3.6，PyCharm 2016.2

參考資料：中國大學MOOC課程《Python網路爬蟲與資訊提取》

-----   End   -----

作者：杜王丹，公眾號：杜王丹，互連網產品經理。