網路爬蟲 初瞭解

標籤：記憶   scrapy   檔案   請求   .com   方法   通訊   rap   one   

1. HTTP協議

2. Requests庫的7個主要方法

3. Robot協議

4. 網頁解析

　　BeautifulSoup的解析器- 類的基本元素- 遍曆功能

5. Regex

6. 爬蟲架構Scrapy

　　架構結構- 資料流

7. 分布式爬蟲

　　多線程爬蟲

　　多進程爬蟲

8. 非同步網站資料擦劑

9.爬蟲的儲存

　　媒體檔案-把資料存放區到CSV-MySql

10. 爬蟲的常見技巧

11.防爬蟲

 

超文字傳輸通訊協定 (HTTP)（HTTP，HyperText Transfer Protocol）是互連網上應用最為廣泛的一種網路通訊協定。所有的www檔案都必須遵守這個標準。HTTP協議主要有幾個特點：

 

• 支援客戶/伺服器模式

• 簡單快捷：客服向伺服器發出請求，只需要傳送要求方法和路徑。要求方法常用的有GET, HEAD, POST。每種方法規定了客戶與伺服器聯絡的類型不同。由於HTTP協議簡單，使得HTTP伺服器的程式規模小，因而通訊速度快。

• 靈活：HTTP允許傳輸任意類型的資料對象。

• 無串連：不需連線的含義是限制每次串連請求只處理一個請求。伺服器處理完客戶的請求，收到客戶的應答後即中斷連線，這種方式可以節省傳輸時間。

• 無狀態：HTTP協議是無狀態協議。無狀態是指協議對於事物處理沒有記憶能力。缺少狀態意味著如果後續處理需要前面的資訊，則它必須重傳，這樣可能導致每次串連傳送的資料量增大，另一方面，在伺服器不需要先前資訊時它的應答就較快。

 

下面通過一張圖我們來瞭解一下訪問網頁的過程都發生了什麼：

--------------------- 本文來自 meichuanyi 的CSDN 部落格 ，全文地址請點擊：79293094?utm_source=copy

 

 

 

網路爬蟲 初瞭解