[python]爬蟲學習（一），python爬蟲學習

[python]爬蟲學習（一），python爬蟲學習

網路爬蟲的基本操作是抓取網頁。

我們先從URL開始。

 

URL就是在瀏覽器端輸入的    http://www.baidu.com    字串。

URI通常由三部分組成：

①訪問資源的命名機制；

②存放資源的主機名稱；

③資源自身 的名稱，由路徑表示。

如下面的URI：
http://www.baidu.com/myhtml/html1223/

我們可以這樣解釋它：

①這是一個可以通過HTTP協議訪問的資源，

②位於主機 www.webmonkey.com.cn上，

③通過路徑“/html/html40”訪問。

URL是URI的一個子集

通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和伺服器程式上。

採用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、伺服器的地址和目錄等。

URL的一般格式為(帶方括弧[]的為可選項)：

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

 

URL的格式由三部分組成： 

①第一部分是協議(或稱為服務方式)。

②第二部分是存有該資源的主機IP地址(有時也包括連接埠號碼)。

③第三部分是主機資源的具體地址，如目錄和檔案名稱等。

第一部分和第二部分用“://”符號隔開，

第二部分和第三部分用“/”符號隔開。

第一部分和第二部分是不可缺少的，第三部分有時可以省略。 

 

五、URL和URI簡單比較

URI屬於URL更低層次的抽象，一種字串文本標準。

換句話說，URI屬於父類，而URL屬於URI的子類。URL是URI的一個子集。

URI的定義是：統一資源識別項；

URL的定義是：統一資源定位器。

二者的區別在於，URI表示請求伺服器的路徑，定義這麼一個資源。

而URL同時說明要如何訪問這個資源（http://）。

 

下面來看看兩個URL的小例子。

 

1.HTTP協議的URL樣本：
使用超級文本傳輸協議HTTP，提供超級文本資訊服務的資源。 

例：http://www.peopledaily.com.cn/channel/welcome.htm 

其電腦網域名稱為www.peopledaily.com.cn。

超級文字檔(檔案類型為.html)是在目錄 /channel下的welcome.htm。

這是中國人民日報的一台電腦。 

例：http://www.rol.cn.NET/talk/talk1.htm 

其電腦網域名稱為www.rol.cn.Net。

超級文字檔(檔案類型為.html)是在目錄/talk下的talk1.htm。

這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1室。

2．檔案的URL
用URL表示檔案時，伺服器方式用file表示，後面要有主機IP地址、檔案的存取路 徑(即目錄)和檔案名稱等資訊。

有時可以省略目錄和檔案名稱，但“/”符號不能省略。 

例：file://ftp.yoyodyne.com/pub/files/foobar.txt 

上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個檔案，檔案名稱是foobar.txt。

例：file://ftp.yoyodyne.com/pub 

代表主機ftp.yoyodyne.com上的目錄/pub。 

例：file://ftp.yoyodyne.com/ 

代表主機ftp.yoyodyne.com的根目錄。 

 

爬蟲最主要的處理對象就是URL，它根據URL地址取得所需要的檔案內容，然後對它 進行進一步的處理。

因此，準確地理解URL對理解網路爬蟲至關重要

原版：http://blog.csdn.net/pleasecallmewhy/article/details/8922826