python 網路爬蟲學習筆記（一）

標籤：python 爬蟲

 為了方便，在Windows下我用了PyCharm，個人感覺這是一款優秀的python學習軟體。爬蟲，即網路爬蟲，大家可以理解為在網路上爬行的一直蜘蛛，互連網就比作一張大網，而爬蟲便是在這張網上爬來爬去的蜘蛛咯，如果它遇到資源，那麼它就會抓取下來。

 學習python爬蟲前，先學習下其他的一些知識：

（一）url

URL，即統一資源定位器，也就是我們說的網址，統一資源定位器是對可以從互連網上得到的資源的位置和存取方法的一種簡潔的表示，是互連網上標準資源的地址。互連網上的每個檔案都有一個唯一的URL，它包含的資訊指出檔案的位置以及瀏覽器應該怎麼處理它。

URL的格式由三部分組成：
①第一部分是協議(或稱為服務方式)。
②第二部分是存有該資源的主機IP地址(有時也包括連接埠號碼)。
③第三部分是主機資源的具體地址，如目錄和檔案名稱等

（二）urllib和urllib2庫

urllib和urllib2庫是學習Python爬蟲最基本的庫，利用這個庫我們可以得到網頁的內容，並對內容用Regex提取分析，得到我們想要的結果。

（三）Regex

Regex是一種用來匹配字串的強有力的武器。它的設計思想是用一種描述性的語言來給字串定義一個規則，凡是符合規則的字串，我們就認為它“匹配”了，否則，該字串就是不合法的。

python 網路爬蟲學習筆記（一）