Python實現抓取頁面上連結的簡單爬蟲分享_python

除了C/C++以外，我也接觸過不少流行的語言，PHP、java、javascript、python，其中python可以說是操作起來最方便，缺點最少的語言了。

前幾天想寫爬蟲，後來跟朋友商量了一下，決定過幾天再一起寫。爬蟲裡重要的一部分是抓取頁面中的連結，我在這裡簡單的實現一下。

首先我們需要用到一個開源的模組，requests。這不是python內建的模組，需要從網上下載、解壓與安裝：

複製代碼 代碼如下:

$ curl -OL https://github.com/kennethreitz/requests/zipball/master
$ python setup.py install

windows使用者直接點擊下載。解壓後再本地使用命令python setup.py install安裝即可。 https://github.com/kennethreitz/requests/zipball/master

這個模組的文檔我也正在慢慢翻譯，翻譯完了就給大家傳上來（英文版先發在附件裡）。就像它的說明裡面說的那樣，built for human beings,為人類而設計。使用它很方便，自己看文檔。最簡單的，requests.get()就是發送一個get請求。

代碼如下：

複製代碼 代碼如下:

# coding:utf-8
import re
import requests

# 擷取網頁內容
r = requests.get('http://www.163.com')
data = r.text

# 利用正則尋找所有串連
link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)
for url in link_list:
    print url

首先import進re和requests模組，re模組是使用Regex的模組。

data = requests.get('http://www.163.com')，向網易首頁提交get請求，得到一個requests對象r，r.text就是獲得的網頁原始碼，儲存在字串data中。

再利用正則尋找data中所有的連結，我的正則寫的比較粗糙，直接把href=""或href=''之間的資訊擷取到，這就是我們要的連結資訊。

re.findall返回的是一個列表，用for迴圈遍曆列表並輸出：

這是我擷取到的所有串連的一部分。

上面是擷取網站裡所有連結的一個簡單的實現，沒有處理任何異常，沒有考慮到超連結的類型，代碼僅供參考。requests模組文檔見附件。