Python網路爬蟲項目：內容提取器的定義，python提取器

Python網路爬蟲項目：內容提取器的定義，python提取器

1. 項目背景

在python 即時網路爬蟲項目啟動說明中我們討論一個數字：程式員浪費在調測內容擷取規則上的時間，從而我們發起了這個項目，把程式員從繁瑣的調測規則中解放出來，投入到更高端的資料處理工作中。

2. 解決方案

為瞭解決這個問題，我們把影響通用性和工作效率的提取器隔離出來，描述了如下的資料處理流程圖：

圖中“可插拔提取器”必須很強的模組化，那麼關鍵的介面有:

1. 標準化的輸入：以標準的HTML DOM對象為輸入
2. 標準化的內容提取：使用標準的xslt模板提取網頁內容
3. 標準化的輸出：以標準的XML格式輸出從網頁上提取到的內容
4. 明確的提取器插拔介面：提取器是一個明確定義的類，通過類方法與爬蟲引擎模組互動

3. 提取器代碼

可插拔提取器是即時網路爬蟲項目的核心組件，定義成一個類： gsExtractor

python原始碼檔案及其說明文檔請從 github 下載

使用模式是這樣的：

1. 執行個體化一個gsExtractor對象
2. 為這個對象設定xslt提取器，相當於把這個對象配置好（使用三類setXXX()方法）
3. 把html dom輸入給它，就能獲得xml輸出（使用extract()方法）

下面是這個gsExtractor類的原始碼

#!/usr/bin/python# -*- coding: utf-8 -*-# 模組名: gooseeker# 類名: gsExtractor# Version: 2.0# 說明: html內容提取器# 功能: 使用xslt作為模板，快速提取HTML DOM中的內容。# released by 集搜客(http://www.gooseeker.com) on May 18, 2016# github: https://github.com/FullerHua/jisou/core/gooseeker.pyfrom urllib import requestfrom urllib.parse import quotefrom lxml import etreeimport timeclass gsExtractor(object):  def _init_(self):    self.xslt = ""  # 從檔案讀取xslt  def setXsltFromFile(self , xsltFilePath):    file = open(xsltFilePath , 'r' , encoding='UTF-8')    try:      self.xslt = file.read()    finally:      file.close()  # 從字串獲得xslt  def setXsltFromMem(self , xsltStr):    self.xslt = xsltStr  # 通過GooSeeker API介面獲得xslt  def setXsltFromAPI(self , APIKey , theme, middle=None, bname=None):    apiurl = "http://www.gooseeker.com/api/getextractor?key="+ APIKey +"&theme="+quote(theme)    if (middle):      apiurl = apiurl + "&middle="+quote(middle)    if (bname):      apiurl = apiurl + "&bname="+quote(bname)    apiconn = request.urlopen(apiurl)    self.xslt = apiconn.read()  # 返回當前xslt  def getXslt(self):    return self.xslt  # 提取方法，入參是一個HTML DOM對象，返回是提取結果  def extract(self , html):    xslt_root = etree.XML(self.xslt)    transform = etree.XSLT(xslt_root)    result_tree = transform(html)    return result_tree

4. 用法樣本
下面是一個樣本程式，示範怎樣使用gsExtractor類提取GooSeeker官網的bbs貼文清單。本樣本有如下特徵

1. 提取器所用的xslt模板提前放在檔案中：xslt_bbs.xml
2. 僅作為樣本，實際使用情境中，xslt來源有多個，最主流的來源是GooSeeker平台上的api
3. 在控制台介面上列印出提取結果

下面是原始碼，都可從 github 下載

#-*_coding:utf8-*-# 使用gsExtractor類的樣本程式# 訪問集搜客論壇，以xslt為模板提取論壇內容# xslt儲存在xslt_bbs.xml中from urllib import requestfrom lxml import etreefrom gooseeker import gsExtractor# 訪問並讀取網頁內容url = "http://www.gooseeker.com/cn/forum/7"conn = request.urlopen(url)doc = etree.HTML(conn.read())# 產生xsltExtractor對象bbsExtra = gsExtractor()# 調用set方法設定xslt內容bbsExtra.setXsltFromFile("xslt_bbs.xml")# 調用extract方法提取所需內容result = bbsExtra.extract(doc)# 顯示提取結果print(str(result))

提取結果如所示：

以上就是本文的全部內容，希望對大家的學習有所協助，也希望大家多多支援幫客之家。