php snoopy採集類(類比瀏覽器)介紹

Snoopy的特點：

1、抓取網頁的內容 fetch

2、抓取網頁的常值內容 (去除HTML標籤) fetchtext

3、抓取網頁的連結，表單 fetchlinks fetchform

4、支援代理主機

5、支援基本的使用者名稱/密碼驗證

6、支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔)

7、支援瀏覽器重新導向，並能控制重新導向深度

8、能把網頁中的連結擴充功能成高品質的url(預設)

9、提交資料並且擷取傳回值

10、支援跟蹤HTML架構

11、支援重新導向的時候傳遞cookies

Snoopy類的下載地址：http://sourceforge.net/projects/snoopy/

Snoopy類方法:

fetch($URI)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被儲存在 $this->results 中。如果你正在抓取的是一個架構，Snoopy將會將每個架構追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。

fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。

fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。

submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。 預設情況下，相對連結將自動補全，轉換成完整的URL。

Snoopy類屬性: (預設值在括弧裡)

$host 串連的主機
$port 串連的連接埠
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機連接埠，如果有的話
$agent 使用者代理程式偽裝 (Snoopy v0.1)
$referer 來路資訊，如果有的話
$cookies cookies， 如果有的話
$rawheaders 其他的頭資訊, 如果有的話
$maxredirs 最大重新導向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將連結都補全為完整地址 (true)
$user 認證使用者名稱, 如果有的話
$pass 認證使用者名稱, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從伺服器返回的響應代碼
$headers 從伺服器返回的頭資訊
$maxlength 最長返回資料長度
$read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+)
設定為0為沒有逾時
$timed_out 如果一次讀取操作逾時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的架構最大數量
$status 抓取的http的狀態
$temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

Snoopy使用樣本：

（1）擷取指定url內容

代碼如下	複製代碼
$url='http://www.111cn.net'; include('snoopy.php'); $snoopy=new Snoopy; $snoopy->fetch($url);//擷取所有內容 echo $snoopy->results;//顯示結果 $snoopy->fetchtext //擷取常值內容（去掉html代碼） $snoopy->fetchlinks //擷取頁面所有連結 $snoopy->fetchform //擷取頁面表單資訊

（2）提交表單

代碼如下	複製代碼
include 'snoopy.php'; $snoopy=new Snoopy; $formvars['username']='admin'; $formvars['pwd']='admin'; $action='http://www.111cn.net';//表單提交地址 $snoopy->submit($action,$formvars);//$formvars為提交的數組 echo $snoopy->results;//擷取表單提交後的 返回的結果 $snoopy->submittext;//提交後只返回去除html的文本 $snoopy->submitlinks;//提交後只返回連結

（3）使用Snoopy來偽裝

代碼如下

複製代碼

$formvars['username']='admin'; $formvars['pwd']='admin'; $action='http://www.111cn.net'; include 'snoopy.php'; $snoopy=new Snoopy; $snoopy->cookies['PHPSESSID']='fc206b1918bd522cc863p36890e6notef7';//偽裝sessionid $snoopy->agent='(compatible;MSIE 4.01;MSN 2.5;AOL 4.0;Windows 98)';//偽裝瀏覽器 $snoopy->referer='http://www.111cn.net';//偽裝來源頁地址 http_referer $snoopy->rawheaders['Pragma']='no-cache';//cache 的http頭資訊 $snoopy->rawheaders['X_FORWARDED_FOR']='127.0.0.1';//偽裝ip $snoopy->submit($action,$formvars); echo $snoopy->results;