php snoopy採集類介紹_PHP教程

Snoopy是一個用來類比瀏覽器的一些簡易功能的php類，可以擷取網頁內容，發送表單等操作。Snoopy正確運行需要你的伺服器的PHP版本在4以上，並且支援PCRE（Perl Compatible Regular Expressions），基本的LAMP服務都支援。由於它本身是php一個類，無需擴支援，因此在伺服器不支援curl的時候是最好的選擇。

Snoopy的特點：

1、抓取網頁的內容 fetch

2、抓取網頁的常值內容 (去除HTML標籤) fetchtext

3、抓取網頁的連結，表單 fetchlinks fetchform

4、支援代理主機

5、支援基本的使用者名稱/密碼驗證

6、支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔)

7、支援瀏覽器重新導向，並能控制重新導向深度

8、能把網頁中的連結擴充功能成高品質的url(預設)

9、提交資料並且擷取傳回值

10、支援跟蹤HTML架構

11、支援重新導向的時候傳遞cookies

Snoopy類的下載地址：http://sourceforge.net/projects/snoopy/

Snoopy類方法:

fetch($URI)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被儲存在 $this->results 中。如果你正在抓取的是一個架構，Snoopy將會將每個架構追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。

fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。

fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。

submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。 預設情況下，相對連結將自動補全，轉換成完整的URL。

Snoopy類屬性: (預設值在括弧裡)

$host 串連的主機
$port 串連的連接埠
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機連接埠，如果有的話
$agent 使用者代理程式偽裝 (Snoopy v0.1)
$referer 來路資訊，如果有的話
$cookies cookies， 如果有的話
$rawheaders 其他的頭資訊, 如果有的話
$maxredirs 最大重新導向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將連結都補全為完整地址 (true)
$user 認證使用者名稱, 如果有的話
$pass 認證使用者名稱, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從伺服器返回的響應代碼
$headers 從伺服器返回的頭資訊
$maxlength 最長返回資料長度
$read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+)
設定為0為沒有逾時
$timed_out 如果一次讀取操作逾時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的架構最大數量
$status 抓取的http的狀態
$temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

Snoopy使用樣本：

（1）擷取指定url內容

$url='http://www.phpernote.com';include('snoopy.php');$snoopy=new Snoopy;$snoopy->fetch($url);//擷取所有內容 echo $snoopy->results;//顯示結果 $snoopy->fetchtext //擷取常值內容（去掉html代碼） $snoopy->fetchlinks //擷取頁面所有連結 $snoopy->fetchform //擷取頁面表單資訊

（2）提交表單

include 'snoopy.php';$snoopy=new Snoopy;$formvars['username']='admin';$formvars['pwd']='admin';$action='http://www.phpernote.com';//表單提交地址 $snoopy->submit($action,$formvars);//$formvars為提交的數組 echo $snoopy->results;//擷取表單提交後的 返回的結果 $snoopy->submittext;//提交後只返回去除html的文本 $snoopy->submitlinks;//提交後只返回連結

（3）使用Snoopy來偽裝

$formvars['username']='admin';$formvars['pwd']='admin';$action='http://www.phpernote.com';include 'snoopy.php';$snoopy=new Snoopy;$snoopy->cookies['PHPSESSID']='fc206b1918bd522cc863p36890e6notef7';//偽裝sessionid $snoopy->agent='(compatible;MSIE 4.01;MSN 2.5;AOL 4.0;Windows 98)';//偽裝瀏覽器 $snoopy->referer='http://www.phpernote.com';//偽裝來源頁地址 http_referer $snoopy->rawheaders['Pragma']='no-cache';//cache 的http頭資訊 $snoopy->rawheaders['X_FORWARDED_FOR']='127.0.0.1';//偽裝ip $snoopy->submit($action,$formvars);echo $snoopy->results;

您可能感興趣的文章

• php提示PHP Warning: date(): It is not safe to rely on the......錯誤的解決辦法
• php 簡單計算權重的方法（適合抽獎類的應用）
• php session和cookie的區別
• 強大的PHP 圖片處理類(浮水印、透明度、縮放、銳利化、旋轉、翻轉、剪下、反色)
• PHP新手用的Insert和Update語句構造類
• php bom去除工具,php批量去除bom的代碼
• PHP Curl批量多線程開啟網址的類
• phpMyAdmin Cannot start session without errors錯誤解決辦法

http://www.bkjia.com/PHPjc/764105.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/764105.htmlTechArticleSnoopy是一個用來類比瀏覽器的一些簡易功能的php類，可以擷取網頁內容，發送表單等操作。Snoopy正確運行需要你的伺服器的PHP版本在4以上，...

