PHP採集類Snoopy.class.php介紹以及下載_PHP教程

PHP採集類Snoopy.class.php介紹以及下載

Snoopy 是一個非常強大的PHP類，可以利用該類類比瀏覽器來完成擷取網頁內容和發送表單的任務。下面是詳細介紹Snoopy.class.php 的特點和一些常見的用法。

官方網站：http://snoopy.sourceforge.net/ （不能開啟國外網站的可使用天行瀏覽器）

下載地址：http://sourceforge.net/projects/snoopy/

本站下載地址：PHP採集庫Snoopy.class.php下載

下面是Snoopy的一些特點：

1、抓取網頁的內容 fetch
2、抓取網頁的常值內容 (去除HTML標籤) fetchtext
3、抓取網頁的連結，表單 fetchlinks fetchform
4、支援代理主機
5、支援基本的使用者名稱/密碼驗證
6、支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔)
7、支援瀏覽器重新導向，並能控制重新導向深度
8、能把網頁中的連結擴充功能成高品質的url(預設)
9、提交資料並且擷取傳回值
10、支援跟蹤HTML架構 （v0.92增加）
11、支援重新導向的時候傳遞cookies

備忘：使用 Snoopy.class.php 要求php4以上就可以了，由於本身是php一個類，無需擴支援，伺服器不支援curl時候的最好選擇。

下面是一些常用的類方法介紹:

fetch($URI)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址，抓取的結果被儲存在 $this->results 中。如果你正在抓取的是一個架構，Snoopy將會將每個架構追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。

fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。

fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。

submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

類屬性: （預設值在括弧裡）

$host 串連的主機
$port 串連的連接埠
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機連接埠，如果有的話
$agent 使用者代理程式偽裝 (Snoopy v0.1)
$referer 來路資訊，如果有的話
$cookies cookies， 如果有的話
$rawheaders 其他的頭資訊, 如果有的話
$maxredirs 最大重新導向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將連結都補全為完整地址 (true)
$user 認證使用者名稱, 如果有的話
$pass 認證使用者名稱, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從伺服器返回的響應代碼
$headers 從伺服器返回的頭資訊
$maxlength 最長返回資料長度
$read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+) 設定為0為沒有逾時
$timed_out 如果一次讀取操作逾時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的架構最大數量
$status 抓取的http的狀態
$temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

如下是幾個常見的使用樣本：

（1）抓取php程式員的筆記網站上首頁頁面上的文字

fetchtext("http://www.phpernote.com");echo $snoopy->results;

（2）抓取php程式員的筆記網站首頁的頁面的所有連結

fetchlinks("http://www.phpernote.com");print_r($snoopy->results);

（3）擷取登陸人人網需要發送什麼欄位，目標地址是什麼

fetchform("http://www.renren.com/PLogin.do");print_r($snoopy->results);

（4）類比登陸人人網

referer='http://www.renren.com/';$snoopy->agent="Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20100101 Firefox/22.0";$submit_vars['email'] ='登陸帳號';$submit_vars['password'] ='登陸密碼';$url='http://www.renren.com/PLogin.do';//登陸資料提交的URL地址$snoopy->submit($url,$submit_vars);$snoopy->fetch("http://www.renren.com/");//希望擷取的頁面資料echo $snoopy->results;//www.phpernote.com

您可能感興趣的文章

• php利用curl實現多線程的類,php curl多線程下載圖片
• php snoopy採集類介紹
• PHP 利用 Curl Functions 實現多線程抓取網頁和下載檔案
• php實現將檔案批量壓縮打包下載
• 強大的PHP 圖片處理類(浮水印、透明度、縮放、銳利化、旋轉、翻轉、剪下、反色)
• 用PHP函數memory_get_usage擷取當前PHP記憶體消耗量以實現程式的效能最佳化
• php限制檔案下載速度的功能
• 如何去除codeIgniter開發的網站url裡面的index.php字串

http://www.bkjia.com/PHPjc/930520.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/930520.htmlTechArticlePHP採集類Snoopy.class.php介紹以及下載 Snoopy 是一個非常強大的PHP類，可以利用該類類比瀏覽器來完成擷取網頁內容和發送表單的任務。下面是...

