PHP採摘利器：Snoopy 試用心得

PHP採集利器：Snoopy 試用心得

　Snoopy是一個php類，用來類比瀏覽器的功能，可以擷取網頁內容，發送表單。Snoopy正確運行需要你的伺服器的PHP版本在4以上，並且支援PCRE（Perl Compatible Regular Expressions），基本的LAMP服務都支援。

一、Snoopy的一些特點:

　　1.抓取網頁的內容 fetch

　　2.抓取網頁的常值內容 (去除HTML標籤) fetchtext

　　3.抓取網頁的連結，表單 fetchlinks fetchform

　　4.支援代理主機

　　5.支援基本的使用者名稱/密碼驗證

　　6.支援設定user_agent, referer(來路), cookies和header content(標頭檔)

　　7.支援瀏覽器重新導向，並能控制重新導向深度

　　8.能把網頁中的連結擴充功能成高品質的url(預設)

　　9.提交資料並且擷取傳回值

　　10.支援跟蹤HTML架構

　　11.支援重新導向的時候傳遞cookies，要求php4以上就可以了，由於本身是php一個類，無需擴支援，伺服器不支援curl時候的最好選擇。

二、類方法:

fetch($URI)
———–

　　這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被儲存在 $this->results 中。如果你正在抓取的是一個架構，Snoopy將會將每個架構追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)
—————

　　本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。

fetchform($URI)
—————

　　本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。

fetchlinks($URI)
—————-

　　本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。
預設情況下，相對連結將自動補全，轉換成完整的URL。

submit($URI,$formvars)
———————-

　　本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

submittext($URI,$formvars)
————————–

　　本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。

submitlinks($URI)
—————-

　　本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。
預設情況下，相對連結將自動補全，轉換成完整的URL。

三、類屬性: (預設值在括弧裡)

$host 串連的主機
$port 串連的連接埠
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機連接埠，如果有的話
$agent 使用者代理程式偽裝 (Snoopy v0.1)
$referer 來路資訊，如果有的話
$cookies cookies， 如果有的話
$rawheaders 其他的頭資訊, 如果有的話
$maxredirs 最大重新導向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將連結都補全為完整地址 (true)
$user 認證使用者名稱, 如果有的話
$pass 認證使用者名稱, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從伺服器返回的響應代碼
$headers 從伺服器返回的頭資訊
$maxlength 最長返回資料長度
$read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+)
設定為0為沒有逾時
$timed_out 如果一次讀取操作逾時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的架構最大數量
$status 抓取的http的狀態
$temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

四、以下是demo

include "Snoopy.class.php";  $snoopy = new Snoopy; $snoopy->proxy_host = "www.baidu.com";  $snoopy->proxy_port = "8080"; $snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";  $snoopy->referer = "http://www.baidu.com/"; $snoopy->cookies["SessionID"] = 238472834723489l;  $snoopy->cookies["favoriteColor"] = "RED"; $snoopy->rawheaders["Pragma"] = "no-cache"; $snoopy->maxredirs = 2;  $snoopy->offsiteok = false;  $snoopy->expandlinks = false; $snoopy->user = "joe";  $snoopy->pass = "bloe"; if($snoopy->fetchtext("http://www.baidu.com"))  {        echo " 
".htmlspecialchars($snoopy->results)." 
\n"; 
  } 
  else 
      echo "error fetching document: ".$snoopy->error."\n";snoopy採集phpchina樣本 submit($submit_url,$submit_vars); if ($snoopy->results) {     //擷取串連地址     $snoopy->fetchlinks("http://www.phpchina.com/bbs");     $url=array();     $url=$snoopy->results;     //print_r($url);     foreach ($url as $key=>$value)     {         //匹配http://www.phpchina.com/bbs/forumdisplay.php?fid=156&sid=VfcqTR地址即論壇板塊地址         if (!preg_match("/^(http:\/\/www\.phpchina\.com\/bbs\/forumdisplay\.php\?fid=)[0-9]*&sid=[a-zA-Z]{6}/i",$value))         {             unset($url[$key]);         }     }     //print_r($url);     //擷取到板塊數組$url，逐一查看，此處擷取第一個模組第一頁的資料     $i=0;     foreach ($url as $key=>$value)     {         if ($i>=1)         {             //測試限制             break;         }         else         {             //訪問該模組，提取文章的串連地址，正式訪問裡需要提取文章分頁的資料，然後根據分頁資料提取貼文數據             $snoopy=new Snoopy();             $snoopy->fetchlinks($value);             $tie=array();             $tie[$i]=$snoopy->results;             //print_r($tie);             //轉換數組             foreach ($tie[$i] as $key=>$value)             {                 //匹配http://www.phpchina.com/bbs/viewthread.php?tid=68127& extra=page%3D1&page=1&sid=iBLZfK                 if (!preg_match("/^(http:\/\/www\.phpchina\.com\/bbs\/viewthread\.php\?tid=)[0-9]*&extra=page\%3D1&page=[0-9]*&sid=[a-zA-Z]{6}/i",$value))                 {                     unset($tie[$i][$key]);                 }             }             //print_r($tie[$i]);             //歸類數組，將同一個文章不同頁面的內容放一個數組裡             $left='';//串連左邊公用地址             $j=0;             $page=array();             foreach ($tie[$i] as $key=>$value)             {                 $left=substr($value,0,52);                 $m=0;                 foreach ($tie[$i] as $pkey=>$pvalue)                 {                     //重組數組                     if (substr($pvalue,0,52)==$left)                     {                         $page[$j][$m]=$pvalue;                         $m++;                     }                 }                 $j++;             }             //去除重複項開始             //$page=array_unique($page);只能用於一維數組             $paget[0]=$page[0];             $nums=count($page);             for ($n=1;$n <$nums;$n++)             {                 $paget[$n]=array_diff($page[$n],$page[$n-1]);             }             //去除多維陣列重複值結束             //去除數組空值             unset($page);             $page=array();//重新定義page數組             $page=array_filter($paget);             //print_r($page);             $u=0;             $title=array();             $content=array();             $temp='';             $tt=array();             foreach ($page as $key=>$value)             {                 //外圍迴圈，針對一個文章                 if (is_array($value))                 {                     foreach ($value as $k1=>$v1)                     {                         //頁內迴圈，針對一個文章的N頁                         $snoopy=new Snoopy();                         $snoopy->fetch($v1);                         $temp=$snoopy->results;                         //讀取標題                         if (!preg_match_all("/ 
(.*) <\/h2>/i",$temp,$tt))                         {                             echo "no title";                             exit;                         }                         else                         {                             $title[$u]=$tt[1][1];                         }                         unset($tt);                         //讀取內容                         if (!preg_match_all("/ (.*) <\/div>/i",$temp,$tt))                         {                             print_r($tt);                             echo "no content1";                             exit;                         }                         else                         {                             foreach ($tt[1] as $c=>$c2)                             {                                 $content[$u].=$c2;                             }                         }                     }                 }                 else                 {                     //直接取頁內容                     $snoopy=new Snoopy();                     $snoopy->fetch($value);                     $temp=$snoopy->results;                     //讀取標題                     if (!preg_match_all("/ 
(.*) <\/h2>/i",$temp,$tt))                     {                         echo "no title";                         exit;                     }                     else                     {                         $title[$u]=$tt[1][1];                     }                     unset($tt);                     //讀取內容                     if (!preg_match_all("/ (.*) <\/div>/i",$temp,$tt))                     {                         echo "no content2";                         exit;                     }                     else                     {                         foreach ($tt[1] as $c=>$c2)                         {                             $content[$u].=$c2;                         }                     }                 }                 $u++;             }             print_r($content);         }         $i++;     } } else {     echo "login failed";     exit; } ?>

??

