PHP採集類snoopy執行個體介紹

snoopy是一個php類，用來模仿web瀏覽器的功能，它能完成擷取網頁內容和發送表單的任務。官方網站 http://snoopy.sourceforge.net/

Snoopy的一些功能特點：

• 抓取網頁的內容 fetch()

• 抓取網頁的常值內容 (去除HTML標籤) fetchtext()

• 抓取網頁的連結，表單 fetchlinks() fetchform()

• 支援代理主機

• 支援基本的使用者名稱/密碼驗證

• 支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔)

• 支援瀏覽器重新導向，並能控制重新導向深度

• 能把網頁中的連結擴充功能成高品質的url(預設)

• 提交資料並且擷取傳回值

• 支援跟蹤HTML架構

• 支援重新導向的時候傳遞cookies

要求php4以上就可以。由於本身是php一個類，無需擴支援，伺服器不支援curl時候的最好選擇。

類方法

1. fetch($uri)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被儲存在 $this->results 中。

如果你正在抓取的是一個架構，Snoopy將會將每個架構追蹤後存入數組中，然後存入 $this->results。

1. <?php  $url = "http://www.nowamagic.net/librarys/veda/";  include("./Snoopy.class.php");  $snoopy = new Snoopy;  $snoopy->fetch($url);        //擷取所有內容echo $snoopy->results;       //顯示結果?>

2. fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。

1. <?php  $url = "http://www.nowamagic.net/librarys/veda/";  include("./Snoopy.class.php");  $snoopy = new Snoopy;  $snoopy->fetchtext($url);        //擷取常值內容echo $snoopy->results;       //顯示結果?>

3. fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。

4. fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

5. submit($URI,$formvars)

本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

6. submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。

7. submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。

類屬性 (預設值在括弧裡)

• $host 串連的主機

• $port 串連的連接埠

• $proxy_host 使用的代理主機，如果有的話

• $proxy_port 使用的代理主機連接埠，如果有的話

• $agent 使用者代理程式偽裝 (Snoopy v0.1)

• $referer 來路資訊，如果有的話

• $cookies cookies， 如果有的話

• $rawheaders 其他的頭資訊, 如果有的話

• $maxredirs 最大重新導向次數， 0=不允許 (5)

• $offsiteok whether or not to allow redirects off-site. (true)

• $expandlinks 是否將連結都補全為完整地址 (true)

• $user 認證使用者名稱, 如果有的話

• $pass 認證使用者名稱, 如果有的話

• $accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

• $error 哪裡報錯, 如果有的話

• $response_code 從伺服器返回的響應代碼

• $headers 從伺服器返回的頭資訊

• $maxlength 最長返回資料長度

• $read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+)，設定為0為沒有逾時

• $timed_out 如果一次讀取操作逾時了，本屬性返回 true (requires PHP 4 Beta 4+)

• $maxframes 允許追蹤的架構最大數量

• $status 抓取的http的狀態

• $temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)

• $curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

Demo

1. include "Snoopy.class.php";  $snoopy = new Snoopy;  $snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";  $snoopy->proxy_port = "80";  $snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";  $snoopy->referer = "http://www.4wei.cn";  $snoopy->cookies["SessionID"] = 238472834723489l;  $snoopy->cookies["favoriteColor"] = "RED";  $snoopy->rawheaders["Pragma"] = "no-cache";  $snoopy->maxredirs = 2;  $snoopy->offsiteok = false;  $snoopy->expandlinks = false;  $snoopy->user = "joe";  $snoopy->pass = "bloe";  if($snoopy->fetchtext("http://www.4wei.cn"))  {  echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>n";  }  elseecho "error fetching document: ".$snoopy->error."n";

擷取指定url內容：

1. <?  $url = "http://www.nowamagic.net/librarys/veda/";  include("snoopy.php");  $snoopy = new Snoopy;  $snoopy->fetch($url); //擷取所有內容echo $snoopy->results; //顯示結果//可選以下//$snoopy->fetchtext //擷取常值內容（去掉html代碼）//$snoopy->fetchlinks //擷取連結//$snoopy->fetchform  //擷取表單?>

表單提交：

1. <?php  $formvars["username"] = "admin";  $formvars["pwd"] = "admin";  $action = "http://www.nowamagic.net/librarys/veda/";//表單提交地址  $snoopy->submit($action,$formvars);//$formvars為提交的數組echo $snoopy->results; //擷取表單提交後的 返回的結果//可選以下$snoopy->submittext; //提交後只返回 去除html的 文本$snoopy->submitlinks;//提交後只返回 連結?>

既然已經提交的表單，那就可以做很多事情。接下來我們來偽裝ip，偽裝瀏覽器：

1. <?php  $formvars["username"] = "admin";  $formvars["pwd"] = "admin";  $action = "http://www.4wei.cn";  include "snoopy.php";  $snoopy = new Snoopy;  $snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //偽裝sessionid$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //偽裝瀏覽器$snoopy->referer = http://www.4wei.cn; //偽裝來源頁地址 http_referer$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http頭資訊$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //偽裝ip$snoopy->submit($action,$formvars);  echo $snoopy->results;

2. ?>

原來我們可以偽裝session 偽裝瀏覽器 ，偽裝ip， haha 可以做很多事情了。例如 帶驗證碼，驗證ip 投票， 可以不停的投。

ps:這裡偽裝ip ，其實是偽裝http頭，所以一般的通過 REMOTE_ADDR 擷取的ip是偽裝不了，反而那些通過http頭來擷取ip的(可以防止代理的那種) 就可以自己來製造ip。

關於如何驗證碼 ，簡單說下：首先用普通的瀏覽器， 查看頁面 ， 找到驗證碼所對應的sessionid，同時記下sessionid和驗證碼值，接下來就用snoopy去偽造 。

原理：由於是同一個sessionid 所以取得的驗證碼和第一次輸入的是一樣的。

有時我們可能需要偽造更多的東西，snoopy完全為我們想到了：

1. <?php  $snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";  $snoopy->proxy_port = "8080"; //使用代理$snoopy->maxredirs = 2; //重新導向次數$snoopy->expandlinks = true; //是否補全連結 在採集的時候經常用到// 例如連結為 /images/taoav.gif 可改為它的全連結 <a href="http://www.4wei.cn/images/taoav.gif">http://www.4wei.cn/images/taoav.gif</a>$snoopy->maxframes = 5 //允許的最大架構數//注意抓取架構的時候 $snoopy->results 返回的是一個數組$snoopy->error //返回報錯資訊?>

比較完整的樣本：

1. /*** You need the snoopy.class.php from * http://snoopy.sourceforge.net/*/include("snoopy.class.php");  $snoopy = new Snoopy;  // need an proxy?://$snoopy->proxy_host = "my.proxy.host";//$snoopy->proxy_port = "8080";// set browser and referer:$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";  $snoopy->referer = "http://www.jonasjohn.de/";  // set some cookies:$snoopy->cookies["SessionID"] = '238472834723489';  $snoopy->cookies["favoriteColor"] = "blue";  // set an raw-header:$snoopy->rawheaders["Pragma"] = "no-cache";  // set some internal variables:$snoopy->maxredirs = 2;  $snoopy->offsiteok = false;  $snoopy->expandlinks = false;  // set username and password (optional)//$snoopy->user = "joe";//$snoopy->pass = "bloe";// fetch the text of the website www.google.com:if($snoopy->fetchtext("http://www.google.com")){       // other methods: fetch, fetchform, fetchlinks, submittext and submitlinks    // response code:    print "response code: ".$snoopy->response_code."<br/>n";      // print the headers:    print "<b>Headers:</b><br/>";      while(list($key,$val) = each($snoopy->headers)){          print $key.": ".$val."<br/>n";      }      print "<br/>n";      // print the texts of the website:    print htmlspecialchars($snoopy->results)."n";  }  else {      print "Snoopy: error while fetching document: ".$snoopy->error."n";  }

用Snoopy類完成一個簡單的圖片採集：

1. <meta http-equiv='content-type' content='text/html;charset=utf-8'>  <?php      include 'Snoopy.class.php';   //載入Snoopy類     $snoopy = new Snoopy();       //執行個體化一個對象$sourceURL = "http://www.nowamagic.net/librarys/veda/";    //要抓取的網頁  $snoopy->fetchlinks($sourceURL);        //獲得網頁的連結$a = $snoopy->results;     //得到網頁連結的結果$re = "/d+.html$/";     //匹配的正則//過濾擷取指定的檔案地址請求  foreach ($a as $tmp) {       if (preg_match($re, $tmp)) {          $aa=$tmp;              }      }    getImgURL($aa);  function getImgURL($siteName)   {              $snoopy = new Snoopy();              $snoopy->fetch($siteName);                      $fileContent = $snoopy->results;    //擷取過濾後的頁面的內容                //匹配圖片的Regex            $reTag = "/<img[^s]+src="(http://[^"]+).(jpg|png|gif|jpeg)"[^/]*/>/i";                    if (preg_match($reTag, $fileContent)) {            //過濾圖片        $ret = preg_match_all($reTag, $fileContent, $matchResult);                               for ($i = 0, $len = count($matchResult[1]); $i < $len; ++$i)           {                    saveImgURL($matchResult[1][$i], $matchResult[2][$i]);                      }              }      }          function saveImgURL($name, $suffix) {       $url = $name.".".$suffix;                      echo "請求的圖片地址：".$url."<br/>";                      $imgSavePath = "E:/123/images/";  //圖片儲存地址          $imgId =mt_rand(); //產生一個隨機的檔案名稱    if ($suffix == "gif") {           //根據圖片類型，放入不同的檔案夾下面                   $imgSavePath .= "emotion";              }       else    {                      $imgSavePath .= "topic";              }              $imgSavePath .= ("/".$imgId.".".$suffix);  //組裝要儲存的檔案名稱    if (is_file($imgSavePath)) {             //判斷檔案名稱是否存在，存在則刪除                 unlink($imgSavePath);                      echo "<p style='color:#f00;'>檔案".$imgSavePath."已存在，將被刪除</p>";              }        $imgFile = file_get_contents($url); //讀取網路檔案         $flag = file_put_contents($imgSavePath,$imgFile);   //寫入到本地     if ($flag) {                      echo "<p>檔案".$imgSavePath."儲存成功</p>";              }      }  ?>