小偷程式其實就是利用了php中的一特定函數實現採集別人網站的內容,然後通過正則分析把我們想要的內容儲存到自己本機資料庫了,下面我來介紹php小偷程式的實現方法,有需要的朋友可參考。
在下面採集資料過程中file_get_contents函數是關鍵了,下面我們來看看file_get_contents函數文法
string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = -1 [, int $maxlen ]]]] )
和 file() 一樣,只除了 file_get_contents() 把檔案讀入一個字串。將在參數 offset 所指定的位置開始讀取長度為 maxlen 的內容。如果失敗, file_get_contents() 將返回 FALSE。
file_get_contents() 函數是用來將檔案的內容讀入到一個字串中的首選方法。如果作業系統支援還會使用記憶體映射技術來增強效能。
例
| 代碼如下 |
複製代碼 |
$homepage = file_get_contents('http://www.hzhuti.com/'); echo $homepage; ?> |
這樣$homepage就是我們採集網的內容給儲存下來了,好了說了這麼多我們開始吧。
例
| 代碼如下 |
複製代碼 |
function fetch_urlpage_contents($url){ $c=file_get_contents($url); return $c; } //擷取匹配內容 function fetch_match_contents($begin,$end,$c) { $begin=change_match_string($begin); $end=change_match_string($end); $p = "{$begin}(.*){$end}"; if(eregi($p,$c,$rs)) { return $rs[1];} else { return "";} }//轉義Regex字串 function change_match_string($str){ //注意,以下只是簡單轉義 //$old=array("/","$"); //$new=array("/","$"); $str=str_replace($old,$new,$str); return $str; } //採集網頁 function pick($url,$ft,$th) { $c=fetch_urlpage_contents($url); foreach($ft as $key => $value) { $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c); if(is_array($th[$key])) { foreach($th[$key] as $old => $new) { $rs[$key]=str_replace($old,$new,$rs[$key]); } } } return $rs; } $url="http://www.bkjia.com"; //要採集的地址 $ft["title"]["begin"]=""; //截取的開始點<br />$ft["title"]["end"]=""; //截取的結束點 $th["title"]["中山"]="廣東"; //截取部分的替換 $ft["body"]["begin"]=""; //截取的開始點 $ft["body"]["end"]=""; //截取的結束點 $th["body"]["中山"]="廣東"; //截取部分的替換 $rs=pick($url,$ft,$th); //開始採集 echo $rs["title"]; echo $rs["body"]; //輸出 ?> |
以下代碼從上一面修改而來,專門用於提取網頁所有超連結,郵箱或其他特定內容
| 代碼如下 |
複製代碼 |
function fetch_urlpage_contents($url){ $c=file_get_contents($url); return $c; } //擷取匹配內容 function fetch_match_contents($begin,$end,$c) { $begin=change_match_string($begin); $end=change_match_string($end); $p = "#{$begin}(.*){$end}#iU";//i表示忽略大小寫,U禁止貪婪匹配 if(preg_match_all($p,$c,$rs)) { return $rs;} else { return "";} }//轉義Regex字串 function change_match_string($str){ //注意,以下只是簡單轉義 $old=array("/","$",'?'); $new=array("/","$",'?'); $str=str_replace($old,$new,$str); return $str; } //採集網頁 function pick($url,$ft,$th) { $c=fetch_urlpage_contents($url); foreach($ft as $key => $value) { $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c); if(is_array($th[$key])) { foreach($th[$key] as $old => $new) { $rs[$key]=str_replace($old,$new,$rs[$key]); } } } return $rs; } $url="http://www.bkjia.com"; //要採集的地址 $ft["a"]["begin"]=' $ft["a"]["end"]='>'; //截取的結束點 $rs=pick($url,$ft,$th); //開始採集 print_r($rs["a"]); ?> |
小提示file_get_contents很是容易被防採集了,我們可以使用curl來模仿使用者對網站進行訪問,這算比上面要進階不少哦,file_get_contents()效率稍低些,常用失敗的情況、curl()效率挺高的,支援多線程,不過需要開啟下curl擴充。下面是curl擴充開啟的步驟:
1、將PHP檔案夾下的三個檔案php_curl.dll,libeay32.dll,ssleay32.dll複製到system32下;
2、將php.ini(c:WINDOWS目錄下)中的;extension=php_curl.dll中的分號去掉;
3、重啟apache或者IIS。
簡單的抓取頁面函數,附帶偽造 Referer 和 User_Agent 功能
| 代碼如下 |
複製代碼 |
function GetSources($Url,$User_Agent='',$Referer_Url='') //抓取某個指定的頁面 { //$Url 需要抓取的頁面地址 //$User_Agent 需要返回的user_agent資訊 如“baiduspider”或“googlebot” $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $Url); curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent); curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url); curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); $MySources = curl_exec ($ch); curl_close($ch); return $MySources; } $Url = "http://www.bkjia.com"; //要擷取內容的也沒 $User_Agent = "baiduspider+(+http://www.baidu.com/search/spider.htm)"; $Referer_Url = 'http://www.jb51.net/'; echo GetSources($Url,$User_Agent,$Referer_Url); ?> |
http://www.bkjia.com/PHPjc/444620.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/444620.htmlTechArticle小偷程式其實就是利用了php中的一特定函數實現採集別人網站的內容,然後通過正則分析把我們想要的內容儲存到自己本機資料庫了,下面...