一個PHP實現的輕量級簡單爬蟲_php執行個體

最近需要收集資料，在瀏覽器上用另存新檔的方式實在是很麻煩，而且不利於儲存和檢索。所以自己寫了一個小爬蟲，在網上爬東西，迄今為止，已經爬了近百 萬張網頁。現在正在想辦法著手處理這些資料。

爬蟲的結構：
   爬蟲的原理其實很簡單，就是分析下載的頁面，找出其中的串連，然後再下載這些連結，再分析再下載，周而復始。在資料存放區方面，資料庫是首選，便於檢索，而 開發語言，只要支援Regex就可以了，資料庫我選擇了mysql，所以，開發指令碼我選擇了php。它支援perl相容Regex，串連mysql很方 便，支援http下載，而且windows系統和linux系統都可以部署。

Regex:
  Regex是處理文字的基本工具，要取出html中的連結和圖片，使用的Regex如下。

複製代碼 代碼如下:

   "#<a[^>]+href=(['\"])(.+)\\1#isU"   處理連結
    "#<img[^>]+src=(['\"])(.+)\\1#isU" 處理圖片

其他問題:
  寫爬蟲還需要注意的一個問題是，對於已經下載過的url，不能重複進行下載，而有些網頁的連結會形成環路，所以需要處理這個問題，我的處理方法是計算已經 處理的url的MD5 值，並存入資料庫，這樣就可以檢驗是否已經下載過。當然還有更好的演算法，有興趣的話，可以在網上找一下。

相關協議:
  爬蟲也有自己的協議，有個robots.txt檔案定義了那些是網站允許遍曆的，但是由於我的時間有限，沒有實現這個功能。

其他說明:
  php支援類編程,我寫的爬蟲主要的類.
  1.url處理web_site_info，主要用處理url，分析網域名稱等。
  2.資料庫操作mysql_insert.php,處理和資料庫相關的操作。
  3.記錄處理，記錄已經處理的url。
  4.爬蟲類。

存在的問題和不足

  這個爬蟲在小資料量的情況下，運行良好，但是在大資料量的情況下，記錄處理類的效率就不是很高，通過在資料庫結構中，對相關欄位進行了索引，速度有了 提高，但是需要不斷得讀取資料，可能和php本身的array實現有關係，如果一次載入10萬條記錄，速度非常慢。
  不支援多線程，每次只能處理一個url。
  php運行本身有記憶體使用量量限制，有一次在抓取深度為20的頁面的時候，記憶體用盡程式被殺。

下面的url是源碼下載。

http://xiazai.jb51.net/201506/other/net_spider.rar

使用的時候，先在mysql中建立net_spider資料庫，然後用db.sql建立相關表。再在config.php中設定mysql 的使用者名稱口令。
最後

複製代碼 代碼如下:

php -f spider.php 深度(數值) url

就可以開始工作。如

複製代碼 代碼如下:

php -f spider.php 20 http://news.sina.com.cn

現在感覺下來，其實做個爬蟲沒那麼複雜，難的是資料的儲存和檢索。我現在的資料庫，最大一個資料表已經15G，正在想辦處理這些資料，mysql進 行查詢已經感覺有點力不從心了。這點上還真佩服google

<?php#載入頁面function curl_get($url){    $ch=curl_init();    curl_setopt($ch,CURLOPT_URL,$url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    curl_setopt($ch,CURLOPT_HEADER,1);    $result=curl_exec($ch);    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);    if($code!='404' && $result){     return $result;    }    curl_close($ch);}#擷取頁面url連結function get_page_urls($spider_page_result,$base_url){  $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out);  if($get_url_result){    return $out[1];  }else{    return;  }}#相對路徑轉絕對路徑function xdtojd($base_url,$url_list){ if(is_array($url_list)){  foreach($url_list as $url_item){    if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){      $result_url_list[]=$url_item;    }else {     if(preg_match("/^\//",$url_item)){      $real_url = $base_url.$url_item;     }else{      $real_url = $base_url."/".$url_item;     }     #$real_url = 'http://www.sumpay.cn/'.$url_item;      $result_url_list[] = $real_url;     }  }   return $result_url_list; }else{   return; }}#刪除其他網站urlfunction other_site_url_del($jd_url_list,$url_base){ if(is_array($jd_url_list)){  foreach($jd_url_list as $all_url){    echo $all_url;    if(strpos($all_url,$url_base)===0){     $all_url_list[]=$all_url;    }    }  return $all_url_list; }else{  return; }}#刪除相同URLfunction url_same_del($array_url){   if(is_array($array_url)){     $insert_url=array();     $pizza=file_get_contents("/tmp/url.txt");     if($pizza){        $pizza=explode("\r\n",$pizza);        foreach($array_url as $array_value_url){         if(!in_array($array_value_url,$pizza)){          $insert_url[]=$array_value_url;          }        }        if($insert_url){           foreach($insert_url as $key => $insert_url_value){             #這裡只做了參數相同去重處理             $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);             foreach($pizza as $pizza_value){                $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);                if($update_insert_url==$update_pizza_value){                   unset($insert_url[$key]);                   continue;                }             }           }        }          }else{        $insert_url=array();        $insert_new_url=array();        $insert_url=$array_url;        foreach($insert_url as $insert_url_value){         $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);         $insert_new_url[]=$update_insert_url;          }        $insert_new_url=array_unique($insert_new_url);        foreach($insert_new_url as $key => $insert_new_url_val){          $insert_url_bf[]=$insert_url[$key];        }         $insert_url=$insert_url_bf;     }     return $insert_url;   }else{    return;    }} $current_url=$argv[1];$fp_puts = fopen("/tmp/url.txt","ab");//記錄url列表 $fp_gets = fopen("/tmp/url.txt","r");//儲存url列表 $url_base_url=parse_url($current_url);if($url_base_url['scheme']==""){  $url_base="http://".$url_base_url['host'];}else{  $url_base=$url_base_url['scheme']."://".$url_base_url['host'];}do{  $spider_page_result=curl_get($current_url);  #var_dump($spider_page_result);  $url_list=get_page_urls($spider_page_result,$url_base);  #var_dump($url_list);  if(!$url_list){   continue;  }  $jd_url_list=xdtojd($url_base,$url_list);  #var_dump($jd_url_list);  $result_url_arr=other_site_url_del($jd_url_list,$url_base);  var_dump($result_url_arr);  $result_url_arr=url_same_del($result_url_arr);   #var_dump($result_url_arr);   if(is_array($result_url_arr)){     $result_url_arr=array_unique($result_url_arr);       foreach($result_url_arr as $new_url) {          fputs($fp_puts,$new_url."\r\n");        }  }}while ($current_url = fgets($fp_gets,1024));//不斷獲得url preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out);# echo a href#var_dump($out[1]);?>