php基於curl實現多線程抓取

本篇文章主要介紹php基於curl實現多線程抓取，感興趣的朋友參考下，希望對大家有所協助。

PHP利用 Curl可以完成各種傳送檔案操作，比如類比瀏覽器發送GET，POST請求等等，然而因為php語言本身不支援多線程，所以開發爬蟲程式效率並不高，因此經常需要藉助Curl Multi Functions 這個功能實現並發多線程的訪問多個url地址以實現並發多線程抓取網頁或者下載檔案

代碼如下：

<?php/*curl 多線程抓取*/ /**    * curl 多線程    *    * @param array $array 並行網址    * @param int $timeout 逾時時間   * @return array    */  function Curl_http($array,$timeout){ $res = array(); $mh = curl_multi_init();//建立多個curl語柄 $startime = getmicrotime(); foreach($array as $k=>$url){  $conn[$k]=curl_init($url);    curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//設定逾時時間    curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');    curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向層級    curl_setopt($conn[$k], CURLOPT_HEADER, 0);//這裡不要header，加塊效率    curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect    curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);    curl_multi_add_handle ($mh,$conn[$k]); } //防止死迴圈耗死cpu 這段是根據網上的寫法 do {  $mrc = curl_multi_exec($mh,$active);//當無資料，active=true } while ($mrc == CURLM_CALL_MULTI_PERFORM);//當正在接受資料時 while ($active and $mrc == CURLM_OK) {//當無資料時或請求暫停時，active=true  if (curl_multi_select($mh) != -1) {  do {   $mrc = curl_multi_exec($mh, $active);  } while ($mrc == CURLM_CALL_MULTI_PERFORM);  } } foreach ($array as $k => $url) {   curl_error($conn[$k]);    $res[$k]=curl_multi_getcontent($conn[$k]);//獲得返回資訊    $header[$k]=curl_getinfo($conn[$k]);//返回頭資訊    curl_close($conn[$k]);//關閉語柄    curl_multi_remove_handle($mh , $conn[$k]);  //釋放資源  } curl_multi_close($mh); $endtime = getmicrotime(); $diff_time = $endtime - $startime; return array('diff_time'=>$diff_time,   'return'=>$res,   'header'=>$header    ); } //計算目前時間 function getmicrotime() {   list($usec, $sec) = explode(" ",microtime());   return ((float)$usec + (float)$sec); } //測試一下，curl 三個網址 $array = array(  "http://www.weibo.com/",  "http://www.renren.com/",  "http://www.qq.com/"  ); $data = Curl_http($array,'10');//調用 var_dump($data);//輸出//如果POST的資料大於1024位元組，curl並不會直接就發起POST請求//發送請求時，header中包含一個空的Expect。curl_setopt($ch, CURLOPT_HTTPHEADER, array("Expect:"));?>

我們再來看幾個例子

（1）下面這段代碼是實現抓取多個URL，然後將抓取的URL的頁面代碼寫入指定的檔案

$urls = array('http://www.jb51.net/','http://www.google.com/','http://www.example.com/'); // 設定要抓取的頁面URL$save_to='/test.txt'; // 把抓取的代碼寫入該檔案$st = fopen($save_to,"a");$mh = curl_multi_init();foreach ($urls as $i => $url) {$conn[$i] = curl_init($url);curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");curl_setopt($conn[$i], CURLOPT_HEADER ,0);curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);curl_setopt($conn[$i], CURLOPT_FILE,$st); // 將爬取的代碼寫入檔案curl_multi_add_handle ($mh,$conn[$i]);} // 初始化do {curl_multi_exec($mh,$active);} while ($active); // 執行foreach ($urls as $i => $url) {curl_multi_remove_handle($mh,$conn[$i]);curl_close($conn[$i]);} // 結束清理curl_multi_close($mh);fclose($st);

（2）下面這段代碼和上面差不多意思，只不過這個地方是將獲得的代碼先放入變數，然後再將擷取到的內容寫入指定的檔案

$urls = array('http://www.jb51.net/','http://www.google.com/','http://www.example.com/');$save_to='/test.txt'; // 把抓取的代碼寫入該檔案$st = fopen($save_to,"a");$mh = curl_multi_init();foreach ($urls as $i => $url) {$conn[$i] = curl_init($url);curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");curl_setopt($conn[$i], CURLOPT_HEADER ,0);curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不將爬取代碼寫到瀏覽器，而是轉化為字串curl_multi_add_handle ($mh,$conn[$i]);}do {curl_multi_exec($mh,$active);} while ($active);foreach ($urls as $i => $url) {$data = curl_multi_getcontent($conn[$i]); // 獲得爬取的代碼字串fwrite($st,$data); // 將字串寫入檔案} // 獲得資料變數，並寫入檔案foreach ($urls as $i => $url) {curl_multi_remove_handle($mh,$conn[$i]);curl_close($conn[$i]);}curl_multi_close($mh);fclose($st);

（3）下面這段代碼實現的是利用 PHP 的 Curl Functions 實現並發多線程下載檔案

$urls=array( 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip');$save_to='./home/';$mh=curl_multi_init();foreach($urls as $i=>$url){ $g=$save_to.basename($url); if(!is_file($g)){   $conn[$i]=curl_init($url);   $fp[$i]=fopen($g,"w");   curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");   curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);   curl_setopt($conn[$i],CURLOPT_HEADER ,0);   curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);   curl_multi_add_handle($mh,$conn[$i]); }}do{ $n=curl_multi_exec($mh,$active);}while($active);foreach($urls as $i=>$url){ curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); fclose($fp[$i]);}curl_multi_close($mh);$urls=array( 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip');$save_to='./home/';$mh=curl_multi_init();foreach($urls as $i=>$url){ $g=$save_to.basename($url); if(!is_file($g)){   $conn[$i]=curl_init($url);   $fp[$i]=fopen($g,"w");   curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");   curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);   curl_setopt($conn[$i],CURLOPT_HEADER ,0);   curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);   curl_multi_add_handle($mh,$conn[$i]); }}do{ $n=curl_multi_exec($mh,$active);}while($active);foreach($urls as $i=>$url){ curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); fclose($fp[$i]);}curl_multi_close($mh);

總結：以上就是本篇文的全部內容，希望能對大家的學習有所協助。

相關推薦：

php 檔案上傳管理系統

PHP郵件發送案例

php 檔案上傳管理系統