解決php curl_multi批處理造成CPU負載過高問題

來源:互聯網
上載者:User

簡單的cURL處理如下:

 代碼如下 複製代碼

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.111cn.net');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
$con = curl_exec($ch);
curl_close($ch);

cURL還提供了批量處理會話,下面是cURL批量處理相關函數:
curl_multi_init — 返回一個新cURL批處理控制代碼
curl_multi_add_handle — 向curl批處理會話中添加單獨的curl控制代碼
curl_multi_exec — 解析一個cURL批處理控制代碼
curl_multi_getcontent — 如果設定了CURLOPT_RETURNTRANSFER,則返回擷取的輸出的文字資料流
curl_multi_select — 等待所有cURL批處理中的活動串連
curl_multi_info_read — 擷取當前解析的cURL的相關傳輸資訊
curl_multi_remove_handle — 移除curl批處理控制代碼資源中的某個控制代碼資源
curl_multi_close — 關閉一組cURL控制代碼

看下面使用curl multi批處理的例子:

 代碼如下 複製代碼
<?php
/**
 * cURL multi批量處理
 *
 * @author mckee
 * @link http://www.111cn.net
 *
 */
 
$url_array = array(
    'http://www.111cn.net/',
    'http://www.111cn.net/php/627.html',
    'http://www.111cn.net/php/258.html'
);
 
$handles = $contents = array();
 
//初始化curl multi對象
$mh = curl_multi_init();
 
//添加curl 批處理會話
foreach($url_array as $key => $url)
{
    $handles[$key] = curl_init($url);
    curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10);
   
    curl_multi_add_handle($mh, $handles[$key]);
}
 
//======================執行批處理控制代碼=================================
$active = null;
do {
    $mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
 
 
while ($active and $mrc == CURLM_OK) {
   
    if(curl_multi_select($mh) === -1){
        usleep(100);
    }
    do {
        $mrc = curl_multi_exec($mh, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
 
}
//====================================================================
 
//擷取批處理內容
foreach($handles as $i => $ch)
{
    $content = curl_multi_getcontent($ch);
    $contents[$i] = curl_errno($ch) == 0 ? $content : '';
}
 
//移除批處理控制代碼
foreach($handles as $ch)
{
    curl_multi_remove_handle($mh, $ch);
}
 
//關閉批處理控制代碼
curl_multi_close($mh);
 
print_r($contents);

上面這段程式重點是執行批處理的那段,普通的處理:

 代碼如下 複製代碼
do { $n=curl_multi_exec($mh,$active); } while ($active);

會造成CPU Loading過高,因為$active要等全部url資料接受完畢才變成false,所以這裡用到了curl_multi_exec的傳回值判斷是否還有資料,當有資料的時候就不停調用curl_multi_exec,沒有執行資料就會sleep,如此就會避免CPU Loading 100%了。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.