PHP類比發送POST請求之五curl基本使用和多線程最佳化，之五curl_PHP教程

PHP類比發送POST請求之五curl基本使用和多線程最佳化，之五curl

今天來介紹PHP類比發送POST請求的重型武器——cURL函數庫的使用和其多線程的最佳化方法。

說起cURL函數，可謂是老生常談，但網上許多資料都在關鍵區段語焉不詳，列出一大堆手冊上的東西，搞得我入門時也萬分痛苦，我翻了些資料，結合自己的筆記，總結了這篇博文，希望能給初次接觸cURL的開發人員提供一些協助。

cURL的基本使用步驟

首先來介紹cURL:

cURL按照HTTP頭資訊來類比瀏覽器傳輸資料，它支援FTP, FTPS, HTTP, HTTPS, DICT, FILE等協議，擁有HTTPS認證，HTTP POST方法，HTTP PUT方法，FTP上傳，HTTP上傳，Proxy 伺服器，cookies，使用者名稱/密碼認證等功能。cURL可謂是實現爬站抓取網頁、POST資料等功能的利器。

使用cURL函數主要分為四部分：

1.初始化cURL。

2.設定cURL變數，這是cRUL的核心，擴充功能全靠這一步驟。

3.執行cURL,擷取結果。

4.關閉串連，回收資源。

$ch = curl_init();//1curl_setopt($ch, CURLOPT_URL, "http://localhost");//2$output = curl_exec($ch);//3curl_close($ch);//4

另外，我們還可以使用curl_getinfo($ch)函數擷取curl執行的資訊，其結果為一個數組

$info數組的內容包括如下等內容：

• “url” //資源網路地址
• “content_type” //內容編碼
• “http_code” //HTTP狀態代碼
• “filetime” //檔案建立時間
• “total_time” //總耗時
• “size_upload” //上傳資料的大小
• “size_download” //下載資料的大小
• “speed_download” //下載速度
• “speed_upload” //上傳速度
• “download_content_length”//下載內容的長度
• “upload_content_length” //上傳內容的長度

cURL的常用設定

下面詳細介紹curl使用第二步時常用的變數設定，在使用curl函數時，可以按各種需求來設定。

設定基本資料：

curl_setopt($ch, CURLOPT_URL, $string);//設定curl的目錄位址

curl_setopt($ch, CURLOPT_PORT, $port);//設定串連連接埠，一般不設定預設80

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回結果流，並不是輸出它留待後續處理，一般會設定這一項，稍後處理抓取到的資訊，而不是直接輸出出來。

設定POST資料資訊：

curl_setopt($ch, CURLOPT_POST, 1);//設定傳送資料方式為POST

curl_setopt($ch, CURLOPT_POSTFIELDS, $string);//設定要傳輸的資料

設定驗證資訊：

curl_setopt($ch, CURLOPT_COOKIE, $string);//設定curl執行時所攜帶的Cookie資訊

curl_setopt($ch, CURLOPT_USERAGENT, $string);//設定curl類比的瀏覽器資訊

curl_setopt($ch, CURLOPT_REFERER, $string);//設定header中的referer,有利於破解防盜鏈

curl_setopt($ch, CURLOPT_USERPWD, $string);//傳遞一個串連中需要的使用者名稱和密碼，格式為："[username]:[password]"

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//設定允許伺服器重新導向

設定強化資訊：

curl_setopt($ch, CURLOPT_NOBODY, 1);//設定不允許輸出HTML body體，如果在抓取頁面標題等資訊時設定此選項會大大加快速度

curl_setopt($ch, CURLOPT_TIMEOUT, $int);//設定允許執行的最長秒數（逾時時間），設定數值小的時候，CURL會放棄執行時間長的頁面

curl_setopt($ch, CURLOPT_HEADER, 1);//設定允許將讀取目標時產生的header標頭檔包含在輸出資料流中

cURL批處理功能的基本使用

當然cURL的功能並不止於此，在手冊上你可以找到它更多的變數設定。而且cURL最強大的地方在其批處理功能。

cURL的批處理似乎也很好理解，以下是一般步驟：

1.$mh = curl_multi_init();//初始化一個批處理控制代碼。

2.curl_multi_add_handle($mh,$ch); //往批處理控制代碼中添加設定好的$ch控制代碼。

3.curl_multi_exec($mh,$running);//執行$mh控制代碼，並將$mh控制代碼的運行狀態寫入$running變數中

4.當$running為true時迴圈執行curl_multi_close()函數

5.迴圈結束後遍曆$mh控制代碼，用curl_multi_getcontent()擷取第一個控制代碼的傳回值

6.用curl_multi_remove_handle()將$mh中的控制代碼移除

7.用curl_multi_close()關閉$mh批處理控制代碼。

代碼如下：

 php         $chArr=[];        for($i=0;$i<50;$i++){            　 $chArr[$i]=curl_init("http://www.baidu.com");             　curl_setopt($chArr[$i],CURLOPT_RETURNTRANSFER,1);        }       $mh = curl_multi_init(); //1       foreach($chArr as $k => $ch){             　　curl_multi_add_handle($mh,$ch); //2　　　　　　　　}       $running = null;        do{          　　curl_multi_exec($mh,$running); //3        }while($running > 0); //4        foreach($chArr as $k => $ch){               $result[$k]= curl_multi_getcontent($ch); //5              curl_multi_remove_handle($mh,$ch);//6        }        curl_multi_close($mh); //7      ?>    

cURL批處理時記憶體佔用過多的問題

但是，執行大批量的控制代碼時我們會發現一個很嚴重的問題，那就是執行時系統CPU佔用率幾乎100%，幾乎是死機狀態了。糾其原因，那是因為在$running>0,執行 curl_multi_exec($mh,$running)而整個批處理控制代碼沒有全部執行完畢時，系統會不停地執行curl_multi_exec()函數。我們用實驗來證明：

我們在迴圈中curl_multi_exec($mh,$running)句前加入一個echo "a";的語句。我們的目的是執行50次對百度的訪問，然後來看一下結果。

捲軸的大小(捲軸已經最小狀態了)可以大概看出輸出a的個數，500個也不止，所以我們便可以找到佔用CPU的罪魁禍首了。

cURL批處理時的記憶體最佳化方案

進行改動的方式是應用curl函數庫中的curl_multi_select()函數，其函數原型如下：

int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )
阻塞直到cURL批處理串連中有活動串連。成功時返回描述符集合中描述符的數量。失敗時，select失敗時返回-1，否則返回逾時(從底層的select系統調用)。

我用們curl_multi_select()函數來達到沒有需要讀取的程式就阻塞住的目的。

我們對批處理的第3、4步進行最佳化，利用其多線程，類比並發程式。

很多朋友會對手冊中提供的代碼心存疑惑（我一開始也是），下面的代碼及解釋。

$running = null;do {    $mrc = curl_multi_exec($mh, $running);} while ($mrc == CURLM_CALL_MULTI_PERFORM);//本次迴圈第一次處理$mh批處理中的$ch控制代碼，並將$mh批處理的執行狀態寫入$running,當狀態值等於CURLM_CALL_MULTI_PERFORM時，表明資料還在寫入或讀取中，執行迴圈，當第一次$ch控制代碼的資料寫入或讀取成功後，狀態值變為CURLM_OK，跳出本次迴圈，進入下面的大迴圈之中。//$running為true，即$mh批處理之中還有$ch控制代碼正待處理，$mrc==CURLM_OK,即上一次$ch控制代碼的讀取或寫入已經執行完畢。while ($running && $mrc == CURLM_OK) {     if (curl_multi_select($mh) != -1) {//$mh批處理中還有可執行檔$ch控制代碼，curl_multi_select($mh) != -1程式退出阻塞狀態。        do {                            //繼續執行需要處理的$ch控制代碼。            　$mrc = curl_multi_exec($mh, $running);        } while ($mrc == CURLM_CALL_MULTI_PERFORM);    }}

這樣執行的好處是$mh批處理中的$ch控制代碼會在讀取或寫入資料結束後($mrc==CURLM_OK),進入curl_multi_select($mh)的阻塞階段，而不會在整個$mh批處理執行時不停地執行curl_multi_exec,白白浪費CPU資源。

cURL批處理的記憶體最佳化結果

完整代碼如下：

php         $chArr=[];        for($i=0;$i<50;$i++){        $chArr[$i]=curl_init("http://www.baidu.com");        curl_setopt($chArr[$i],CURLOPT_RETURNTRANSFER,1);        }       $mh = curl_multi_init();         foreach($chArr as $k => $ch)              curl_multi_add_handle($mh,$ch); 
        $running = null;         do {
　　　　　　　　$mrc = curl_multi_exec($mh, $running);　　　　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);　　　　while ($running && $mrc == CURLM_OK) {   　　　　 　if (curl_multi_select($mh) != -1) {       　　　　　　do {            　　　　　　$mrc = curl_multi_exec($mh, $running);        　　　　　} while ($mrc == CURLM_CALL_MULTI_PERFORM);    　　　　　}　　　　}       foreach($chArr as $k => $ch){                $result[$k]= curl_multi_getcontent($ch);                curl_multi_remove_handle($mh,$ch);       }        curl_multi_close($mh);       ?>

我們再次在 $mrc = curl_multi_exec($mh, $running)句子前加入echo "a";結果如：

雖然也不止50次，但是比之未最佳化前，CPU使用率已經大為改觀。

雖然curl函數非常強大，但是我們還是有使用其他函數來發送POST請求的機會，另外也能從更底層瞭解curl函數，所以本輯也用大很大篇幅在其他函數上。

OK，本輯結束，寫這輯博文的同時，我也學習到了很多。如果您覺得本博文對您有協助，請您點推薦或關注我，我們繼續分享我的筆記總結。如果有什麼問題，您可以在下方留言討論，謝謝閱讀。

http://www.bkjia.com/PHPjc/1067637.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/1067637.htmlTechArticlePHP類比發送POST請求之五curl基本使用和多線程最佳化，之五curl 今天來介紹PHP類比發送POST請求的重型武器cURL函數庫的使用和其多線程的最佳化方...

