PHP多進程並發控制的測試案例

轉http://blog.s135.com/post/311/

 

最近遇到一個問題，Linux下的PHP命令列程式作為守護進程，需要從隊列檔案中讀一行資料，通過TCP協議發送給外地的接收伺服器，再讀下一行資料，再發送。當本地與外地的網路狀況不好時，有時候發送一條資料所耗費的時間就較長，累積起來容易造成隊列堵塞和延遲。

　　於是，我準備用該PHP命令列程式產生多個子進程，將串列處理變成平行處理。最簡單的方法就是在PHP中用exec()或popen()函數將一個shell命令列推到後台去執行，例如： <?php
exec("/bin/sh /opt/zhangyan.sh &");
?> 最後的&表示將shell指令碼推到後台去執行。

　　但是這樣會有一個問題，如果推到背景進程太多，可能會導致伺服器系統資源耗盡而崩潰，所以必須控制進程數量。

　　我寫了一個PHP程式（/opt/zhangyan.php）、一個shell程式（/opt/zhangyan.sh）作為測試案例。

　　程式的邏輯：
　　1、設定/opt/zhangyan.php最多允許產生500個子進程；
　　2、當/opt/zhangyan.php讀取到一條資料後，將允許產生的子進程數減1（空閑進程數$p_number=500-1=499），然後將資料交給/opt/zhangyan.sh去幕後處理，不等待/opt/zhangyan.sh處理結束，繼續讀取下一條資料；
　　3、當允許產生的子進程數減至0時（空閑進程數$p_number=0），/opt/zhangyan.php會等待1秒鐘，然後檢查後台還有多少個/opt/zhangyan.sh子進程尚未處理結束；
　　4、如果1秒鐘之後/opt/zhangyan.php發現背景/opt/zhangyan.sh子進程數還是500（空閑進程數$p_number=0），會繼續等待1秒鐘，如此反覆；
　　5、如果/opt/zhangyan.php發現後台尚未處理結束的/opt/zhangyan.sh子進程數減少到300個了（空閑進程數$p_number=500-300=200），那麼/opt/zhangyan.php會再往後台推送200個/opt/zhangyan.sh子進程；
/opt/zhangyan.php代碼如下：

<?php

function run($input)

{

    global $p_number;

    if ($p_number <= 0)

    {

        $p_number = worker_processes($p_number);

    }

    $p_number = $p_number - 1;

    $out = popen("/bin/sh /opt/zhangyan.sh /"{$input}/" &", "r");

    pclose($out);

}

 

function worker_processes($p_number)

{

    $limit = 500;//允許推到背景最大進程數

    while ($p_number <= 0)

    {

        $cmd = popen("ps -ef | grep /"/opt/zhangyan.sh/" | grep -v grep | wc -l", "r");

        $line = fread($cmd, 512);

        pclose($cmd);

        $p_number = $limit - $line;

        if ($p_number <= 0)

        {

            sleep(1);//暫停1秒鐘

        }

    }

    return $p_number;

}

 

$input = "http://blog.s135.com"; //類比從隊列檔案中讀取到的資料

for ($i = 1; $i <= 1000; $i++)

{

    run($input);

    echo "Idle process number: " . $p_number . "/n";

}

?>

（/opt/zhangyan.php程式用來類比從隊列檔案中讀取1000行資料，交給子進程/opt/zhangyan.sh去處理。）

 

/opt/zhangyan.sh代碼如下：

#!/bin/sh

echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhangyan.log

sleep_time=$(expr $RANDOM % 4 + 1)

sleep $sleep_time

 

（/opt/zhangyan.sh指令碼用來類比向外地接收伺服器發送資料。其中的$(expr $RANDOM % 4 + 1)用來產生1～5之間的隨機數，用來使程式暫停1～5秒鐘。暫停1秒錶示網路狀況好，發送資料順暢；暫停2～6秒錶示網路狀況不好，發送過程需要1～5秒。）

 

執行程式：
/usr/local/php/bin/php /opt/zhangyan.php （/usr/local/php/bin/php因PHP解析器所在的路徑）

　查看/opt/zhangyan.sh打下的記錄檔的第一行和最後一行：
head -n 1 /opt/zhangyan.log 2007-11-16 07:54:13 http://blog.s135.com
tail -n 1 /opt/zhangyan.log 2007-11-16 07:54:18 http://blog.s135.com

　　可以看出，500進程並發處理這1000條資料只耗費5秒鐘。而按照原來的串列模式，處理每條資料即使只耗費最短的1秒鐘，也需要1000秒，約合16分鐘才能完成。


　PS：將PHP程式作為Linux守護進程的方法：
nohup /usr/local/php/bin/php /opt/zhangyan.php 2>&1 > /dev/null &
　（nohup命令可以在使用者退出終端後仍然執行程式，“2>&1 > /dev/null”表示不顯示標準輸出和錯誤輸出，最後的&表示推到後台執行。）