A-A+

PHP多进程并发控制的测试用例

2009年03月27日 PHP 暂无评论 阅读 1 次

[文章作者:张宴 本文版本:v1.0 最后修改:2007.11.16 转载请注明出处:http://blog.s135.com]
最近遇到一个问题,Linux下的PHP命令行程序作为守护进程,需要从队列文件中读一行数据,通过TCP协议发送给外地的接收服务器,再读下一行数据,再发送。当本地与外地的网络状况不好时,有时候发送一条数据所耗费的时间就较长,累积起来容易造成队列堵塞和延迟。
于是,我准备用该PHP命令行程序生成多个子进程,将串行处理变成并行处理。最简单的方法就是在PHP中用exec()或popen()函数将一个shell命令行推到后台去执行,例如:

<?php
exec("/bin/sh /opt/zhangyan.sh &");
?>

最后的&表示将shell脚本推到后台去执行。
但是这样会有一个问题,如果推到后台的进程太多,可能会导致服务器系统资源耗尽而崩溃,所以必须控制进程数量。


我写了一个PHP程序(/opt/zhangyan.php)、一个shell程序(/opt/zhangyan.sh)作为测试用例。
程序的逻辑:
1、设置/opt/zhangyan.php最多允许生成500个子进程;
2、当/opt/zhangyan.php读取到一条数据后,将允许生成的子进程数减1(空闲进程数$p_number=500-1=499),然后将数据交给/opt/zhangyan.sh去后台处理,不等待/opt/zhangyan.sh处理结束,继续读取下一条数据;
3、当允许生成的子进程数减至0时(空闲进程数$p_number=0),/opt/zhangyan.php会等待1秒钟,然后检查后台还有多少个/opt/zhangyan.sh子进程尚未处理结束;
4、如果1秒钟之后/opt/zhangyan.php发现后台的/opt/zhangyan.sh子进程数还是500(空闲进程数$p_number=0),会继续等待1秒钟,如此反复;
5、如果/opt/zhangyan.php发现后台尚未处理结束的/opt/zhangyan.sh子进程数减少到300个了(空闲进程数$p_number=500-300=200),那么/opt/zhangyan.php会再往后台推送200个/opt/zhangyan.sh子进程;


/opt/zhangyan.php代码如下:

view plaincopy to clipboardprint?

  1. <?php  
  2. function run($input)  
  3. {  
  4. global $p_number;  
  5. if ($p_number <= 0)  
  6.     {  
  7. $p_number = worker_processes($p_number);  
  8.     }  
  9. $p_number = $p_number - 1;  
  10. $out = popen("/bin/sh /opt/zhangyan.sh "{$input}" &", "r");  
  11.     pclose($out);  
  12. }  
  13. function worker_processes($p_number)  
  14. {  
  15. $limit = 500;//允许推到后台的最大进程数
  16. while ($p_number <= 0)  
  17.     {  
  18. $cmd = popen("ps -ef | grep "/opt/zhangyan.sh" | grep -v grep | wc -l", "r");  
  19. $line = fread($cmd, 512);  
  20.         pclose($cmd);  
  21. $p_number = $limit - $line;  
  22. if ($p_number <= 0)  
  23.         {  
  24.             sleep(1);//暂停1秒钟
  25.         }  
  26.     }  
  27. return $p_number;  
  28. }  
  29. $input = "http://blog.s135.com"; //模拟从队列文件中读取到的数据  
  30. for ($i = 1; $i <= 1000; $i++)  
  31. {  
  32.     run($input);  
  33. echo "Idle process number: " . $p_number . "n";  
  34. }  
  35. ?> 

<?php function run($input) {    global $p_number;    if ($p_number <= 0)    {        $p_number = worker_processes($p_number);    }    $p_number = $p_number - 1;    $out = popen("/bin/sh /opt/zhangyan.sh "{$input}" &", "r");    pclose($out); } function worker_processes($p_number) {    $limit = 500;//允许推到后台的最大进程数    while ($p_number <= 0)    {        $cmd = popen("ps -ef | grep "/opt/zhangyan.sh" | grep -v grep | wc -l", "r");        $line = fread($cmd, 512);        pclose($cmd);        $p_number = $limit - $line;        if ($p_number <= 0)        {            sleep(1);//暂停1秒钟        }    }    return $p_number; } $input = "http://blog.s135.com"; //模拟从队列文件中读取到的数据 for ($i = 1; $i <= 1000; $i++) {    run($input);    echo "Idle process number: " . $p_number . "n"; } ?> (/opt/zhangyan.php程序用来模拟从队列文件中读取1000行数据,交给子进程/opt/zhangyan.sh去处理。)


/opt/zhangyan.sh代码如下:

view plaincopy to clipboardprint?

  1. #!/bin/sh  
  2. echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhangyan.log  
  3. sleep_time=$(expr $RANDOM % 4 + 1)  
  4. sleep $sleep_time

#!/bin/sh echo $(date -d "today" +"%Y-%m-%d %H:%M:%S") $1 >> /opt/zhangyan.log sleep_time=$(expr $RANDOM % 4 + 1) sleep $sleep_time (/opt/zhangyan.sh脚本用来模拟向外地接收服务器发送数据。其中的$(expr $RANDOM % 4 + 1)用来生成1~5之间的随机数,用来使程序暂停1~5秒钟。暂停1秒表示网络状况好,发送数据顺畅;暂停2~6秒表示网络状况不好,发送过程需要1~5秒。)


执行程序:

/usr/local/php/bin/php /opt/zhangyan.php

(/usr/local/php/bin/php因PHP解析器所在的路径)
查看/opt/zhangyan.sh打下的日志文件的第一行和最后一行:

head -n 1 /opt/zhangyan.log

2007-11-16 07:54:13 http://blog.s135.com

tail -n 1 /opt/zhangyan.log

2007-11-16 07:54:18 http://blog.s135.com
可以看出,500进程并发处理这1000条数据只耗费5秒钟。而按照原来的串行模式,处理每条数据即使只耗费最短的1秒钟,也需要1000秒,约合16分钟才能完成。


PS:将PHP程序作为Linux守护进程的方法:

nohup /usr/local/php/bin/php /opt/zhangyan.php 2>&1 > /dev/null &

(nohup命令可以在用户退出终端后仍然执行程序,̶
0;2>&1 > /dev/null”表示不显示标准输出和错误输出,最后的&表示推到后台执行。)</?PHP function>

给我留言

Copyright © 浩然东方 保留所有权利.   Theme  Ality 07032740

用户登录