耗时任务的异步处理

服务器的访问压力比较大时，我们可以通过负载均衡来将负载分散到多台服务器上.但有些比较耗时的请求.比如：
1. 需要连接邮件服务器，发送一封超长的HTML邮件。
2. 需要对用户上传的图片进行裁剪，生成多份缩略图。
3. 需要将用户上传的文件分发到多台服务器上。

在我们的日常应用中经常遇到，用户需要等待一段时间，这个请求才能完成，在用户上传照片时，照片上传成功后，然后是裁剪，最后生成缩略图，在这么一个过程中，用户只能等待，所以对用户的体验来讲是相当不好的。可能在用户第一次使用过后，下次就很难再让他使用这个图片的上传功能了。

那么有没有一种方法将这些处理过程放在后台慢慢运行呢？答案是肯定的，通过分布式处理可以将这些比较耗时的任务放在后台，甚至分散到多台服务器上去处理，对于这个问题异步处理就派上了用场。

现在有很多开源的软件能实现异步通信，比如ActiveMQ、Hadoop、Gearman和MecacheMQ等，它们巧妙的将计算转移到其他服务器上，而这一切都是隐藏在API中，同时，这些机制都是跨语言的，可以用PHP来分配一个任务，然后将后台的C/C++程序来进行处理，这一切都不是什么问题。

下面通过php和Gearman来演示异步的处理过程.

一、Gearman的安装

tar zxvf gearmand-0.11.tar.gzcd  gearmand-0.11./configure --prefix=/usr/local/gearmanmakemake install

二、安装Gearman PHP extension.

　tar zxf gearman-0.6.0.tgzcd gearman-0.6.0　 phpize　 ./configure　 make

将module目录上的gearman.so拷贝到php的module目录下，我机器的目录在/usr/lib/php5/20060613+lfs/.

cp module/gearman.so /usr/lib/php5/20060613+lfs/.

然后在php.ini中添加
extension = “gearman.so”
最后重启apache服务器.

三、启动Gearman服务

cd /usr/local/gearman/sbin./gearman -d -u root

Job的默认端口为4730,可以通过

[root@serv_1 sbin]# netstat -nl | grep 4730tcp        0      0 :::4730                     :::*                        LISTEN

是否启动.

通过bin/gearman这个工具,我们可以来体验Gearman的功能.
启动Worker:

./gearman -w -f wc -- wc -l &[1] 2547

运行 Client:

./gearman -f wc < /etc/passwd38

上面的例子中,Worker中定义了一个函数 wc,主要功能用来统计文本的行数,而client将/etc/passwd这个文件的内容传给Worker来处理,最后得出passwd有38行文本.

四、使用php来编写Worker和Client.

这里任务还是用官方的一个例子来说明,将一个字符串反转后输出,为了模拟这个过程耗时,我们将程序sleep1秒种,并将处理函数连续调用100次.
先来看看一般情况下我们的程序处理方式.
1、不使用异步处理的方式.

for ($i = 0; $i < 100; $i ++) {my_reverse_function("helloword!")} function my_reverse_function($str) {sleep(1);echo strrev($str);echo "\n";}

可以看出这个处理过程是相当耗时的,整个程序处理完成基本需要100秒.

2、使用基于Gearman的php异步处理方式

编写Worker.php

$worker = new GearmanWorker();$worker->addServer();//$worker->addServer();$worker->addFunction("reverse","my_reverse_function"); while ($worker->work()); function my_reverse_function($job) {sleep(1);echo strrev($job->workload());echo "\n";}

启动Worker.php.

php Worker.php

这时Worker.php作为一个后台服务,处于一个监听状态,只要有任务过来,马上进行处理.

编写Client.php

$client = new GearmanClient();$client->addServer();echo "beginning...\n";for ($i = 0; $i < 100; $i++) {$client->doBackground('reverse',($i+1).'_Hello World!')."\n";}echo "finishing...\n";

这里的Client.php就是任务的发起者，这里将连续处理100次字符串反转任务.

运行Client.php

$ php client.phpbeginning...finishing...

这时Client.php将任务交给了Worker.php来处理，但它本身很快就运行完成，这里再回过来来看Worker.php的运行状态，如下.

$ php Worker.php!dlroW olleH_1!dlroW olleH_2!dlroW olleH_3!dlroW olleH_4!dlroW olleH_5!dlroW olleH_6!dlroW olleH_7!dlroW olleH_8!dlroW olleH_9!dlroW olleH_01!dlroW olleH_11!dlroW olleH_21!dlroW olleH_31!dlroW olleH_41!dlroW olleH_51!dlroW olleH_61....

发现在Client.php运行完成后,Worker.php则是每秒输出一条处理结果,直到所有的任务全部处理完成.

以上主要是说明异步处理是怎么回事，在目前的开发中,怎么将耗时过长的任务进行异步来处理。但在日常的开发中，可能有些任务耗时确实很长，但处理后的结果又需要很快的反馈给用户时，这里我们就需要将处理后的结果即时的保存到数据库中，然后靠专门的程序将结果反馈给用户。可能还会有一个问题，这样异步处理，万一处理失败了怎么办，同样的道理，我们可以将每个任务的处理状态保存起来，然后用程序定时的去扫描，将处理失败的任务再重启执行一次，反复下去，直接它成功完成为止。

参考资料.
http://baike.baidu.com/view/2926980.htm?fr=ala0_1_1
http://cn.php.net/gearman
http://gearman.org