PHP CURL 多线程

工作中经常需要采集一些内容，所以深入研究了一下PHP CURL多线程，不得不说这个扩展很变态。经过几十次的修改终于写出一个完美的CURL类，有多厉害用“终极”二字形容也不为过。PHP文档中资料甚少，到网上也看到一些类，感觉实在太烂，有些类资源占用很高，有些稍微好点的效率真不敢恭维，说白了就是个原始的多线程而已，根本无法充分利用CPU和带宽。

本类的特点：
运行非常稳定。
设置一个并发就会始终以这个并发数进行工作，即使通过回调函数添加任务也不影响。
CPU占用极低，绝大部分CPU消耗在用户的回调函数上。
内存利用率高，任务数量较多（15W个任务占用内存会超过256M）可以使用回调函数添加任务，个数自定。
能够最大限度的占用带宽。
链式任务，比如一个任务需要从多个不同的地址采集数据，可以通过回调一气呵成。
能够对CURL错误进行多次尝试，次数自定（大并发一开始容易产生CURL错误，网络状况或对方服务器稳定性也有可能产生CURL错误）。
回调函数相当灵活，可以多种类型任务同时进行（比如下载文件，抓取网页，分析404可以在一个PHP进程中同时进行）。
可以非常容易的定制任务类型，比如检查404，获取redirect的最后url等。
可以设置缓存，挑战产品节操。

不足：
不能充分利用多核CPU（可以开多个进程解决，需要自己处理任务分割等逻辑）。
最大并发500（或512？），经过测试是CURL 内部限制，超过最大并发会导致总是返回失败。
目前没有断点续传功能。
目前任务是原子性的，不能对一个大文件分为几部分分别开线程下载。

我这里有34W张图片需要下载，先下载13W截图如下

每秒钟下载300张左右图片，每张图片300K左右，下载速度约100MB/s（1G的网卡用的差不多了），速度和下载文件总数有非常小的偏差，这个数值是根据CURL的传输字节数计算而来。速度超过100MB/s的时候SSH基本连接不上了。。。
iostat

主要瓶颈在IO上，否则速度会更快。

采集http://www.lyricsmode.com/的歌词速度也很快，一共60多万歌词页，平均每秒钟能稳定采集1200页，处理采集的HTML的速度根本追不上采集的速度，瓶颈应该是对方服务器速度，那个没有截图，有兴趣的可以试一下。

完整的文档在这里 。

类随时可能更新所以本文只做参考。
最新版本的类可以在这里找到：https://code.google.com/p/php-fastmvc/source/browse/trunk/framework/class/CURL.phpgoogle经常被封，较新版本在这下载 CUrl