投票中...
python (6121) Django (1832) 开源软件 (1692) chinaunix (886) 杂项其他 (322) iteye (181) Twisted (178) python基础 (177) Flask (125) python核心编程 (114) 技术聚会 (105) Scrapy (101) Linux开源 (99) 经验之谈 (97) 资讯 (93) 系统架构 (85) PyQt (77) python教程 (65) PyPy (63) Web.py (56) NumPy (55) 微博微趣 (53) ipython (49) PyCon (45) 基础与入门 (41) App Engine (38) PyCharm (38) web框架 (38) 服务器/数据库 (36) 其它python相关 (36) GUI开发 (35) 桌面开发 (32) Bottle (31) 解题报告 (27) Tornado (27) Python slides (27) Uliweb (26) 实践与应用 (24) 创业故事 (20) 常用模块与库 (20) 更多...
更多...
最近在做一个站点，需要在网络上收集一些资料。干这活用python很合适，于是就准备用gevent+requests实现一个爬虫。以前曾用gevent抓取过漫画，但那时的url都是先生成的，并非动态添加，所以需要解决gevent的动态添加任务的问题。
普通的gevent下载方式，gevent.pool控制并发，动态添加下载地址
详细：http://blog.plotcup.com/a/82
