分类
标签
315417911
想想当年要是有这么一份详细的「 Gevent tutorial」资料，在使用上就能少踩好多坑！Gevent 社区搞起的「Gevent 指南」直达地址 ...
最近在做一个站点，需要在网络上收集一些资料。干这活用python很合适，于是就准备用gevent+requests实现一个爬虫。以前曾用gevent抓取过漫画，但那时的url都是先生成的，并非动态添加，所以需要解决gevent的动态添加任务的问题。
普通的gevent下载方式 ...
去年做过一个《gcrawler:一个基于gevent的简单爬虫框架》，当时因为是模仿Scrapy的，所以整个实现其实很不gevent，太难看，并且实际上效率也不高。
这次因为要改写一个以前用Scrapy写的爬虫，于是就拿这个自己做的东西来用——去年其实也拿这个东西做过 ...
之前写过一篇通过队列、池来持续追加任务的方式。今个儿重新咀嚼了下，发现gevent的pool似乎可以达到真正意义上的任务追加。
这里先重新简单的阐明下“任务”这个概念，相对于上次那篇，相对宏观了些 ...
代码如下：
# Class for managing multiple servers or anything with start ...
Gevent是一个基于greenlet的Python的并发框架，以微线程greenlet为核心，使用了epoll事件监听机制以及诸多其他优化而变得高效。
于greenlet、eventlet相比，性能略低，但是它封装的API非常完善，最赞的是提供了一个monkey类，可以将现有基于Python线程直接转化为greenlet，相当于proxy了一下 ...
刚开始接触gevent，特喜欢其中Coroutine的轻便。
前两天一直纠结于如何进行任务追加，目前摸索的情况是gevent似乎并不支持coroutine的追加，因为一直限制在这种想法中，迟迟无法迈步。看到有同事玩多线程，才恍然，所谓任务，无非就是对拥有特定格式的数据进行解析 ...
我不想用很多时间去描述Gevent是什么，我想它官网上的一句总结足矣：
“Gevent是一种基于协程的Python网络库，它用到Greenlet提供的，封装了libevent事件循环的高层同步API。”
接下来我将阐述在Mixpanel中一个内部项目使用Gevent的经验。 为了这篇文章我还动手写了几个性能小测试。(Whipped up这里的意思让我迷惑哎- -）