爬虫 -

分类

python (6121) Django (1832) 开源软件 (1692) chinaunix (886) 杂项其他 (322) iteye (181) Twisted (178) python基础 (177) Flask (125) python核心编程 (114) 技术聚会 (105) Scrapy (101) Linux开源 (99) 经验之谈 (97) 资讯 (93) 系统架构 (85) PyQt (77) python教程 (65) PyPy (63) Web.py (56) NumPy (55) 微博微趣 (53) ipython (49) PyCon (45) 基础与入门 (41) App Engine (38) PyCharm (38) web框架 (38) 服务器/数据库 (36) 其它python相关 (36) GUI开发 (35) 桌面开发 (32) Bottle (31) 解题报告 (27) Tornado (27) Python slides (27) Uliweb (26) 实践与应用 (24) 创业故事 (20) 常用模块与库 (20) 更多...

标签

315417911

PythonTip >> 博文 >> All

Ubuntu 10.04 安装Twisted、Scrapy爬虫框架

Ubuntu 10.04 安装Twisted、Scrapy爬虫框架

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结 Scrapy ...

作者:zihua | 分类: python 爬虫 Scrapy Twistedm | 标签: 爬虫 python scrapy Twistedm | 阅读: 1394 | 发布于: 2014-01-26 15时 | 阅读全文...

使用 python 抓一个网页

要抓取一个网站,要解决下面几个问题

beautiful soup 文档：http://www.crummy.com/software ...

作者:zihua | 分类: python | 标签: beautifulsoup 爬虫 python | 阅读: 968 | 发布于: 2014-01-06 18时 | 阅读全文...

python网络爬虫之---体验篇BeautifulSoup

Python抓取网页方法，任务是批量下载网站上的文件。对于一个刚刚入门python的人来说，在很多细节上都有需要注意的地方，以下就分享一下我在初学python过程中遇到的问题及解决方法。

1、用Python抓取网页

[python] view plain ...

作者:zihua | 分类: iteye | 标签: 爬虫 python | 阅读: 8110 | 发布于: 2013-12-30 15时 | 阅读全文...

Cola：一个分布式爬虫框架

由于早先写的WeiboCrawler问题很多，而且当时我有提到，其实可以实现一个通用的爬虫框架。最近由于要抓取新的数据，于是我就写了这个cola。下面的文字来自wiki。

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数 ...

作者:zihua | 分类: 系统架构 | 标签: 分布式爬虫 | 阅读: 1312 | 发布于: 2013-09-26 01时 | 阅读全文...

gcrawler:一个基于gevent 的简单爬虫框架

原文：http://blog.csdn.net/Raptor/archive/2011/03/06 ...

作者:zihua | 分类: Gevent | 标签: 爬虫 gevent gcrawler | 阅读: 1213 | 发布于: 2013-09-26 01时 | 阅读全文...

救命语言：python，我会始终保有对他最崇高的敬意

怎么说呢，python可以算是救了我一命的一门语言，若不是他，恐怕公司的这个项目还遥遥无期，我会始终保有对他最崇高的敬意。

这里，我仅列出自己最近使用的几个库，并简单演示一下其高超的使用效率。

1.jinja2 ...

作者:zihua | 分类: 微博微趣 | 标签: beautifulsoup jinja2 simplejson minidom 爬虫 xml | 阅读: 1029 | 发布于: 2013-09-26 01时 | 阅读全文...