PythonTip >> 博文 >> python Scrapy

使用scrapy框架爬取自己的博文 - huhuuu

zihua 2014-05-05 15:05:15 点击: 1332 | 收藏


scrapy框架是个比较简单易用基于python的爬虫框架,http://scrapy-chs.readthedocs.org/zh_CN/latest/ 这个是不错的中文文档

几个比较重要的部分:

items.py:用来定义需要保存的变量,其中的变量用Field来定义,有点像python的字典

pipelines.py:用来将提取出来的Item进行处理,处理过程按自己需要进行定义

spiders:定义自己的爬虫

爬虫的类型也有好几种:

1)spider:最基本的爬虫,其他的爬虫一般是继承了该最基本的爬虫类,提供访问url,返回response的功能,会默认调用parse方法

2)CrawlSpider:继承spider的爬虫,实际使用比较多,设定rule规则进行网页的跟进与处理, 注意点:编写爬虫的规则的时候避免使用parse名,因为这会覆盖继承的spider的的方法parse造成错误。   其中比较重要的是对Rule的规则的编写,要对具体的网页的情况进行分析。

3)XMLFeedSpider 与 CSVFeedSpider 使用的不多,有需要了在研究

实际操作:

items.py下的:

from scrapy.item import Item, Field


class Website(Item):

    headTitle = Field()
    description = Field()
    url = Field()

spider.py下的:

# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下


add = 0
class DmozSpider(CrawlSpider):

	name = "huhu"
	allowed_domains = ["cnblogs.com"]
	start_urls = [
		"http://www.cnblogs.com/huhuuu",
	]

	
	rules = (
		# 提取匹配 huhuuu/default.html\?page\=([\w]+) 的链接并跟进链接(没有callback意味着follow默认为True)
		Rule(SgmlLinkExtractor(allow=('huhuuu/default.html\?page\=([\w]+)', ),)),

		# 提取匹配 'huhuuu/p/' 的链接并使用spider的parse_item方法进行分析
		Rule(SgmlLinkExtractor(allow=('huhuuu/p/', )), callback='parse_item'),
	)

	def parse_item(self, response):
		global add #用于统计博文的数量
		
		print  add
		add+=1
		
		sel = Selector(response)
		items = []

		item = Website()
		item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
		item['url'] = response
		print item
		items.append(item)
		return items

最后在相应的目录文件下运行scrapy crawl huhu

结果:

但是我的博文好歹有400篇左右,最后只搜出了100篇,这是什么情况

查了一些搜出来的网页地址,很多都是2013.10 到最近更新的博文情况,没道理啊,最后注意了老的博文的网址,原来老的博文地址的结构更新的博文地址的结构不同

现在的:http://www.cnblogs.com/huhuuu/p/3384978.html

老的:http://www.cnblogs.com/huhuuu/archive/2012/04/10/2441060.html

然后在rule里面加入老网页的规则,就可以把博客中没加密的博文都搜出来了

# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下


add = 0
class DmozSpider(CrawlSpider):

	name = "huhu"
	allowed_domains = ["cnblogs.com"]
	start_urls = [
		"http://www.cnblogs.com/huhuuu",
	]

	
	rules = (
		# 提取匹配 huhuuu/default.html\?page\=([\w]+) 的链接并跟进链接(没有callback意味着follow默认为True)
		Rule(SgmlLinkExtractor(allow=('huhuuu/default.html\?page\=([\w]+)', ),)),

		# 提取匹配 'huhuuu/p/' 的链接并使用spider的parse_item方法进行分析
		Rule(SgmlLinkExtractor(allow=('huhuuu/p/', )), callback='parse_item'),
		Rule(SgmlLinkExtractor(allow=('huhuuu/archive/', )), callback='parse_item'), #以前的一些博客是archive形式的所以
	)

	def parse_item(self, response):
		global add #用于统计博文的数量
		
		print  add
		add+=1
		
		sel = Selector(response)
		items = []

		item = Website()
		item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
		item['url'] = response
		print item
		items.append(item)
		return items

又做了一个爬取博客园首页博客的代码,其实只要修改Rule即可:

# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from dirbot.items import Website
import sys
import string
sys.stdout=open('output.txt','w') #将打印信息输出在相应的位置下


add = 0
class DmozSpider(CrawlSpider):

	name = "huhu"
	allowed_domains = ["cnblogs.com"]
	start_urls = [
		"http://www.cnblogs.com/",
	]

	
	rules = (
	   
		Rule(SgmlLinkExtractor(allow=('sitehome/p/[0-9]+', ),)),


		Rule(SgmlLinkExtractor(allow=('[^\s]+/p/', )), callback='parse_item'),
   
	)

	def parse_item(self, response):
		global add #用于统计博文的数量
		
		print  add
		add+=1
		
		sel = Selector(response)
		items = []

		item = Website()
		item['headTitle'] = sel.xpath('/html/head/title/text()').extract()#观察网页对应得html源码
		item['url'] = response
		print item
		items.append(item)
		return items
View Code

参考:http://scrapy-chs.readthedocs.org/zh_CN/latest/topics/spiders.html

原文链接:http://www.tuicool.com/articles/Mreay2v

作者:zihua | 分类: python Scrapy | 标签: python scrapy | 阅读: 1332 | 发布于: 2014-05-05 15时 |