主页 > 编程资料 > Python >
发布时间:2018-09-26 作者:apizl 阅读:448次

本文介绍了简单的Spider和Xpath选择器的使用,通过本文您可以对入门示例代码有进一步的了解.


Scrapy 入门教程示例中,我们创建了一个demo项目,以网站www.456dev.com 为例创建了一个spider:

通过命令: 

scrapy genspider 蜘蛛名称 地址  创建一个spider模型


scrapy genspider dev456 456dev.com

自动生成dev456.py文件.

Scrapy 爬虫入门 Spider 与 Selectors (选择器)

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说,爬取的循环类似下文:
以初始的URL初始化Request,并设置回调函数。 当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数。
spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL, 并以 parse 为回调函数生成 Request 。
在回调函数内分析返回的(网页)内容,返回 Item 对象、dict、 Request 或者一个包括三者的可迭代容器。 返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。
在回调函数内,您可以使用 选择器(Selectors) (您也可以使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容,并根据分析的数据生成item。
最后,由spider返回的item将被存到数据库(由某些 Item Pipeline 处理)或使用 Feed exports 存入到文件中。

Scrapy 爬虫入门 Spider 与 Selectors (选择器)


Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。 Spider并没有提供什么特殊的功能。 其仅仅提供了 start_requests() 的默认实现,读取并请求spider属性中的 start_urls, 并根据返回的结果(resulting responses)调用spider的 parse 方法。

name

定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance),这没有任何限制。 name是spider最重要的属性,而且是必须的。

如果该spider爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加 后缀 )来命名spider。 例如,如果spider爬取 mywebsite.com ,该spider通常会被命名为 mywebsite 。

allowed_domains

可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时, 域名不在列表中的URL不会被跟进。

start_urls

URL列表。当没有制定特定的URL时,spider将从该列表中开始进行爬取。 因此,第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取, 示例中修改start_urls为网站的一个栏目地址。


  • parse(response)

  • 当response没有指定回调函数时,该方法是Scrapy处理下载的response的默认方法。

    parse 负责处理response并返回处理的数据以及(/或)跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。

    该方法及其他的Request回调函数必须返回一个包含 Request、dict 或 Item 的可迭代的对象。



修改下parse方法, 使用选择器(selector)获取文章标题与地址 :

选择器(Selectors)


"当抓取网页时,你做的最常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的:
BeautifulSoup 是在程序员间非常流行的网页分析库,它基于HTML代码的结构来构造一个Python对象, 对不良标记的处理也非常合理,但它有一个缺点:慢。
lxml 是一个基于 ElementTree (不是Python标准库的一部分)的python化的XML解析库(也可以解析HTML)。
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors),因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言,也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义,并与特定的HTML元素的样式相关连。
Scrapy选择器构建于 lxml 库之上,这意味着它们在速度和解析准确性上非常相似。
本页面解释了选择器如何工作,并描述了相应的API。不同于 lxml API的臃肿,该API短小而简洁。这是因为 lxml 库除了用来选择标记化文档外,还可以用到许多任务上。"

由于在response中使用XPath、CSS查询十分普遍,因此,Scrapy提供了两个实用的快捷方式:response.xpath() 及 response.css(),    这里我们使用xpath来解析数据;


借助浏览器插件,获取xpath表达式,标题(text() 为xpath的基础语法 表示取纯文本):

Scrapy 爬虫入门 Spider 与 Selectors (选择器)

链接的xpath表达式(/@href为xpath基础语法 需要自己补全):Scrapy 爬虫入门 Spider 与 Selectors (选择器)



def parse(self, response):
    titles = response.xpath("//li/a[contains(@class, 'title')]/text()").extract()
    urls = response.xpath("//li/a[contains(@class, 'title')]/@href").extract()

    for title, url in zip(titles, urls):
        
        yield {
                  'title': title,
                  'url': response.urljoin(url),
              }

注: response.urljoin(url) 用于补全地址.



Scrapy 爬虫入门 Spider 与 Selectors (选择器)



关键字词:爬虫  

必填

◎已有0人评论

加载更多