设计爬虫获取数据源活用Scrapy框架高效编制爬虫

课题：项目4 设计爬虫获取数据源第4部分活用Scrapy框架高效编制爬

课次：第13次虫

教学目标及要求：

任务1 简介Scrapy框架（理解）

任务2 安装Scrapy框架（熟悉）

任务3 活用Scrapy框架（掌握）

教学重点：

任务3 活用Scrapy框架（掌握）

教学难点：

任务3 活用Scrapy框架（掌握）

思政主题：

旁批栏：

教学步骤及内容：

1.课程引入

2.本次课学习内容、重难点及学习要求介绍

3.本次课的教学内容

（1）任务1 简介Scrapy框架（理解）

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框

架，只需要实现少量代码，就能够快速的抓取到数据内容。

它是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架。

它的功能非常强大，爬取效率高，相关扩展组件多，可配置和可扩展程度非

常高，它几乎可以应对所有反爬网站，是目前Python中使用最广泛的爬虫

框架。

scrapy 框架结构图

Scrapy主要包括了以下组件

引擎(Engine)。负责Spider、ItemPipeline、Downloader、Scheduler中间通讯，信号、数据传递等，是整个框架的核心。

项目（Item）。定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象

调度器(Scheduler)。接受引擎发过来的请求, 将其压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址。

下载器(Downloader)。下载网页内容, 并将网页内容返回给蜘蛛(Scrapy 下载器是建立在twisted这个高效的异步模型上的)

Scrapy主要包括了以下组件

爬虫(Spiders)。蜘蛛，通过实际需求定义数据爬取逻辑和数据解析规则，并将解析后的结果Requests和Items分别发送给Scheduler和Pipeline 做进一步处理。

项目管道(Item Pipeline)。负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

下载器中间件(Downloader Middlewares)。介于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

爬虫中间件(Spider Middlewares)。介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入的响应和请输出的结果及新的请求。

Scrapy工作流程

首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine （引擎）交给Scheduler（调度器）。

Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent, Proxy代理)交给Downloader。

Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）经ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。