python爬虫设计入门课件
合集下载
《全面解读Python网络爬虫课件》
Python解释器
Python的官方网站提供最新版本的 Python解释器下载。
pip包管理工具
可以使用Python解释器中自带的pip工具 安装所需的第三方库。
其他工具
如文本编辑器、命令行终端等，都是Python开发中常用的工具。
爬虫获取数据的基本流程
爬虫获取数据的基本流程包括发送HTTP请求、解析网页获取数据、数据存储等步骤。
1
发送HTTP请求
使用库如Requests库，向目标网站发送
解析网页获取数据
2
HTTP请求。
使用库如BeautifulSoup、Scrapy等，解
析目标网页，提取所需数据。
3
数据存储
将数据存储在数据库或文件中，以备后 续使用。
爬虫如何避免被封IP
网站往往会通过IP封锁等方式防止被爬虫抓取，因此爬虫开发需要避免被封锁。
JSON格式
使用Python自带的json库，将数 据以JSON格式存储在文件中。
爬虫实战案例分析
通过实战案例，了解爬虫如何应用于实际项目中。
爬取新闻网站
使用爬虫框架爬取新闻网站， 提取头条新闻、分类新闻等。
爬取电商网站
使用爬虫获取电商网站中的 商品信息，价格、图片等。
爬取社交媒体数据
利用爬虫爬取社交媒体中用 户发布的留言、评论、转发 等内容。
2
数据筛选
筛选出符合要求的数据，如去除重复和无用数据。
3
数据去噪
去除数据中的杂乱信息， 如空格、特殊符号等。
常见的数据存储方式
爬虫获取到的数据需要进行存储，以备后续使用。
S QL数据库
使用Python自带的sqlite3库或第 三方数据库库，将数据存储在关 系数据库中。
《scrapy入门》课件
详细描述
检查Scrapy的配置文件是否正确，特 别是`settings.py`中的设置项是否符 合要求。确保所有依赖项都已正确安 装，并且版本兼容。
数据解析错误
总结词
在抓取数据时，可能会遇到数据解析 错误，导致无法正确提取所需信息。
详细描述
检查解析数据的代码是否正确，特别 是正则表达式或BeautifulSoup的使 用是否得当。确保目标网站的结构未 发生改变，以避免解析规则失效。
04
Scrapy进阶使用
使用选择器
选择器是用于从网页中提取数据的工具。在 Scrapy中，常用的选择器有CSS选择器和 XPath选择器。
CSS选择器使用"."来标识类名，使用"#"来标 识ID，使用"/"来标识标签名。例如，".title" 表示选取类名为"title"的元素，"#content" 表示选取ID为"content"的元素，"//p"表示 选取所有p标签元素。
使用Scrapy Shell
Scrapy Shell是一个交互式命令行工 具，用于在Scrapy项目中进行数据提 取和测试。通过Scrapy Shell，可以 直接在网页上查看和测试选择器的结 果，方便进行数据提取和调试。
VS
使用Scrapy Shell的方法是在命令行 中输入"scrapy shell URL"，其中 URL是要抓取的网页地址。在Scrapy Shell中，可以使用"response.css()" 或"response.xpath()"方法来提取数 据，并使用Python的print()函数来 查看结果。同时，还可以使用Scrapy Shell进行数据清洗和处理的测试，方 便进行数据预处理和提取。
检查Scrapy的配置文件是否正确，特 别是`settings.py`中的设置项是否符 合要求。确保所有依赖项都已正确安 装，并且版本兼容。
数据解析错误
总结词
在抓取数据时，可能会遇到数据解析 错误，导致无法正确提取所需信息。
详细描述
检查解析数据的代码是否正确，特别 是正则表达式或BeautifulSoup的使 用是否得当。确保目标网站的结构未 发生改变，以避免解析规则失效。
04
Scrapy进阶使用
使用选择器
选择器是用于从网页中提取数据的工具。在 Scrapy中，常用的选择器有CSS选择器和 XPath选择器。
CSS选择器使用"."来标识类名，使用"#"来标 识ID，使用"/"来标识标签名。例如，".title" 表示选取类名为"title"的元素，"#content" 表示选取ID为"content"的元素，"//p"表示 选取所有p标签元素。
使用Scrapy Shell
Scrapy Shell是一个交互式命令行工 具，用于在Scrapy项目中进行数据提 取和测试。通过Scrapy Shell，可以 直接在网页上查看和测试选择器的结 果，方便进行数据提取和调试。
VS
使用Scrapy Shell的方法是在命令行 中输入"scrapy shell URL"，其中 URL是要抓取的网页地址。在Scrapy Shell中，可以使用"response.css()" 或"response.xpath()"方法来提取数 据，并使用Python的print()函数来 查看结果。同时，还可以使用Scrapy Shell进行数据清洗和处理的测试，方 便进行数据预处理和提取。
Python网络爬虫设计与实现-课件详解
数据可视化
学习使用Python的数据可视化工 具创建图表和可视化呈现数据。
Pandas库应用
了解如何使用Pandas库对爬虫数 据进行处理和分析。
爬取动态网页的方法与技巧
1 动态网页基础
了解动态网页的基本原理和技术。
2 模拟浏览器行为
学习使用Selenium模拟浏览器行为来解 析动态网页。
3 AJAX抓包
学习如何使用解析库解析和提取XML页 面的数据。
3 JSON解析
介绍如何使用解析库解析和提取JSON数据。如何提高爬虫效率与稳定性
1
多线程/多进程
了解并实践使用多线程或多进程提高爬
异步请求
2
虫效率。
介绍异步请求的概念和使用方法以提高
爬虫的效率。
3
错误处理和重试
学习如何处理爬虫中的错误和异常，并 进行自动重试。
学习如何使用爬虫爬取和保存网 页上的图片数据。
视频爬取技巧
了解如何使用爬虫爬取和保存网 页上的视频数据。
图像识别技术
介绍使用图像识别技术自动识别 和下载网页中的图片。
数据提取技术
学习使用XPath和正则表达式提取 网页中的数据。
API集成
了解通过API和Web Services获取 结构化数据的方法。
RSS订阅
介绍如何使用爬虫订阅和提取 RSS源的内容。
网页解析的基本方法及相关技术
1 HTML解析
了解如何使用解析库解析和提取HTML 页面的数据。
2 XML解析
学习URL解析和请求头设置 的基本知识。
常见请求错误
介绍一些常见的网络请求错 误和解决方法。
爬虫的常见反爬策略及应对方法
1
IP封禁
Python爬虫基础课件(PPT版)
基于Scrapy框架的网站爬虫实例
Scrapy框架介绍
爬虫实例
学习使用Scrapy框架构建Python 爬虫系统的基本概念和使用方法。
分享一些使用Scrapy框架构建的 实际爬虫项目的案例和经验。
数据抓取效果
展示使用Scrapy框架进行网站数 据抓取的实际效果和成果。
了解常见的爬虫错误和异常， 并学习如何处理和避免它们。
3 最佳实践
分享一些爬虫性能优化和错误处理的最佳实践和技巧。
持续学习与社区分享
探讨如何在Python爬虫领域持续学习和改进自己的技能，并与社区分享经验和知识。
常见爬虫面试题及解答技巧
解答一些常见的Python爬虫面试题，并分享解答技巧和策略。
数据分析案例
分享一些实践案例，如新闻抓取、 价格监测和社交媒体数据分析。
展示一些实际项目中使用Python 爬虫进行数据提取的案例和应用。
介绍一些使用爬虫获取数据并进 行数据分析的实践案例。
爬虫性能优化和错误处理方法
1 性能优化
学习如何优化爬虫的性能， 包括并发请求、异步爬取和 缓存技术。
2 错误处理
介绍如何构建分布式爬虫系统，包括任务调度、数 据同步和通信机制。
数据清洗和预处理方法
数据清洗
学习如何清理和处理爬虫获取的原始数据，如 去除重复项和处理缺失值。
数据预处理
介绍常见的数据预处理方法，如数据规范化和 特征选择。
爬虫数据的可视化分析和展示
1 可视化工具
探索用于可视化爬虫数据 的常用工具和库，如 Matplotlib和Seaborn。
2 数据on进行数据分析， 包括数据聚合、统计分析 和生成可视化图表。
分享一些使用可视化工具 分析爬虫数据的实际案例。
python爬虫入门ppt课件
• selenium+Firefox（36版） • 抓包应对动态网页
4
引言 爬虫能做什么？
微博最近有啥热门话题 淘宝京东上某商品价格变动邮箱通知 女/男神最新动态 谁点赞最活跃 BBS抢沙发 社交网络分析 ….
5
引言 爬虫能做什么
一句话， 只要浏览器有的， 你都可以抓可以爬
6
引言 爬虫好学吗？
三、网页请求
• 找规律构建url • requests库
7
四、网页解析
• 如何解析网页 • BeautifulSoup • re库的使用
六、如何应对反爬
• 控制访问频率 • 伪装装成浏览器 • 使用代理IP
五、开始采集
七、高级爬虫
• 条件、循环语句 • try。。。Except异常处理。 • 数据存储
• 爬虫工作原理 • HTML • Python基本知识
三、网页请求
• 找规律构建url • requests库
17
四、网页解析
• 如何解析网页 • BeautifulSoup • re库的使用
六、如何应对反爬
• 控制访问频率 • 伪装装成浏览器 • 使用代理IP
五、开始采集
七、高级爬虫
• 条件、循环语句 • try。。。Except异常处理。 • 数据存储
32
BeautifulSoup –遍历文档树
>>>#直接子节点 .children >>>bsObj.head.children #返回生成器，可以迭代取出来 <listiterator object at 0x7f71457f5710>
>>>for child in soup.body.children: >>> print child
网络爬虫课件ppt
BeautifulSoup库的使用
安装BeautifulSoup库
解析HTML文档
使用pip install beautifulsoup4命令进行 安装。
使用BeautifulSoup的解析方法，如find() 、find_all()等，查找HTML元素。
提取数据
解析XML文档
通过BeautifulSoup的extract()方法提取 HTML元素中的数据。
网络爬虫课件
目录
• 网络爬虫概述 • 网络爬虫的基本原理 • Python网络爬虫实战 • 网络爬虫的道德与法律问题 • 网络爬虫技术进阶 • 网络爬虫案例分析
01 网络爬虫概述
定义与特点
定义
网络爬虫是一种自动化的程序，用于从互联网上抓取数据。
特点
高效性、自动化、数据抓取和存储。
网络爬虫的分类
遵守法律法规和隐私保护
相关法律法规
各国政府都有相关的法律法规，规范 网络爬虫的行为。例如，欧盟的通用 数据保护条例（GDPR）规定了对个 人数据的处理和保护措施。
隐私保护的重要性
在抓取数据时，必须严格遵守隐私法 规，确保不会泄露用户的个人信息。 此外，未经授权的爬取行为可能侵犯 版权，导致法律纠纷。
监控竞争对手的网站动态，获取行业情报和 趋势分析。
02
01
个人使用
用于个人兴趣爱好，如收集特定主题的资料 、图片等。
04
03
02 网络爬虫的基本原理
HTTP协议基础
HTTP协议定义
HTTP协议是互联网的基础，用于从服务器请求和发 送网页内容。
HTTP请求方法
GET、POST、PUT、DELETE等是常见的HTTP请求 方法，用于不同的数据请求和操作。
《Python网络爬虫技术案例教程》PPT课件(共10单元)十单元项目实战京东商品信息爬取及数据分析
例如，输入“手机”，搜索 京东网站中手机相关的商品信 息（见图10-1），包括不同品 牌不同型号的手机价格、店铺 名和评价数（根据评价数可推 测销量）。通过这些数据可以 分析手机的价格分布、不同型 号手机销量和均价、店铺销量 比例等。
图10-1 京东网站搜索的手机相关商品信息
10.2 爬虫实现
初始化模块
#输入关键字
#调用search函数 #调用goods_parse函数
10.2 爬虫实现
10.2.4 主模块
运行程序后，MongoDB数据库中的内容如图10-5所示。
图10-5 MongoDB数据库中的内容（部分）
10.3 爬虫数据分析
在数据分析方面，Python有非常强大的第三方库，pandas就是其中之一，它是 基于NumPy数组构建的，可以更快更简单地预处理、清洗和分析数据。
例如字符串“￥4999.00”中，将“￥”使用空字符替换；字符串“1.4万+”中 ，将“+”和“.”使用空字符替换，然后将“万”使用“000”替换；字符串“1万 +”中，将“+”使用空字符替换，然后将“万”使用“0000”替换。由于搜索的结 果中包含了价格待发布的手机信息，所以此处筛选出标明价格的数据。
10.3.3 分析数据
（2）分析华为各型号手机的销售量和均价，如mate30、p40、荣耀30、nova7 、畅享20和麦芒9等。由于京东网站只有近6个月商品的评价信息，故此处，将评价数 看作销售量进行分析。首先，根据手机型号筛选数据；然后，统计每个型号手机的销 量和均价；最后，绘制柱状图（x轴表示手机型号，y轴表示该手机销量或均价），并 在每个长条上方标明销量或均价的值。
pandas库不是Python内置的标准库，使用之前需要安装，安装方法与requests 库的安装类似（请参考2.3.2小节），此处不再赘述。
Python爬虫程序设计KC ppt课件
<_sre.SRE_Match object; span=(3, 6), match='123'> 从结果看出，在指定的字符串中找到了连续的数值，它们是"123"，span(3,6)表示开 始位置是3，结束位置是6，这正好是"123"在"abc123cd"中的位置。 Python中关于正则表达式的规则比较多，下面将介绍主要的内容，详细内容读者可 以参考相关资料。
import re reg=r"\w+" m=re.search(reg,"Python is easy") print(m) 结果匹配"Python"： <_sre.SRE_Match object; span=(0, 6), match='Python'>
5、字符"."代表任何一个字符，但是没有特别声明时不代表字符"\n"。 例如：
import re s="xaxby" m=re.search(r"a.b",s) print(m) 结果"."代表了字符"x" <_sre.SRE_Match object; span=(1, 4), match='axb'>
import re reg=r"a\nb?" m=re.search(reg,"ca\nbcabc") print(m) 结果匹配"a\n\b": <_sre.SRE_Match object; span=(1, 4), match='a\nb'>
import re reg=r"\w+" m=re.search(reg,"Python is easy") print(m) 结果匹配"Python"： <_sre.SRE_Match object; span=(0, 6), match='Python'>
5、字符"."代表任何一个字符，但是没有特别声明时不代表字符"\n"。 例如：
import re s="xaxby" m=re.search(r"a.b",s) print(m) 结果"."代表了字符"x" <_sre.SRE_Match object; span=(1, 4), match='axb'>
import re reg=r"a\nb?" m=re.search(reg,"ca\nbcabc") print(m) 结果匹配"a\n\b": <_sre.SRE_Match object; span=(1, 4), match='a\nb'>
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 高级爬虫框架Scrapy • 分布式爬虫设计
– 分布式队列 – 布隆过滤器 (Bloom Fil一个自动提取网页的程序，它为搜索 引擎从万维网上下载网页，是搜索引擎的重要组 成。传统爬虫从一个或若干初始网页的URL开始， 获得初始网页上的URL，在抓取网页的过程中，不 断从当前页面上抽取新的URL放入队列,直到满足 系统的一定停止条件。
– 1.深度优先遍历策略 – 2.宽度优先遍历策略 – 3.反向链接数策略 – 4.Partial PageRank策略
抓取策略
• depth-first：
遍历的路径：A-F-G E-H-I B C D
• breadth-first： 遍历的路径：A-B-C-D-E-F G H I
网页更新策略
• 互联网是实时变化的，具有很强的动态性。网页 更新策略主要是决定何时更新之前已经下载过的 页面。常见的更新策略又以下三种：
• 这种模式有一个问题，当有一台服务器死机或者 添加新的服务器，那么所有URL的哈希求余的结果 就都要变化。也就是说，这种方式的扩展性不佳。
4.可知网页：还没有抓取下来，也没有在待抓取URL队列中， 但是可以通过对已抓取页面或者待抓取URL对应页面进行分 析获取到的URL，认为是可知网页。
5.还有一部分网页，爬虫是无法直接抓取下载的。称为不可
知网页。
抓取策略
• 在爬虫系统中，待抓取URL队列是很重要的一部分。 待抓取URL队列中的URL以什么样的顺序排列也是 一个很重要的问题，因为这涉及到先抓取那个页 面，后抓取哪个页面。而决定这些URL排列顺序的 方法，叫做抓取策略。下面重点介绍几种常见的 抓取策略：
• 对于一个数据中心内的不同抓去服务器，协同工 作的方式有几种：
– 1.主从式（Master-Slave） – 2.对等式（Peer to Peer）
主从式抓取系统结构
主从式抓取系统结构
• 对于主从式而言，有一台专门的Master服务器来 维护待抓取URL队列，它负责每次将URL分发到不 同的Slave服务器，而Slave服务器则负责实际的 网页下载工作。Master服务器除了维护待抓取URL 队列以及分发URL之外，还要负责调解各个Slave 服务器的负载情况。以免某些Slave服务器过于清 闲或者劳累。
爬虫的分类
• 批量型爬虫
– 批量型爬虫有明确的抓取范围和目标，当爬虫达到这 个设定的目标后，即停止抓取过程。
• 增量型爬虫
– 增量型爬虫会持续不断的抓取，对于抓取的网页，要 定期更新。通用的商业搜索引擎爬虫基本都属于此类。
• 垂直型爬虫
– 垂直型爬虫关注特定主题内容或者属于特定行业的网 页，其他主题或者其他行业的内容不再考虑范围。
从爬虫的角度对互联网进行划分
从爬虫的角度对互联网进行划分
• 对应的，可以将互联网的所有页面分为五个部分：
1.已下载未过期网页
2.已下载已过期网页：抓取到的网页实际上是互联网内容的 一个镜像与备份，互联网是动态变化的，一部分互联网上的 内容已经发生了变化，这时，这部分抓取到的网页就已经过 期了。
3.待下载网页：也就是待抓取URL队列中的那些页面
SUCCESS
THANK YOU
2019/7/1
网页更新策略
• 3.聚类抽样策略
前面提到的两种更新策略都有一个前提：需要网页 的历史信息。这样就存在两个问题：第一，系统要 是为每个系统保存多个版本的历史信息，无疑增加 了很多的系统负担；第二，要是新的网页完全没有 历史信息，就无法确定更新策略。
这种策略认为，网页具有很多属性，类似属性的网 页，可以认为其更新频率也是类似的。要计算某一 个类别网页的更新频率，只需要对这一类网页抽样， 以他们的更新周期作为整个类别的更新周期。
Python爬虫设计入门
Using Python To Design A Crawler
重庆大学软件服务工程实验室 余俊良
Summarize
• 基本的爬虫工作原理 • 简单爬虫设计
– 入门库：
• 下载网页：urllib，Requests • 解析网页：BeautifulSoup • 模拟交互，处理JS动态网页：Selenium
通用爬虫框架
基本工作流程
• 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来， 存储进已下载网页库中。此外，将这些URL放进已抓 取URL队列。 4.分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循 环。
• 这种模式下，Master往往容易成为系统瓶颈。
对等式抓取系统结构
对等式抓取系统结构
• 在这种模式下，所有的抓取服务器在分工上没有 不同。每一台抓取服务器都可以从待抓取在URL队 列中获取URL，然后对该URL的主域名的hash值H， 然后计算H mod m（其中m是服务器的数量，以上 图为例，m为3），计算得到的数就是处理该URL的 主机编号。
分布式抓取系统结构
• 一般来说，抓取系统需要面对的是整个互联网上数以亿 计的网页。单个抓取程序不可能完成这样的任务。往往需 要多个抓取程序一起来处理。一般来说抓取系统往往是一 个分布式的三层结构。如图所示：
分布式抓取系统结构
• 最下一层是分布在不同地理位置的数据中心，在 每个数据中心里有若干台抓取服务器，而每台抓 取服务器上可能部署了若干套爬虫程序。这就构 成了一个基本的分布式抓取系统。
• 1.历史参考策略
– 顾名思义，根据页面以往的历史更新数据，预测 该页面未来何时会发生变化。一般来说，是通过泊松 过程进行建模进行预测。
网页更新策略
• 2.用户体验策略 尽管搜索引擎针对于某个查询条件能够返回
数量巨大的结果，但是用户往往只关注前几页结 果。因此，抓取系统可以优先更新那些显示在查 询结果前几页中的网页，而后再更新那些后面的 网页。这种更新策略也是需要用到历史信息的。 用户体验策略保留网页的多个历史版本，并且根 据过去每次内容变化对搜索质量的影响，得出一 个平均值，用这个值作为决定何时重新抓取的依 据
– 分布式队列 – 布隆过滤器 (Bloom Fil一个自动提取网页的程序，它为搜索 引擎从万维网上下载网页，是搜索引擎的重要组 成。传统爬虫从一个或若干初始网页的URL开始， 获得初始网页上的URL，在抓取网页的过程中，不 断从当前页面上抽取新的URL放入队列,直到满足 系统的一定停止条件。
– 1.深度优先遍历策略 – 2.宽度优先遍历策略 – 3.反向链接数策略 – 4.Partial PageRank策略
抓取策略
• depth-first：
遍历的路径：A-F-G E-H-I B C D
• breadth-first： 遍历的路径：A-B-C-D-E-F G H I
网页更新策略
• 互联网是实时变化的，具有很强的动态性。网页 更新策略主要是决定何时更新之前已经下载过的 页面。常见的更新策略又以下三种：
• 这种模式有一个问题，当有一台服务器死机或者 添加新的服务器，那么所有URL的哈希求余的结果 就都要变化。也就是说，这种方式的扩展性不佳。
4.可知网页：还没有抓取下来，也没有在待抓取URL队列中， 但是可以通过对已抓取页面或者待抓取URL对应页面进行分 析获取到的URL，认为是可知网页。
5.还有一部分网页，爬虫是无法直接抓取下载的。称为不可
知网页。
抓取策略
• 在爬虫系统中，待抓取URL队列是很重要的一部分。 待抓取URL队列中的URL以什么样的顺序排列也是 一个很重要的问题，因为这涉及到先抓取那个页 面，后抓取哪个页面。而决定这些URL排列顺序的 方法，叫做抓取策略。下面重点介绍几种常见的 抓取策略：
• 对于一个数据中心内的不同抓去服务器，协同工 作的方式有几种：
– 1.主从式（Master-Slave） – 2.对等式（Peer to Peer）
主从式抓取系统结构
主从式抓取系统结构
• 对于主从式而言，有一台专门的Master服务器来 维护待抓取URL队列，它负责每次将URL分发到不 同的Slave服务器，而Slave服务器则负责实际的 网页下载工作。Master服务器除了维护待抓取URL 队列以及分发URL之外，还要负责调解各个Slave 服务器的负载情况。以免某些Slave服务器过于清 闲或者劳累。
爬虫的分类
• 批量型爬虫
– 批量型爬虫有明确的抓取范围和目标，当爬虫达到这 个设定的目标后，即停止抓取过程。
• 增量型爬虫
– 增量型爬虫会持续不断的抓取，对于抓取的网页，要 定期更新。通用的商业搜索引擎爬虫基本都属于此类。
• 垂直型爬虫
– 垂直型爬虫关注特定主题内容或者属于特定行业的网 页，其他主题或者其他行业的内容不再考虑范围。
从爬虫的角度对互联网进行划分
从爬虫的角度对互联网进行划分
• 对应的，可以将互联网的所有页面分为五个部分：
1.已下载未过期网页
2.已下载已过期网页：抓取到的网页实际上是互联网内容的 一个镜像与备份，互联网是动态变化的，一部分互联网上的 内容已经发生了变化，这时，这部分抓取到的网页就已经过 期了。
3.待下载网页：也就是待抓取URL队列中的那些页面
SUCCESS
THANK YOU
2019/7/1
网页更新策略
• 3.聚类抽样策略
前面提到的两种更新策略都有一个前提：需要网页 的历史信息。这样就存在两个问题：第一，系统要 是为每个系统保存多个版本的历史信息，无疑增加 了很多的系统负担；第二，要是新的网页完全没有 历史信息，就无法确定更新策略。
这种策略认为，网页具有很多属性，类似属性的网 页，可以认为其更新频率也是类似的。要计算某一 个类别网页的更新频率，只需要对这一类网页抽样， 以他们的更新周期作为整个类别的更新周期。
Python爬虫设计入门
Using Python To Design A Crawler
重庆大学软件服务工程实验室 余俊良
Summarize
• 基本的爬虫工作原理 • 简单爬虫设计
– 入门库：
• 下载网页：urllib，Requests • 解析网页：BeautifulSoup • 模拟交互，处理JS动态网页：Selenium
通用爬虫框架
基本工作流程
• 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取URL队列中取出待抓取在URL，解析DNS， 并且得到主机的ip，并将URL对应的网页下载下来， 存储进已下载网页库中。此外，将这些URL放进已抓 取URL队列。 4.分析已抓取URL队列中的URL，分析其中的其他URL， 并且将URL放入待抓取URL队列，从而进入下一个循 环。
• 这种模式下，Master往往容易成为系统瓶颈。
对等式抓取系统结构
对等式抓取系统结构
• 在这种模式下，所有的抓取服务器在分工上没有 不同。每一台抓取服务器都可以从待抓取在URL队 列中获取URL，然后对该URL的主域名的hash值H， 然后计算H mod m（其中m是服务器的数量，以上 图为例，m为3），计算得到的数就是处理该URL的 主机编号。
分布式抓取系统结构
• 一般来说，抓取系统需要面对的是整个互联网上数以亿 计的网页。单个抓取程序不可能完成这样的任务。往往需 要多个抓取程序一起来处理。一般来说抓取系统往往是一 个分布式的三层结构。如图所示：
分布式抓取系统结构
• 最下一层是分布在不同地理位置的数据中心，在 每个数据中心里有若干台抓取服务器，而每台抓 取服务器上可能部署了若干套爬虫程序。这就构 成了一个基本的分布式抓取系统。
• 1.历史参考策略
– 顾名思义，根据页面以往的历史更新数据，预测 该页面未来何时会发生变化。一般来说，是通过泊松 过程进行建模进行预测。
网页更新策略
• 2.用户体验策略 尽管搜索引擎针对于某个查询条件能够返回
数量巨大的结果，但是用户往往只关注前几页结 果。因此，抓取系统可以优先更新那些显示在查 询结果前几页中的网页，而后再更新那些后面的 网页。这种更新策略也是需要用到历史信息的。 用户体验策略保留网页的多个历史版本，并且根 据过去每次内容变化对搜索质量的影响，得出一 个平均值，用这个值作为决定何时重新抓取的依 据