网络爬虫 ppt课件
合集下载
爬虫技术优秀PPT讲义
四.从爬虫的角度对互联网进行划分
五.抓取策略
在爬虫系统中,待抓取URL队列是很重要的一部分.待抓取 URL队列中的URL以什么样的顺序排列也是一个很重要的问 题,因为这涉及到先抓取那个页面,后抓取哪个页面.而决 定这些URL排列顺序的方法,叫做抓取策略.以下图为例：
五.一.深度优先遍历策略
深度优先遍历策略是指网络爬虫会从起始页开始,一个链 接一个链接跟踪下去,处理完这条线路之后再转入下一个 起始页,继续跟踪链接.
五.六.大站优先策略
对于待抓取URL队列中的所有网页,根据所属的网站进 行分类.对于待下载页面数多的网站,优先下载.这个策略 也因此叫做大站优先策略.
六.网站与网络蜘蛛
网络蜘蛛需要抓取网页,不同于一般的访问,如果控制不好, 则会引起网站服务器负担过重.去年四月,淘宝 就因为雅 虎搜索引擎的网络蜘蛛抓取其数据引起淘宝网服务器的不 稳定.
得到主机的ip,并将URL对应的网页下载下来,存储进已下 载网页库中.此外,将这些URL放进已抓取URL队列. 四.分析已抓取URL队列中的URL,分析其中的其他URL,并 且将URL放入待抓取URL队列,从而进入下一个循环.
四.从爬虫的角度对互联网进行划分
主要可以分为以下五部分： 一.已下载未过期网页 二.已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份,
三.资源库是用来存放下载到的网页资源,一般都采用大型 的数据库存储,如Oracle数据库,并对其建立索引.
二.网络爬虫的基本结构
一个通用的网络爬虫的框架
三.网络爬虫的工作流程
一.首先选取一部分精心挑选的种子URL； 二.将这些URL放入待抓取URL队列； 三.从待抓取URL队列中取出待抓取在URL,解析DNS,并且
网络爬虫和抽取系统设计PPT课件
招聘信息网
项目介绍
Project introduction
项目介绍
购物比价网
什么是购物比价网？
以价格比较为核心业务，从其 他网上商城抓取产品信息，提供 给用户浏览和比较，为购买决策 提供有力的参考。
9
项目介绍
购物比价网价值
购物比价网有什么价值？
解决用户在购物时需打开多个 网站，不断自行比较的繁琐问题。 节省用户购物时间优化用户的购 物体验，带给用户带了更愉悦的 购物经历。
应用
项目介绍
爬虫的价值
价值：互联网数据，为我所用！
技术文章大全
爬取某知名博客网站，将某类文章 爬取下来，
制作成本地离线的电子书。
价值数据
爬取多个新闻网站，将新闻聚集显 示，提供全面的实时信息。
新闻聚合阅读器
7
商品价格对比网
爬取多个购物网站的某件商品的价 格，进行对比。
爬取多个招聘网站，将招聘信息分 类，供用户查询。
03. 系统架构
03-1. 系统功能 03-2. 系统组成和分层架构
04.技术架构
04-1. 爬虫选择 04-2. WEB框架选择
爬虫介绍
Crawler introduction
爬虫介绍
什么是网络爬虫？
网络爬虫：一段自动抓取互联网信息的程序。
互联网
URL
URL
人工
URL URL URL
URL
URL
行业PPT模板：/h angye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejia n/ 试卷下载：/shiti/
PPT论坛：
项目介绍
Project introduction
项目介绍
购物比价网
什么是购物比价网？
以价格比较为核心业务，从其 他网上商城抓取产品信息，提供 给用户浏览和比较，为购买决策 提供有力的参考。
9
项目介绍
购物比价网价值
购物比价网有什么价值？
解决用户在购物时需打开多个 网站，不断自行比较的繁琐问题。 节省用户购物时间优化用户的购 物体验，带给用户带了更愉悦的 购物经历。
应用
项目介绍
爬虫的价值
价值：互联网数据，为我所用！
技术文章大全
爬取某知名博客网站，将某类文章 爬取下来，
制作成本地离线的电子书。
价值数据
爬取多个新闻网站，将新闻聚集显 示，提供全面的实时信息。
新闻聚合阅读器
7
商品价格对比网
爬取多个购物网站的某件商品的价 格，进行对比。
爬取多个招聘网站，将招聘信息分 类，供用户查询。
03. 系统架构
03-1. 系统功能 03-2. 系统组成和分层架构
04.技术架构
04-1. 爬虫选择 04-2. WEB框架选择
爬虫介绍
Crawler introduction
爬虫介绍
什么是网络爬虫？
网络爬虫：一段自动抓取互联网信息的程序。
互联网
URL
URL
人工
URL URL URL
URL
URL
行业PPT模板：/h angye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejia n/ 试卷下载：/shiti/
PPT论坛：
《scrapy入门》课件
详细描述
检查Scrapy的配置文件是否正确，特 别是`settings.py`中的设置项是否符 合要求。确保所有依赖项都已正确安 装，并且版本兼容。
数据解析错误
总结词
在抓取数据时，可能会遇到数据解析 错误，导致无法正确提取所需信息。
详细描述
检查解析数据的代码是否正确，特别 是正则表达式或BeautifulSoup的使 用是否得当。确保目标网站的结构未 发生改变，以避免解析规则失效。
04
Scrapy进阶使用
使用选择器
选择器是用于从网页中提取数据的工具。在 Scrapy中，常用的选择器有CSS选择器和 XPath选择器。
CSS选择器使用"."来标识类名，使用"#"来标 识ID，使用"/"来标识标签名。例如，".title" 表示选取类名为"title"的元素，"#content" 表示选取ID为"content"的元素，"//p"表示 选取所有p标签元素。
使用Scrapy Shell
Scrapy Shell是一个交互式命令行工 具，用于在Scrapy项目中进行数据提 取和测试。通过Scrapy Shell，可以 直接在网页上查看和测试选择器的结 果，方便进行数据提取和调试。
VS
使用Scrapy Shell的方法是在命令行 中输入"scrapy shell URL"，其中 URL是要抓取的网页地址。在Scrapy Shell中，可以使用"response.css()" 或"response.xpath()"方法来提取数 据，并使用Python的print()函数来 查看结果。同时，还可以使用Scrapy Shell进行数据清洗和处理的测试，方 便进行数据预处理和提取。
检查Scrapy的配置文件是否正确，特 别是`settings.py`中的设置项是否符 合要求。确保所有依赖项都已正确安 装，并且版本兼容。
数据解析错误
总结词
在抓取数据时，可能会遇到数据解析 错误，导致无法正确提取所需信息。
详细描述
检查解析数据的代码是否正确，特别 是正则表达式或BeautifulSoup的使 用是否得当。确保目标网站的结构未 发生改变，以避免解析规则失效。
04
Scrapy进阶使用
使用选择器
选择器是用于从网页中提取数据的工具。在 Scrapy中，常用的选择器有CSS选择器和 XPath选择器。
CSS选择器使用"."来标识类名，使用"#"来标 识ID，使用"/"来标识标签名。例如，".title" 表示选取类名为"title"的元素，"#content" 表示选取ID为"content"的元素，"//p"表示 选取所有p标签元素。
使用Scrapy Shell
Scrapy Shell是一个交互式命令行工 具，用于在Scrapy项目中进行数据提 取和测试。通过Scrapy Shell，可以 直接在网页上查看和测试选择器的结 果，方便进行数据提取和调试。
VS
使用Scrapy Shell的方法是在命令行 中输入"scrapy shell URL"，其中 URL是要抓取的网页地址。在Scrapy Shell中，可以使用"response.css()" 或"response.xpath()"方法来提取数 据，并使用Python的print()函数来 查看结果。同时，还可以使用Scrapy Shell进行数据清洗和处理的测试，方 便进行数据预处理和提取。
网络爬虫ppt课件
12
13
工作流程
网络爬虫基本架构如图所示，其各个部分的主要功能介 绍如下：
1．页面采集模块：该模块是爬虫和因特网的接口，主 要作用是通过各种 web 协议(一般以 HTTP．FTP 为主 )来完成对网页数据的采集，保存后将采集到的页面交 由后续模块作进一步处理。
其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面分析、链接抽取。
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
5
垂直搜索的本质
从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型号、价格、生产 厂家等，还可以提供比价服务
6
爬虫基本原理
网络爬虫是通过网页的链接地址来寻找网页， 从一个或若干初始网页的URL开始（通常是某 网站首页），遍历 Web 空间，读取网页的内容 ，不断从一个站点移动到另一个站点，自动建 立索引。在抓取网页的过程中，找到在网页中 的其他链接地址，对 HTML 文件进行解析，取 出其页面中的子链接，并加入到网页数据库中 ，不断从当前页面上抽取新的URL放入队列， 这样一直循环下去，直到把这个网站所有的网 页都抓取完，满足系统的一定停止条件。 7
随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这些数据写入磁盘来释放主存，以及避 免爬行器崩溃数据丢失。没有保证所有的 Web 页 面的访问都是按照这种方式进行，爬行器从不会停 下来，Spider 运行时页面也会随之不断增加。
13
工作流程
网络爬虫基本架构如图所示，其各个部分的主要功能介 绍如下：
1．页面采集模块：该模块是爬虫和因特网的接口，主 要作用是通过各种 web 协议(一般以 HTTP．FTP 为主 )来完成对网页数据的采集，保存后将采集到的页面交 由后续模块作进一步处理。
其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面分析、链接抽取。
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
5
垂直搜索的本质
从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型号、价格、生产 厂家等，还可以提供比价服务
6
爬虫基本原理
网络爬虫是通过网页的链接地址来寻找网页， 从一个或若干初始网页的URL开始（通常是某 网站首页），遍历 Web 空间，读取网页的内容 ，不断从一个站点移动到另一个站点，自动建 立索引。在抓取网页的过程中，找到在网页中 的其他链接地址，对 HTML 文件进行解析，取 出其页面中的子链接，并加入到网页数据库中 ，不断从当前页面上抽取新的URL放入队列， 这样一直循环下去，直到把这个网站所有的网 页都抓取完，满足系统的一定停止条件。 7
随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这些数据写入磁盘来释放主存，以及避 免爬行器崩溃数据丢失。没有保证所有的 Web 页 面的访问都是按照这种方式进行，爬行器从不会停 下来，Spider 运行时页面也会随之不断增加。
网络爬虫课件ppt
BeautifulSoup库的使用
安装BeautifulSoup库
解析HTML文档
使用pip install beautifulsoup4命令进行 安装。
使用BeautifulSoup的解析方法，如find() 、find_all()等，查找HTML元素。
提取数据
解析XML文档
通过BeautifulSoup的extract()方法提取 HTML元素中的数据。
网络爬虫课件
目录
• 网络爬虫概述 • 网络爬虫的基本原理 • Python网络爬虫实战 • 网络爬虫的道德与法律问题 • 网络爬虫技术进阶 • 网络爬虫案例分析
01 网络爬虫概述
定义与特点
定义
网络爬虫是一种自动化的程序，用于从互联网上抓取数据。
特点
高效性、自动化、数据抓取和存储。
网络爬虫的分类
遵守法律法规和隐私保护
相关法律法规
各国政府都有相关的法律法规，规范 网络爬虫的行为。例如，欧盟的通用 数据保护条例（GDPR）规定了对个 人数据的处理和保护措施。
隐私保护的重要性
在抓取数据时，必须严格遵守隐私法 规，确保不会泄露用户的个人信息。 此外，未经授权的爬取行为可能侵犯 版权，导致法律纠纷。
监控竞争对手的网站动态，获取行业情报和 趋势分析。
02
01
个人使用
用于个人兴趣爱好，如收集特定主题的资料 、图片等。
04
03
02 网络爬虫的基本原理
HTTP协议基础
HTTP协议定义
HTTP协议是互联网的基础，用于从服务器请求和发 送网页内容。
HTTP请求方法
GET、POST、PUT、DELETE等是常见的HTTP请求 方法，用于不同的数据请求和操作。
《Python网络爬虫技术案例教程》PPT课件(共10单元)十单元项目实战京东商品信息爬取及数据分析
例如，输入“手机”，搜索 京东网站中手机相关的商品信 息（见图10-1），包括不同品 牌不同型号的手机价格、店铺 名和评价数（根据评价数可推 测销量）。通过这些数据可以 分析手机的价格分布、不同型 号手机销量和均价、店铺销量 比例等。
图10-1 京东网站搜索的手机相关商品信息
10.2 爬虫实现
初始化模块
#输入关键字
#调用search函数 #调用goods_parse函数
10.2 爬虫实现
10.2.4 主模块
运行程序后，MongoDB数据库中的内容如图10-5所示。
图10-5 MongoDB数据库中的内容（部分）
10.3 爬虫数据分析
在数据分析方面，Python有非常强大的第三方库，pandas就是其中之一，它是 基于NumPy数组构建的，可以更快更简单地预处理、清洗和分析数据。
例如字符串“￥4999.00”中，将“￥”使用空字符替换；字符串“1.4万+”中 ，将“+”和“.”使用空字符替换，然后将“万”使用“000”替换；字符串“1万 +”中，将“+”使用空字符替换，然后将“万”使用“0000”替换。由于搜索的结 果中包含了价格待发布的手机信息，所以此处筛选出标明价格的数据。
10.3.3 分析数据
（2）分析华为各型号手机的销售量和均价，如mate30、p40、荣耀30、nova7 、畅享20和麦芒9等。由于京东网站只有近6个月商品的评价信息，故此处，将评价数 看作销售量进行分析。首先，根据手机型号筛选数据；然后，统计每个型号手机的销 量和均价；最后，绘制柱状图（x轴表示手机型号，y轴表示该手机销量或均价），并 在每个长条上方标明销量或均价的值。
pandas库不是Python内置的标准库，使用之前需要安装，安装方法与requests 库的安装类似（请参考2.3.2小节），此处不再赘述。
《网络爬虫》PPT课件
7.1 类的方法
第七章 网络爬虫
7.1.1 网页的概念
1、URL的含义 URL(Uniform Resource Locator,URL)称为统一资源定位符，也称为网址。互联网上 的每个页面，都对应一个URL。 如：浏览上海市空气质量和pm2.5指标的网址为 /air/shanghai.html 。 URL主要包含四个部分：协议部分，如上海市空气质量网址的协议为“http：”，表示 超文本传输协议；网站名部分，如上海市空气质量网址的网站名部分为 ，表示该网页所在的主机位置；端口部分，跟在域名后面的是端口， 域名和端口之间使用“:”作为分隔符，端口不是一个URL必须的部分，如果采用默认 端口80，则可以省略端口部分；虚拟目录和文件名部分，如上海市空气质量网址的虚 拟目录和文件名部分内容为/air/shanghai.html，表示该网页在这个主机上的具体路径。
6 of 31
高级大数据人才培养丛书
第七章 网络爬虫
7.1 网络爬虫工作的基本原理 7.2 网页内容获取-requests库概述 7.3 网页内容解析-Beautiful Soup库 7.4 正则表达式 7.5 实战：热门电影搜索 7.6 实战：大数据论文文章标题采集 7.7 实战：全国空气质量 习题
高级大数据人才培养丛书
第七章 网络爬虫
7.1 网络爬虫工作的基本原理 7.2 网页内容获取-requests库概述 7.3 网页内容解析-Beautiful Soup库 7.4 正则表达式 7.5 实战：热门电影搜索 7.6 实战：大数据论文文章标题采集 7.7 实战：全国空气质量 习题
1 of 56
4 of 31
7.1 类的方法
第七章 网络爬虫
7.1.2 网络爬虫的工作流程
网络爬虫总体介绍ppt课件
❖ 控制器：是网络爬虫的中央控制器，它主要是负责根据系 统传过来的URL链接，分配一线程，然后启动线程调用爬 虫爬取网页的过程。
❖ 解析器：是负责网络爬虫的主要部分，其负责的工作主要 有：对网页的文本进行处理，如过滤功能，抽取特殊 HTML标签的功能，分析数据功能.下载网页数据,包括 html、图片、doc、pdf、多媒体、动态网页等。
附录1：开源爬虫
❖ Methabot是一个使用C语言编写的高速优化的，使用命令行方式运行的， 在2-clause BSD许可下发布的网页检索器。它的主要的特性是高可配置性， 模块化；它检索的目标可以是本地文件系统，HTTP或者FTP。
❖ Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连 接Lucene的全文检索套件；
爬虫。在英语和日语页面的抓取表现良好，它在GPL许可下发行，并且完全 使用Python编写。按照robots.txt有一个延时的单网域延时爬虫。 ❖ Universal Information Crawler快速发展的网络爬虫，用于检索存储和分析 数据； ❖ Agent Kernel，当一个爬虫抓取时，用来进行安排，并发和存储的java框 架。 ❖ 是一个使用C#编写，需要SQL Server 2005支持的，在GPL许可下发行的 多功能的开源的机器人。它可以用来下载，检索，存储包括电子邮件地址， 文件，超链接，图片和网页在内的各种数据。 ❖ LWP：RobotUA(Langheinrich,2004)是一个在Perl5许可下发行的，可以 优异的完成并行任务的 Perl类库构成的机器人。
❖ WIRE-网络信息检索环境(Baeza-Yates 和 Castillo, 2002)是一个使用C++ 编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一 个生成报告和统计资料的模块，所以，它主要用于网络特征的描述；
❖ 解析器：是负责网络爬虫的主要部分，其负责的工作主要 有：对网页的文本进行处理，如过滤功能，抽取特殊 HTML标签的功能，分析数据功能.下载网页数据,包括 html、图片、doc、pdf、多媒体、动态网页等。
附录1：开源爬虫
❖ Methabot是一个使用C语言编写的高速优化的，使用命令行方式运行的， 在2-clause BSD许可下发布的网页检索器。它的主要的特性是高可配置性， 模块化；它检索的目标可以是本地文件系统，HTTP或者FTP。
❖ Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连 接Lucene的全文检索套件；
爬虫。在英语和日语页面的抓取表现良好，它在GPL许可下发行，并且完全 使用Python编写。按照robots.txt有一个延时的单网域延时爬虫。 ❖ Universal Information Crawler快速发展的网络爬虫，用于检索存储和分析 数据； ❖ Agent Kernel，当一个爬虫抓取时，用来进行安排，并发和存储的java框 架。 ❖ 是一个使用C#编写，需要SQL Server 2005支持的，在GPL许可下发行的 多功能的开源的机器人。它可以用来下载，检索，存储包括电子邮件地址， 文件，超链接，图片和网页在内的各种数据。 ❖ LWP：RobotUA(Langheinrich,2004)是一个在Perl5许可下发行的，可以 优异的完成并行任务的 Perl类库构成的机器人。
❖ WIRE-网络信息检索环境(Baeza-Yates 和 Castillo, 2002)是一个使用C++ 编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一 个生成报告和统计资料的模块，所以，它主要用于网络特征的描述；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
PPT课件
2
聚焦爬虫
随着网络的迅速发展，万维网成为大量信息的载体， 如何有效地提取并利用这些信息成为一个巨大的挑 战。搜索引擎(Search Engine)，例如传统的通用 搜索引擎AltaVista，Yahoo!和Google等，作为一 个辅助人们检索信息的工具成为用户访问万维网的 入口和 指南。但是，这些通用性搜索引擎也存在着 一定的局限性，如：
PPT课件
6
爬虫基本原理
网络爬虫是通过网页的链接地址来寻找网页，
从一个或若干初始网页的URL开始（通常是某
网站首页），遍历 Web 空间，读取网页的内容，
不断从一个站点移动到另一个站点，自动建立
索引。在抓取网页的过程中，找到在网页中的
其他链接地址，对 HTML 文件进行解析，取出
其页面中的子链接，并加入到网页数据库中，
PPT课件
3
聚焦爬虫
(1) 不同领域、不同背景的用户往往具有不同的检索目的和 需求，通用搜索引擎所返回的结果包含大量用户不关心的网
(2) 通用搜索引擎的目标是尽可能大的网络覆盖率，有限的 搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进
(3) 万维网数据形式的丰富和网络技术的不断发展，图片、 数据库、音频/视频多媒体等不同数据大量出现，通用搜索引
擎往往对这些信息含量密集且具有一定结构的数据无能为力，
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根
PPT课件
4
聚焦爬虫
为了解决上述问题，定向抓取相关网页资源的聚焦 爬虫应运而生。聚焦爬虫是一个自动下载网页的程 序，它根据既定的抓取目标，有选择的访问万维网 上的网页与相关的链接，获取所需要的信息。
其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面分析、链接抽取。
PPT课件
14
工作流程
2．页面分析模块：该模块的主要功能是将页面采集模 块采集下来的页面进行分析，提取其中满足用户要求的 超链接，加入到超链接队列中。
页面链接中给出的 URL 一般是多种格式的，可能是完 整的包括协议、站点和路径的，也可能是省略了部分内 容的，或者是一个相对路径。所以为处理方便，一般进 行规范化处理，先将其转化成统一的格式。
PPT课件
10
爬虫基本原理
从给定的 URL 集出发，逐步来抓取和扫描那些新 的出链。这样周而复始的抓取这些页面。这些新发 现的 URL 将作为爬行器的未来的抓取的工作。
随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这些数据写入磁盘来释放主存，以及避
免爬行器崩溃数据丢失。没有保证所有的 Web 页 面的访问都是按照这种方式进行，爬行器从不会停
与通用爬虫(general purpose web crawler)不同， 聚焦爬虫并不追求大的覆盖，而将目标定为抓取与 某一特定主题内容相关的网页，为面向主题的用户 查询准备数据资源。
PPT课件
5
垂直搜索的本质
从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型号、价格、生产 厂家等，还可以提供比价服务
通用网络爬虫是从一个或若干个初始网页的上的 URL 开始，获得初始网页上的 URL 列表，在抓取网页过程 中，不断从当前页面上抽取新的 URL 放入待爬行队列， 直到满足系统的停止条件。
PPT课件
12
PPT课件
13
工作流程
网络爬虫基本架构如图所示，其各个部分的主要功能介 绍如下：
1．页面采集模块：该模块是爬虫和因特网的接口，主 要作用是通过各种 web 协议(一般以 HTTP．FTP 为主) 来完成对网页数据的采集，保存后将采集到的页面交由 后续模块作进一步处理。
下来，Spider 运行时页面也会随之不断增加。
页面中所包含的文本也将呈交给文本索引器，用于
基于关键词的信息索引。
PPห้องสมุดไป่ตู้课件
11
工作流程
网络爬虫是搜索引擎中最核心的部分，整个搜索引擎的 素材库来源于网络爬虫的采集，从搜索引擎整个产业链 来看，网络爬虫是处于最上游的产业。其性能好坏直接 影响着搜索引擎整体性能和处理速度。
PPT课件
15
工作流程
3、链接过滤模块：该模块主要是用于对重复链 接和循环链接的过滤。例如，相对路径需要补 全 URL ，然后加入到待采集 URL 队列中。
此时，一般会过滤掉队列中已经包含的 URL ， 以及循环链接的URL。
PPT课件
如果把整个互联网当成一个网站，理论上讲网 络爬虫可以把互联网上所有的网页都抓取下来
PPT课件
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
PPT课件
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢?
在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数 据库、期刊文摘存放在磁带或光盘里，用作索 引系统。
与此相对应，Web 中所有可访问的URL都是未 分类的，收集 URL 的唯一方式就是通过扫描收 集那些链向其他页面的超链接，这些页面还未 被收集过。
不断从当前页面上抽取新的URL放入队列，这
样一直循环下去，直到把这个网站所有的网页
都抓取完，满足系统P的PT课一件 定停止条件。
7
爬虫基本原理
另外，所有被爬虫抓取的网页将会被系统存贮， 进行一定的分析、过滤，并建立索引，以便之 后的查询和检索。网络爬虫分析某个网页时， 利用 HTML 语言的标记结构来获取指向其他网 页的 URL 地址，可以完全不依赖用户干预。
网络爬虫
PPT课件
1
引言－爬虫
Crawler ，即Spider（网络爬虫），其定义有广义 和狭义之分。狭义上指遵循标准的 http 协议，利 用超链接和 Web 文档检索方法遍历万维网的软件 程序；而广义的定义则是能遵循 http 协议，检索 Web 文档的软件都称之为网络爬虫。
网络爬虫是一个功能很强的自动提取网页的程序， 它为搜索引擎从万维网上下载网页，是搜索引擎的 重要组成部分。