八爪鱼采集器提取数据-找不到时如何处理
八爪鱼采集器使用方法图解
八爪鱼采集器使用方法图解：
1、打开八爪鱼采集器的客户端,登陆软件之后新建一个任务,打开你要采集的网站地址;这里我自己示范的原创设计手稿的采集;
2、进入到设计工作流程环节,在界面浏览器那输入你要采集的网址,点击打开,你就能看到你要采集的网站界面,由于这个网址存在多页内容需要采集,我们再设置采集规则的时候,可以先建立翻页循环,先把鼠标选择页面上的下一页按钮,在弹出的任务对话框,选择高级选项中的循环点击下一页,软件会自动建立一个翻页循环;
3、建好翻页循环好,就是采集当前页上的内容,我要采集图片的URL,就选中一个图片,然后单击,软件会自动弹出对话框,先建立一个元素循环列表;当前页面的所有元素都被抓取后,循环列表则建立完成;
4、设置要抓取的内容,选择元素循环列表中的任意一个元素,在浏览器内找到该元素对应的图片,点击后弹出对话框,选择抓取这个元素的图片地址为字段1,同时我为了方便识别,还抓取了字段2为图片标题名称,设置原理同图片地址;
5、检查一下,翻页循环框应该将产品循环框嵌套在内,表示,先抓取完当前一整页的图片URL后再翻页;
6、设置执行计划后,就可以开始采集了,单击采集的话,直接点击完成步骤下的检查任务,开始运行任务;采集完毕后可以直接下载成EXCEL的文件;
7、将URL转换为图片,这里用八爪鱼图片转换工具,将EXCEL导入之后,就可以自动等待
系统将图片下载下来了
8、。
【八爪鱼采集教程】提取数据如何使用备用位置
【八爪鱼采集教程】提取数据如何使用备用位置八爪鱼提取字段时，默认每个字段都是在页面里固定的位置，但是某些特殊情况，当某字段在不同的页面是不同的位置时，也可以用八爪鱼的备选位置功能。
当需要提取的字段在网页两个不同位置，即一个Xpath无法定位到该字段时，我们便需要使用备选功能。
下面为你演示如何设置备选位置：示例网站：https:///12079776060.htmlhttps://item.jd.hk/1958056917.html步骤一：自定义采集任务→输入网址提取数据使用备用位置-图1提取数据使用备用位置-图2步骤二：提取元素字段（商品名、店铺名）提取数据使用备用位置-图3步骤三：保存并启动 直接单机运行可以看到第二个网页店铺名空白，提取不到提取数据使用备用位置-图4这时我们回到流程界面，手动运行一下规则。
提取数据使用备用位置-图5提取数据使用备用位置-图6发现第一个网页的字段2可以提取到，第二个网页则为空白，提取不到。
说明两个网页店铺名的字段Xpath不一样，我们用第一个网页的Xpath提取不到第二个网页的信息。
这时我们需要用到备用位置。
步骤四：选中店铺名字段→点击自定义字段→自定义定位元素方式→设置备用位置提取数据使用备用位置-图7 提取数据使用备用位置-图8提取数据使用备用位置-图9提取数据使用备用位置-图10说明：点击需要设置备用位置的元素，选择将这个元素设为备选即可。
也可以自己通过Xpath 进行修改。
提取数据使用备用位置-图11提取数据使用备用位置-图12单机运行一次，发现可以采集到，设置备用位置成功。
提取数据使用备用位置-图13相关采集教程：淘宝评论采集新浪微博数据采集搜狗微信文章采集八爪鱼——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。
完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。
2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。
如何利用八爪鱼爬虫抓取数据
如何利用八爪鱼爬虫抓取数据听说很多做运营的同学都用八爪鱼采集器去抓取网络数据，最新视频，最热新闻等，但还是有人不了解八爪鱼爬虫工具是如何使用的。
所以本教程以百度视频为例，为大家演示如何采集到页面上的视频，方便工作使用。
常见场景：1、遇到需要采集视频时，可以采集视频的地址（URL），再使用网页视频下载器下载视频。
2、当视频链接在标签中，可切换标签进行采集。
3、当视频链接在标签中，也可采集源码后进行格式化数据。
操作示例：采集要求：采集百度视频上综艺往期视频示例网址：/show/list/area-内地+order-hot+pn-1+channel-tvshow操作步骤：1、新建自定义采集，输入网址后点击保存。
注：点击打开右上角流程按钮。
2、创建循环翻页，找到采集页面中下一页按钮，点击，执行“循环点击下一页”。
在流程中的点击翻页勾选Ajax加载数据，时间设置2-3秒。
3、创建循环点击列表。
点击第一张图片，选择“选中全部”（由于标签可能不同，会导致无法选中全部，可以继续点击没被选中的图片）继续选择循环点击每个元素4、进入详情页后，点击视频标题（从火狐中可以看到视频链接在A标签中，如图所示），所以需要手动更换到相应的A标签。
手动更换为A标签：更换为A标签后，选择“选中全部”，将所有视频标题选中，此时就可以采集视频链接地址。
5、所有操作设置完毕后，点击保存。
然后进行本地采集，查看采集结果。
6、采集完成后将URL导出，使用视频URL批量下载工具将视频下载出来就完成了。
相关采集教程：公告信息抓取/tutorial/hottutorial/qita/gonggao网站源码抓取/tutorial/hottutorial/qita/qitaleixing网页抓取工具新手入门/tutorial/xsksrm八爪鱼网站抓取入门功能介绍/tutorial/xsksrm/rmgnjsajax网页数据抓取/tutorial/gnd/ajaxlabel模拟登录并识别验证码抓取数据/tutorial/gnd/dlyzmxpath抓取网页文字/tutorial/gnd/xpath八爪鱼抓取AJAX滚动页面爬虫教程/tutorial/ajgd_7网页采集提取数据教程，以自定义抓取方式为例/tutorial/zdytq_7八爪鱼——90万用户选择的网页数据采集器。
八爪鱼采集器流程步骤高级选项说明
八爪鱼采集器流程步骤高级选项说明1、打开网页该步骤根据设定的网址打开网页，一般为网页采集流程的第一个步骤，用来打开指定的网站或者网页。
如果有多个类似的网址需要分别打开执行同样的采集流程，则应该放置在循环的内部，并作为第一个子步骤1）页面URL页面URL，一般可以从网页浏览器地址栏中复制得到，如：/ 2）操作名自定义操作名3）超时在网页加载完成前等待的最大时间。
如果网页打开缓慢，或者长时间无法打开，则流程最多等待超时指定的时间，之后无论网页是否加载完成，都直接执行下一步骤。
应尽量避免设置过长的超时时间，因为这会影响采集速度4）阻止弹出用以屏蔽网页弹窗广告，如果打开的网页偶尔会变成另外一个广告页面，则可以使用本选项阻止广告页面弹出5）使用循环配合循环步骤来使用，用以重复打开多个类似的网页，然后执行同样的一套流程，循环打开网页时，应为作为循环步骤的第一个子步骤。
如果勾选此项，则无需手动设置网页地址，网页地址会自动显示循环设定的网址列表的当前循环项6）滚动页面个别网页在打开网页后并没有显示所有数据，需要滚动鼠标滚轮或者拖动页面滚动条到底部，才会加载没有显示的数据，使用此选项在页面加载完成后向下滚动，滚动方式有向下滚动一屏和直接滚动到底部两种7）清理缓存在八爪鱼中，如果需要切换账号，可使用清理浏览器缓存，重新设置其他账号8）自定义cookiecookie指某些网站为了辨别用户身份、进行session 跟踪而储存在用户本地终端上的数据（通常经过加密）。
在八爪鱼中，可以通过做一次预登录获取页面cookie，通过勾选打开网页时使用指定cookie获取登陆后的cookie，从而记住登录状态。
获取的当前页面cookie，可以通过点击查看cookie9）重试如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试①当前网页的网址/文本/xpath，包含/不包含如果当前页面网址/文本/xpath总是出现/不出现某个特殊内容，则使用此选项可以判断有没有打开预期页面，需要重试②最大重试次数为了避免无限制重复尝试，请使用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤③时间间隔在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等待时间，因为这会影响采集速度2、点击元素该步骤对网页上指定的元素执行鼠标左键单击动作，比如点击按钮，点击超链接等1）操作名自定义操作名2）执行前等待对此步骤设置执行前等待，即等待设置的时间后，再进行此步骤3）或者出现元素或者出现元素，配合执行前等待使用，在其中输入元素的xpath可以在出现该元素的时候结束执行前的等待。
八爪鱼提取网页数据的方法
视频教程PPT
提取数据
一、添加特殊字段、上移下移、抓取模板导入导出
二、找不到时如何处理
三、自定义抓取方式 四、自定义定位元素方式 五、备用位置 六、格式化数据
七、自定义合并方式
一、 添加特殊字段、上移下移、抓取模板导入导出
1、添加特殊字段 当前时间 固定字段 空字段 当前页面信息 2、字段上移下移 3、抓取模板导入导出 示例网址： /fang1/
五、备用位置
八爪鱼提取字段时，默认每个字段都是在页面里固定的位置。 但是某些特殊情况，当某字段在不同的页面，是处于不同的位置时，可以用八爪鱼 的备选位置功能。 示例网址： https:///item.htm?spm=a1z10.1-c-s.w1201073114573359259.1.1c3577c8vTygcq&id=566814688341（淘宝商品详情页） https:///item.htm?spm=a230r.1.14.27.2e932897hyfHKC&id= 565712872904&ns=1&abbucket=4（天猫商品详情页）
二、找不到时如何处理
找不到数据时的三种处理办法 使用默认值 在找不到数据时默认填写一个字段，以补充没有采集到的内容 该字段留空 可以在结果中明显的看到哪里有数据没采集到 该步骤所有字段留空 一个字段找不到数据时，便忽略该信息所有字段，相当于跳过该条信息的采集 示例网址：https:///subject/25862578/ https:///subject/1858513/
六、格式化数据
利用格式化数据对需要的字段进行修改 替换 正则表达式替换 去除空格 添加前缀 添加后缀 日期时间格式化 Html转码 示例网址： https:///subject/25862578/
使用八爪鱼采集器采集大众点评商家数据
使用八爪鱼采集器采集大众点评商家数据本文介绍采集使用八爪鱼7.0采集大众点评商家的方法采集网站：https:///search/category/7/0使用功能点：网页列表内容提取相关采集教程：美团商家信息采集黄页88数据采集赶集招聘信息采集步骤1：创建采集任务1）进入主界面选择，选择自定义模式使用八爪鱼采集器采集大众点评商家数据图12）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的列表就是我们需要采集的信息使用八爪鱼采集器采集大众点评商家数据图3步骤2：创建翻页循环找到翻页按钮，设置翻页循环1）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”使用八爪鱼采集器采集大众点评商家数据图4步骤3：商家信息采集●选中需要采集的字段信息，创建采集列表●编辑采集字段名称1）如图，移动鼠标选中列表中商家的名称，右键点击，需采集的内容会变成绿色使用八爪鱼采集器采集大众点评商家数据图5注意：点击右上角的“流程”按钮，即可展现出可视化流程图。
2）移动鼠标选中红色方框里任意文本字段后，列表中所有适配内容会变成绿色，在右侧操作提示框中，查看提取的字段，可以将不需要的字段删除，然后点击“选中全部”使用八爪鱼采集器采集大众点评商家数据图6注意：鼠标放在该字段上会出现一个删除标识，点击即可删除该字段。
使用八爪鱼采集器采集大众点评商家数据图7 3）点击“采集以下数据”使用八爪鱼采集器采集大众点评商家数据图84）修改采集字段名称使用八爪鱼采集器采集大众点评商家数据图95）点击下方红色方框中的“保存并开始采集”使用八爪鱼采集器采集大众点评商家数据图106）根据采集的情况选择合适的采集方式，这里选择“启动本地采集”使用八爪鱼采集器采集大众点评商家数据图111）采集完成后，会跳出提示，选择导出数据使用八爪鱼采集器采集大众点评商家数据图122）选择合适的导出方式，将采集好的数据导出使用八爪鱼采集器采集大众点评商家数据图13八爪鱼——70万用户选择的网页数据采集器。
八爪鱼提取网页数据的方法
六、格式化数据
利用格式化数据对需要的字段进行修改 替换 正则表达式替换 去除空格 添加前缀 添加后缀 日期时间格式化 Html转码
示例网址：
七、自定义合并方式
取数据里面的自定义合并方式，一般用于将多个字段追加至同一个字段 例如：新闻正文分页追加等 示例网址：
The End
谢谢大家
2、字段上移下移 3、抓取模板导入导出 示例网址：
二、找不到时如何处理
找不到数据时的三种处理办法 使用默认值 在找不到数据时默认填写一个字段，以补充没有采集到的内容 该字段留空 可以在结果中明显的看到哪里有数据没采集到 该步骤所有字段留空 一个字段找不到数据时，便忽略该信息所有字段，相当于跳过该条信息的采集 示例网址：
三、自定义抓取方式
自定义抓取方式包含以下三种 1、从页面中提取数据 2、从浏览器提取数据 3、生成数据 示例网址：
四、自定义定位元素方式
定位元素：八爪鱼通过Xpath来实现数据的定位。 适用情况：八爪鱼自动定位方式不能满足需求。 示例网址：
五、备用位置
八爪鱼提取字段时，默认每个字段都是在页面里固定的位置。 但是某些特殊情况，当某字段在不同的页面，是处于不同的位置时，可以用八爪鱼 的备选位置功能。 示例网址： （淘宝商品详情页） （天猫商品详情页）
八爪鱼 让数据触手可及
视频教程PPT
提取数据
一、添加特殊字段、上移下移、抓取模板导入导出 二、找不到时如何处理 三、自定义抓取方式 四、自定义定位元素方式 五、备用位置 六、格式化数据 七、自定义合并方式
一、 添加特殊字段、上移下移、抓取模板导入导出
1、添加特殊字段 当前时间 固定字段 空字段 当前页面信息
八爪鱼爬虫采集方法
八爪鱼爬虫采集方法网页爬虫是一个比较热门的网络词，因为大数据时代，各行各业的从业人员都需要大量的数据信息，通过分析这类数据来优化升级自己的产品，从而满足所有消费者的需求，从而更好地抢占市场。
目前市面上比较好用的爬虫工具首推八爪鱼采集器，所以今天就教大家八爪鱼爬虫工具的使用方法，让你轻松get网络爬虫。
文章内示例网址为：/guide/demo/genremoviespage1.html自定义模式采集步骤：步骤1：首先打开八爪鱼采集器→找到自定义采集→点击立即使用自定义模式-图1步骤2：输入网址→设置翻页循环→设置字段提取→修改字段名→对规则进行手动检查→选择采集类型启动采集自定义模式-图2：输入网址自定义模式-图3：设置翻页循环自定义模式-图4：创建循环列表自定义模式-图5：提取字段自定义模式-图6：修改字段名注意点：1.设置翻页循环：观察网页底部有没有翻页图标，如果有并且需要翻页则点击翻页图标，操作提示中循环点击下一页表示循环翻页，可以在循环中设置翻页次数，设置几次则采集网页最新内容几页。
采集该链接的文本选项则会出现提取数据步骤，提取下一页对应的文本；点击采集该链接地址步骤选项会出现提取数据步骤，提取当前字段对应的链接地址。
点击该链接则会出现点击元素步骤，点击该元素一次。
2.设置字段提取：先对网页内容进行分区块，思路为循环各区块，再从循环到的区块中提取每个字段内容，所以设置时先点击2-3各区块，八爪鱼会自动选中剩余所有区块，点击采集以下元素文本会出现循环提取数据步骤，实现对区块的循环采集，但是此时每个区块循环时只会将区块内文字合并为一条提取，此时我们删除该字段并手动添加需要提取的所有字段；点击循环点击每个元素则会出现循环点击元素步骤，对每个区块进行一次点击，该示例中区块点击没有效果，所以该示例中循环点击不存在效果。
如果选择错误，或者出现的内容列表不是你需要的，可以在操作提示中点击区块后的垃圾桶图标进行删除操作，或者点击取消选择，重新设置。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
八爪鱼采集器提取数据-找不到时如何处理八爪鱼提取字段时，有找不到时如何处理的选项。
如下图：
八爪鱼提取数据找不到时如何处理-图1
下面介绍如何设置找不到字段时的操作：
步骤一、点击需要设置的字段名称→自定义数据字段→自定义定位元素方式
八爪鱼提取数据找不到时如何处理-图2
八爪鱼提取数据找不到时如何处理-图3
进入自定义定位元素方式后，我们可以看到下图中红框内，有找不到时如何处理的三个选项，分为：使用默认值、该字段留空以及该步骤所有字段留空。
八爪鱼提取数据找不到时如何处理-图4
这里为了方便演示，我们修改一下元素匹配的Xpath，这样八爪鱼就抓取不到原来的字段了。
八爪鱼提取数据找不到时如何处理-图5
八爪鱼提取数据找不到时如何处理-图6
由于我们在标题处选择的是找不到时该字段留空，所以修改Xpath后，标题处提取到的数据为空。
八爪鱼提取数据找不到时如何处理-图7
我们同样修改类型和评分处的Xpath看一下其余两项效果。
评分处的使用默认值设置提取不到内容容时出现默认值，默认值设置如下：
八爪鱼提取数据找不到时如何处理-图8 步骤二：保存并启动
八爪鱼提取数据找不到时如何处理-图9 可以看到弹出了采集错误报告，当前网页三条数据均未采集到信息
八爪鱼提取数据找不到时如何处理-图10
此处是因为类型中，找不到字段时该步骤所有字段留空，导致标题、类型、评分、上映年份以及时间均为空值，当八爪鱼一条信息采集不到任何一个字段时便会弹出错误提醒，我们可以查看采集错误报告看到错误类型来进行修改。
八爪鱼提取数据找不到时如何处理-图11
如上图，我们设置类型采集不到数据时该字段留空，保存并运行后，可以看到：
八爪鱼提取数据找不到时如何处理-图12
标题与类型因为我们设置的该字段留空，所以未显示有任何内容；八爪鱼因为我们没有设置该步骤所有字段留空，所以也没有弹出错误报告；评分处因为我们设置使用默认值，默认值为找不到数据*——*，所以弹出如图所示的内容。
这就是找不到数据时的三种办法，其中该字段留空可以使我们在结果中明显的看到哪里有数据没采集到；该步骤所有字段留空则会使一个字段找不到数据时，便忽略该信息所有字段，相当于跳过该条信息的采集；使用默认值可以让你在找不到数据时默认填写一个字段，来补充没有采集到的内容。
相关采集教程：
天猫商品信息采集
新浪微博数据采集
1688热门商品采集
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。
完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。
2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。
3、云采集，关机也可以。
配置好采集任务后可关机，任务可在云端执行。
庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。
4、功能免费+增值服务，可按需选择。
免费版具备所有功能，能够满足用户的基本采集需求。
同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。