网站链接采集方法
https://www.360docs.net/doc/d310172919.html,
网站链接采集方法
我们在采集数据时,经常有批量获取网站链接的情况。一是获取网站页面内的链接,二是获取网站当前地址栏的链接。
本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】,教大家如何使用八爪鱼采集软件采集网站链接的方法。
一、八爪鱼提取页面内的超链接
在网页里点击需要提取的链接,选择“采集以下链接地址”
八爪鱼提取页面内的超链接图1
https://www.360docs.net/doc/d310172919.html,
二、八爪鱼提取当前地址栏的超链接
从左边栏拖出一个提取数据的步骤出来(如果当前页已经有其他的提取字段,这一步可省略)点击“添加特殊字段”,选择“添加当前页面网址”。可以看到,当前地址栏的超链接被抓取下来
八爪鱼提取页面内的超链接图2
而批量提取网页链接的需求,一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。
https://www.360docs.net/doc/d310172919.html,
采集网站:
https://https://www.360docs.net/doc/d310172919.html,/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21 bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=手表&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=sugg est
步骤1:创建采集任务
1)进入主界面,选择自定义模式
八爪鱼提取页面内的超链接图3
https://www.360docs.net/doc/d310172919.html, 2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”
八爪鱼提取页面内的超链接图4
3)保存网址后,页面将在八爪鱼采集器中打开,红色方框中的商品url
是这次演示采集的信息
八爪鱼提取页面内的超链接图5
https://www.360docs.net/doc/d310172919.html,
步骤2:创建翻页循环
1)将页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,
选择“循环点击下一页”
八爪鱼提取页面内的超链接图6
步骤3:商品url采集
1)如图,移动鼠标选中列表中商品的名称,右键点击,需采集的内容会变成绿色,然后点击“选中全部”
https://www.360docs.net/doc/d310172919.html,
八爪鱼提取页面内的超链接图7
2)选择“采集以下链接地址”
八爪鱼提取页面内的超链接图8
https://www.360docs.net/doc/d310172919.html, 3)点击“保存并开始采集”
八爪鱼提取页面内的超链接图9
4)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”
八爪鱼提取页面内的超链接图10
https://www.360docs.net/doc/d310172919.html,
步骤4:数据采集及导出
1)选择合适的导出方式,将采集好的数据导出
八爪鱼提取页面内的超链接图11
通过以上操作,目标网页内的商品超链接就被批量采集下来了。我们可以使用这些超链接,建立列表循环,来采集我们需要的其他字段数据,如下所示。
步骤5:创建url列表采集任务
1)重新创建一个采集任务,将导出后的商品链接复制,放到输入框中,点击“保存网址”
https://www.360docs.net/doc/d310172919.html,
八爪鱼提取页面内的超链接图12
注意:输入框中的url列表数量不要超过2W个,超过的部分可以新建任务进行采集,url 打开的页面必须是相同网站样式相近的,否则会导致数据采集缺失。
2)在页面中点击需要采集的文本数据,点击“采集数据”
八爪鱼提取页面内的超链接图13
https://www.360docs.net/doc/d310172919.html, 3)打开流程图,修改采集字段名称,点击“保存并开始采集”
八爪鱼提取页面内的超链接图14
注意:点击右上角的“流程”按钮,即可展现出可视化流程图。
4)采集完成,点击“导出数据”
https://www.360docs.net/doc/d310172919.html,
八爪鱼提取页面内的超链接图15
5)选择合适的导出方式,将采集好的数据导出
八爪鱼提取页面内的超链接图16
https://www.360docs.net/doc/d310172919.html,
注:在八爪鱼中,要提取超链接,需要满足两个条件。
1、点击的字段在A标签,在网页源码中,A标签代表超链接,如果不是在A 标签内,八爪鱼无法判断
2、A标签内有href 属性,href 属性里的就是点击之后链接转向的地址,属性里显示什么,八爪鱼就提取什么。如果没有href属性,自然就没办法提取到。
这些都是八爪鱼自动判断的,其实看不懂也不影响操作。只是如果发现提取不到的时候,也许就是因为没满足这两个条件,要看当前网页源码的特点,根据特点找别的方式提取数据。相关采集教程:
淘宝评论采集
天猫商品信息采集
京东商品信息采集
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
https://www.360docs.net/doc/d310172919.html,