网页图片采集器使用详解

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

我们有时候需要采集电商网站的商品图片,就需要用到网页图片采集器。这里详细介绍使用八爪鱼采集器采集网页图片。采集图片的步骤主要有两大步骤,第一,先将网页中图片的URL采集下来。第二,通过八爪鱼专用的图片批量下载工具,将采集到的图片URL,下载并保存到本地电脑中。

本文以采集淘宝商品搜索页面的商品图片为例,详细介绍网页图片采集器的使用方法。

采集网址:淘宝商品搜索页面

比如T恤(可更换其他关键词对淘宝商品图片进行采集):

https:///search?q=T%E6%81%A4&imgfile=&commend=all &search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taob ao-item.1&ie=utf8&initiative_id=tbindexz_20170306

采集数据内容:淘宝商品图片地址

使用功能点:

●翻页设置

●图片链接采集

步骤1:创建淘宝商品图片采集任务

1)进入八爪鱼采集器主界面,选择自定义模式

淘宝商品图片采集步骤1

2)将上面网址的网址复制粘贴到网站输入框中,点击“保存网址”

淘宝商品图片采集步骤2

3)如下图红色框中的淘宝商品图片即为本次要采集的内容。

淘宝商品图片采集步骤3

步骤2:创建翻页循环

●找到翻页按钮,设置翻页循环

●设置ajax翻页时间

●设置滚动页面

1)将淘宝商品搜索结果页页面下拉到底部,找到下一页按钮,鼠标点击,在右侧操作提示框中,选择“循环点击下一页”这个选项。

淘宝商品图片采集步骤4

2)选择右上角的流程按钮,点击流程图中的点击翻页按钮,然后选中ajax加载数据,时间选择2秒。

淘宝商品图片采集步骤5

步骤3:淘宝商品图片链接采集

●选中采集的淘宝商品图片,创建图片的采集列表

●提取淘宝商品图片链接

1)点击需要采集的图片,点击“选中全部”

淘宝商品图片采集步骤6

2)当前页面中所有的图片地址将会被选中,点击“采集以下图片地址”

淘宝商品图片采集步骤7

注意:在提示框中的字段上会出现一个“X”标识,点击即可删除该字段。3)修改采集任务名、字段名,并点击下方提示中的“保存并开始采集”

淘宝商品图片采集步骤8

4)根据采集的情况选择合适的采集方式,这里选择“启动本地采集”

淘宝商品图片采集步骤9

说明:本地采集占用当前电脑资源进行采集,如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能,云采集在网络中进行采集,无需当前电脑支持,电脑可以关机,可以设置多个云节点分摊任务,10个节点相当于10台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。

步骤4:数据采集及导出

1)采集完成后,会跳出提示,选择导出数据

2)选择合适的导出方式,将采集好的数据导出

步骤5:将采集好的淘宝商品图片URL批量转换为图片经过如上操作,我们已经得到了要采集的淘宝商品图片的URL。接下来,再通过八爪鱼专用的图片批量下载工具,将采集到的图片URL中的图片,下载并保存到本地电脑中。

图片批量下载工具:https:///s/1c2n60NI

1)下载八爪鱼图片批量下载工具,双击文件中的MyDownloader.app.exe文件,打开软件

淘宝商品图片采集步骤10

2)打开File菜单,选择从EXCEL导入(目前只支持EXCEL格式文件)

淘宝商品图片采集步骤11

3)进行相关设置,设置完成后,点击OK 即可导入文件

选择EXCEL 文件:导入你需要下载图片地址的EXCEL 文件

EXCEL 表名:对应数据表的名称

文件URL列名:表内对应URL的列名称

保存文件夹名:EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹

如果要把文件保存到文件夹,则路径需要以“\”结尾,例如:“D:\同步\”,如果要下载后按照指定的文件名保存,则需要包含具体的文件名,例如“D:\同步\1.jpg”

如果下载的文件路径和文件名完全一样,则原先存在的文件会被删除

淘宝商品图片采集步骤12

网站图片采集方法:

/tutorial/webpiccj

豆瓣图片采集并下载保存本地的方法:

/tutorial/tpcj-7

ebay爬虫抓取图片:

/tutorial/ebaypicpc

微博图片采集:

/tutorial/wbpiccj

阿里巴巴图片抓取下载:

/tutorial/alibabapiccj

京东商品图片采集详细教程:

/tutorial/jdpiccj

淘宝买家秀图片采集详细教程:

/tutorial/tbmjxpic

瀑布流网站图片采集方法,以百度图片采集为例:

/tutorial/bdpiccj

微信公众号热门文章采集(文本+图片):

/tutorial/wxcjimg

八爪鱼——100万用户选择的网页数据采集器

1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。

相关文档
最新文档