网页内容抓取工具使用教程

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

网页内容抓取工具使用教程

目前市面上有很多种网页内容抓取工具，各有优缺点。而八爪鱼是行业内的佼佼者，不用写代码，也更为适合0基础的小白用户。但对于部分没有时间学习的用户来说，直接用自定义模式做规则可能有难度，考虑到这种情况，八爪鱼提供了网页简易模式，简易模式下放了许多现成的爬虫采集规则，涵盖国内大部分主流网站，在急需采集相关网站时可以直接使用，大大的方便了用户，节省了做规则的时间和精力。

所以本文介绍网页内容抓取工具—八爪鱼简易采集模式下“微信文章采集”的使用教程以及注意要点。

微信文章采集下来有很多作用，比如可以将自己行业中最近一个月之内发布的内容采集下来，然后分析文章标题和内容的一个方向与趋势。

微信公众号文章采集使用步骤

步骤一、下载八爪鱼软件并登陆

1、打开/download，即八爪鱼软件官方下载页面，点击图中的下载按钮。

2、软件下载好了之后，双击安装，安装完毕之后打开软件，输入八爪鱼用户名密码，然后点击登陆

步骤二、设置微信文章爬虫规则任务

1、进入登陆界面之后就可以看到主页上的网站简易采集了，选择立即使用即可。

2、进去之后便可以看到目前网页简易模式里面内置的所有主流网站了，需要采集微信公众号内容的，这里选择搜狗即可。

3、找到搜狗公众号这条爬虫规则，点击即可使用。

4、搜狗公众号简易采集模式任务界面介绍

查看详情：点开可以看到示例网址

任务名：自定义任务名，默认为搜狗公众号

任务组：给任务划分一个保存任务的组，如果不设置会有一个默认组

公众号URL列表填写注意事项：提供要采集的网页网址，即搜狗微信中相关公众号的链接。多个公众号输入多个网址即可。

采集数目：输入希望采集的数据条数

示例数据：这个规则采集的所有字段信息。

5、微信文章爬虫规则设置示例

例如要采集相关旅游、美食的公众号文章

在设置里如下图所示：

任务名：自定义任务名，也可以不设置按照默认的就行

任务组：自定义任务组，也可以不设置按照默认的就行

商品评论URL列表：

/weixin?type=1&s_from=input&query=电影&ie=utf8&_sug_=n&_sug_type_=

/weixin?type=1&s_from=input&query=美食&ie=utf8&_sug_=n&_sug_type_=

一行一个，使用回车（Enter）进行换行。

采集数目：可根据自身需求选填（当前默认）

注意事项：URL列表中建议不超过2万条

步骤三、保存并运行微信文章爬虫规则

1、设置好爬虫规则之后点击保存。

2、保存之后，点击会出现开始采集的按钮。

3、选择开始采集之后系统将会弹出运行任务的界面，可以选择启动本地采集（本地执行采集流程）或者启动云采集（由云服务器执行采集流程），这里以启动本地采集为例，我们选择启动本地采集按钮。

4、选择本地采集按钮之后，系统将会在本地执行这个采集流程来采集数据，下图为本地采集的效果。

5、采集完毕之后选择导出数据按钮即可，这里以导出excel2007为例，选择这个选项之后点击确定。

6、然后选择文件存放在电脑上的路径，路径选择好之后选择保存。

7、这样微信文章数据就被完整的采集导出到自己的电脑上来了。