百家号爆文采集软件

https://www.360docs.net/doc/803492442.html,

百家号爆文采集软件

百家号是全球最大中文搜索引擎百度为内容创作者提供的内容发布、内容变现和粉丝管理平台。百家号的使命：帮助内容创作者“在这里影响世界”。在百家号中，有许多优质文章需要采集。

本文采集的字段是标题、发文者、时间、阅读数和正文。大家在实际操作过程中，可根据自身需求更改字段内容。此网站需要注意的是网页应用了ajax技术、系统自动生成的流程图会出现重复数据，需手动调整。

采集网站：https://https://www.360docs.net/doc/803492442.html,/

使用功能点：

●分页列表信息采集

https://www.360docs.net/doc/803492442.html,/tutorialdetail-1/fylb-70.html

●AJAX点击和翻页

https://www.360docs.net/doc/803492442.html,/tutorialdetail-1/ajaxdjfy_7.html

步骤1：创建百家号文章采集任务

https://www.360docs.net/doc/803492442.html,

1）进入主界面，选择“自定义模式”

2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”

https://www.360docs.net/doc/803492442.html,

步骤2：创建翻页循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“查看更多”按钮，在操作提示框中，选择“循环点击单个元素”，以创建一个翻页循环

https://www.360docs.net/doc/803492442.html,

由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

https://www.360docs.net/doc/803492442.html,

注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。

表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。

验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。

https://www.360docs.net/doc/803492442.html,

2）观察网页，我们发现，通过点击“查看更多”按钮，页面可以无限加载。如何限制循环次数呢？选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”

（注意：这里的循环次数可根据自身需求进行确定）

步骤3：创建列表循环并提取数据

1）移动鼠标，选中页面里第一个文章链接，系统会自动选中页面中的一组文章链接。在弹出的操作提示框中，选择“选中全部”

https://www.360docs.net/doc/803492442.html,

2）选择“循环点击每个链接”

https://www.360docs.net/doc/803492442.html,

注意：如图，需要的数据已经加载出来了，但是网页还长时间处于加载状态，可点击右侧的“x”号，结束加载

https://www.360docs.net/doc/803492442.html,

3）点击第一篇文章的标题，在右侧操作提示框中，选择“采集该元素的文本”

https://www.360docs.net/doc/803492442.html,

4）以同样的方式，采集文章的发文者、时间、阅读数和正文

https://www.360docs.net/doc/803492442.html,

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名注：如图，点击“添加特殊字段”，可添加当前页网址、当前时间等字段

https://www.360docs.net/doc/803492442.html,

步骤4：调整流程图结构

我们继续观察，通过多次“查看更多”后，此网页加载出多篇文章。因而我们配置规则的思路是，先建立翻页循环，加载出所需的文章，再建立循环列表，提取数据

1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。如果不进行此项操作，那么将会出现很多重复数据

https://www.360docs.net/doc/803492442.html,

拖动完成后，如下图所示

https://www.360docs.net/doc/803492442.html,

3）点击左上角的“保存并启动”，选择“启动本地采集”

https://www.360docs.net/doc/803492442.html,

4）进行一次采集后我们发现，在点进每个文章详情页的时候，想要的数据已经加载出来了，但网页仍长时间处于加载状态。为提高采集速度，我们选中“点击元素”步骤，勾选“Ajax加载数据”

注：这个网页没有使用Ajax技术，但为了提高采集速度，我们设置Ajax已强制停止加载，进入下一步骤，此功能需慎重使用，Ajax超时的时间需根据>网页实际加载时间，不然可能会出现提取不到数据的情况，具体请查看教程：利用AJAX实现超时结束步骤

https://www.360docs.net/doc/803492442.html,/tutorialdetail-1/ajaxdjfy_7.html

https://www.360docs.net/doc/803492442.html,

步骤5：百家号文章数据采集及导出

1）再次启动采集。采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的搜狗微信文章的数据导出

https://www.360docs.net/doc/803492442.html, 2）这里我们选择excel作为导出为格式，数据导出后如下图

https://www.360docs.net/doc/803492442.html,

本文来自于：https://www.360docs.net/doc/803492442.html,/tutorialdetail-1/bjharticlecj.html