百度地图爬虫使用方法

https://www.360docs.net/doc/008618184.html,

现在出行导航，目的地查询，很多都离不开地图类网站的支持，地图类网站上覆盖所有的城市路况、坐标、建筑信息，以及大量的商家数据。这些数据信息都是非常有用的，

所以本文告诉大家百度地图爬虫使用方法，用到的爬虫工具是功能强大，操作简单的八爪鱼采集器。

使用功能点：

● 列表及详细信息采集

https://www.360docs.net/doc/008618184.html,/tutorial/fylbxq7.aspx?t=1

● 文本循环教程

https://www.360docs.net/doc/008618184.html,/tutorial/wbxh_7.aspx?t=1

● AJAX 点击和翻页

https://www.360docs.net/doc/008618184.html,/tutorial/ajaxdjfy_7.aspx?t=1

步骤1：创建采集任务

1）进入主界面，选择“自定义采集”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图1）

2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图2）

步骤2：输入采集信息

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。点击页面中的城市选择框，然后在操作提示框中，选择“更多操作”

（百度地图采集图3）

2）选择“点击该元素”，进入城市选择页面

https://www.360docs.net/doc/008618184.html,

（百度地图采集图4）

3）选择想要采集的城市，这里以上海为例。先选中“上海”，然后在操作提示框中，选择“点击该链接”，进入上海地图

（百度地图采集图5）

https://www.360docs.net/doc/008618184.html,

4）先点击地图上的输入框，然后在右侧操作提示框中，选择“输入文字”

（百度地图采集图6）

5）在操作框提示中，输入想要查询的文本。这里输入“建设银行”。输入完成后，点击“确定”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图7）

6）“建设银行”自动填充到输入框。先点击“搜索”按钮，然后在右侧操作提示框中，选择“点击该按钮”

（百度地图采集图8）

https://www.360docs.net/doc/008618184.html,

步骤3：创建翻页循环

1）我们可以看到，页面出现了建设银行的搜索结果。将结果页面下拉到底部，点击“下一页”按钮。在右侧的操作提示框中，选择“循环点击下一页”，以创建一个翻页循环

（百度地图采集图9）

步骤4：创建列表循环

1）先选中搜索结果页面的第一条银行信息的链接，系统会自动识别相似元素，在操作提示框中，选择“选中全部”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图10）

2）在操作提示框中，选择“循环点击每个链接”，以创建一个列表循环

（百度地图采集图11）

https://www.360docs.net/doc/008618184.html,

步骤5：提取银行信息

1）创建列表循环完成后，系统会自动点击第一条银行信息链接，进入银行详细信息页。先点击要采集的字段（这里点击了银行名），然后在操作提示框中，选择“采集该元素的文本”

（百度地图采集图12）

2）继续点击要采集的字段，选择“采集该元素的文本”。采集的字段会自动添加到上方的数据编辑框中。选中相应的字段，可以进行字段的自定义命名

https://www.360docs.net/doc/008618184.html,

（百度地图采集图13）

3）经过以上操作，整个流程图建立完毕。在保存并启动任务之前，我们还需要进行一些高级选项的设置。先选中第1个“点击元素”步骤，然后打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图14）

4）第2个“点击元素”步骤、第3个“点击元素”步骤、第4个“点击元素”步骤、“点击翻页”步骤（如下图红框所示），均需要勾选“Ajax加载数据”，设置时间为“2秒”

（百度地图采集图15）

注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。

https://www.360docs.net/doc/008618184.html,

验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。

5）点击左上角的“保存并启动”，选择“启动本地采集”

（百度地图采集图16）

步骤6：数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据”

https://www.360docs.net/doc/008618184.html,

（百度地图采集图17）1）选择“合适的导出方式”，将采集好的数据导出

（百度地图采集图18）

https://www.360docs.net/doc/008618184.html, 3）这里我们选择excel作为导出为格式，数据导出后如下图

（百度地图采集图19）