火车头采集器使用手册
火车头采集器教程课件
目录
• 火车头采集器简介 • 采集规则设置 • 数据处理与导出 • 采集器高级功能 • 采集器安全与优化
01
火车头采集器简介
火车头采集器的功能与特点
数据采集
火车头采集器能够抓取 网页数据，支持多种数 据格式，如文本、图片
、视频等。
自动化处理
通过预设规则，火车头 采集器能够自动化地处 理和整理数据，提高工
数据导出格式与工具
01பைடு நூலகம்
02
03
04
CSV格式
常见的数据交换格式，易于阅 读和编辑。
Excel格式
强大的电子表格格式，支持多 种数据分析工具。
JSON格式
轻量级的数据交换格式，易于 在网络上传输。
FTP导出
通过FTP协议将数据传输到远 程服务器。
数据导出常见问题与解决方案
数据丢失
确保在导出前备份原始数据，以防数据丢失 。
任务执行策略
根据实际需求，可以设置多种任务 执行策略，如单次执行、循环执行 等，以满足不同场景下的数据采集 需求。
03
数据处理与导出
数据清洗与整理
数据清洗
数据转换
去除重复、错误或不完整的数据，确 保数据质量。
将数据从一种格式转换为另一种格式 ，以便与其他系统或工具兼容。
数据整理
对数据进行分类、排序和组织，以便 更好地分析和使用。
下载安装
用户需要先下载和安装火车头 采集器软件，根据提示进行安 装操作。
配置采集任务
在系统中，用户可以根据实际 需求配置采集任务，包括目标 网站、数据抓取规则等。
数据导出
抓取到的数据可以导出为多种 格式，如Excel、CSV等，方便 用户进行后续处理和分析。
怎么样使用火车头采集？
以采集示例详解部分功能今天要给大家做示例的网站是163的娱乐频道这个应该是个比较通用和实用的规则，下面开始。
如果您是火车采集器的老手，那么您可以参考下，因为我要讲解的会有违传统的思维；如我您是新手那么您最好能仔细看下，因为这将加快您的入门，同时在以后给您节省很多时间。
以下是一些采集的基本步骤，您可以灵活运用：一、建立站点1、请先打开火车采集器，新建站点，看下图：为了方便管理您可以为您的站点取任何的您觉得易记的名称，但是我建议用目标源的名字作为站点的名称有利于日后的管理，如下图大部分的站点，通站往往只有一套模版或者有几套类似的模版，这边所谓的类似讲的是模版中的标记很接近，那什么是模版标记？模版标记指的是某部分内容开始和结束记号。
比如很多正规的网站（通常是一些站点比较大，内容比较多的网站，比如sina、163等）会在内容开始的部分用类似于或等标志来表示内容的开始。
他们这么作的原因有两个，一个是由于内容多，为了各个部门之间的配合而作了对应的标记以便于工程的交接，另一个原因就是内容控制的需要，随着xhtml 的流行，用层控制越来越多，这就使得我们寻找采集标示越来越简单（这点你们以后会慢慢理解的）。
上面给各位讲这些是因为接下来要我们要讲解的是整站内容规则。
2、标题标签讲解。
对应的页面在这：/06/1029/11/2UJNHOS3000322EL.html首先从“站点基本信息”切换到“整站内容规则”，然后把要采集的内容页面的网址拷贝到“典型页面”接着点击“测试”读取源码。
先从标题标签开始，我们发现按默认标签采集回来的标题多了“_网易娱乐”，请双击标题标签或者选种标题标签在点击修改，把“_网易娱乐”添加到排除内容框里，标题标签完成。
如图：3、内容标签讲解。
制作采集规则（任务）的任何一个标签最重要的就在于寻找开始也结束的标志。
目前大部分的采集器要求开始和结束的标志必须是整个源代码的唯一标志，也就是所有的html源码里只能找到一个开始或结束的标志。
火车头采集器介绍与使用流程说明
五、字段处理
• 网页编码设定： • 每个网站都有一个相对应的编码：如UTF-8。如果选错编码，则采集
出来的数据就会呈现一种乱码格式。 • 大多数的网页编码火车头都可以自动识别，如不能则需要手动指定一
二、创建任务
• 1.新建分组
填写分组名称
二、创建任务
• 2网址
三、采集网址
• 点击“添加”按钮出现如下界面
三、采集网址
• 切换至“批量/多页”选项卡，可以批量添加网址
网址通用序号用通 配符(*)替换
这添加方式主要用来处理分页网址
三、采集网址
• 切换至“其他网址格式”选项卡，也可以批量添加网址
日期格式
网址通用序号用通 配符(*)替换
这添加方式主要用来处理含有日期的网址
三、采集网址
• 多级网址采集
点击‘添加’按钮
网址过滤条件
三、采集网址
• 手动采集配置链接地址规则：
• 手动连接格式是将需要的网址用参数来获得并组合成我们需要的网址。 这个好处是处理网址那块有规律的网址很好处理。而且可以用这方法 采集需要的字段，如：公告新闻类的标题、日期等。
火车采集器是目前信息采集与信息挖掘处理类软件中最流行、性价比 最高、使用人数最多、市场占有率最大、使用周期最长的智能采集程 序。
一、软件介绍
• 火车采集器数据发布原理：
• 在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以 下几种方式对种据进行处理。
• １.不做任何处理。因为数据本身是保存在数据库的（access或是 db3）,您如果只是想看一下，直接用相关软件查看就可以了。
火车头采集器第五章第1节：任务运行时线程设置
火车头采集器第五章第1节：任务运行时线程设置
大家好，我是教程君，这节就进入第五章了，本章节主要讲文件保存及部分高级设置。
本节讲解任务运行中的线程设置：
单任务采集内容线程个数：即在进行一个任务时同时采集的数量。
采集内容间隔时间毫秒数：即每个采集之间的时间间隔设置。
单任务发布线程数：发布任务时同时发布的数量。
发布时间间隔数：每个发布之间间隔。
通过根据自己的硬件资源来进行调整，一般不用动这里，选择默认即可。
本节结束！。
火车采集器采集说明
火车采集器采集说明1 首先，如果你的电脑没有Microsoft_DotNetFXCHS这个软件，先安装文件夹里，然后打开2、打开软件，进入采集页面3 、在站点任务列表空白处右击“新建站点”，进入任务栏，站点名随便写，其他的不用填，点确定就可以了4 、单击选中站点，右击“从该站点新建任务”，进入任务栏，如任务名“优美散文”5、单击“向导添加”，进入采集地址6、地址栏，从采集页面第二页，网址复制，可能图看不清，网址，记住把数字标记为同样，选中数字，然后点(*)，变成(*).html，如果想采集多的数字变化从1到你采集的页面，然后点击“添加”按钮，出现这个页面，点击完成就可以了。
7、在输入随便一篇采集文章的网址，选中数字，点击(*)按钮，变成8、这个页面的需要文章列表源代码，右击选择产看“网页源代码”9、最重要的，代码不能出错，再次强调文章列表的源代码，进入到源代码，找到文章列表开始处的靠近的源代码，如选中一段代码，复制，然后按Ctrl+f 键，输入框粘贴，看选中的源代码是否是第1条，记住，所选源代码必须是第一条(我用的是谷歌浏览器，显示的是0，其他的浏览器只要是第一条即可)，确定所选是第一条源代码，就输入，结束代码和开始代码一样，文章列表结束处找代码10、上述第一步，结束之后，第二步采集内容规则所选标签随自己选择，不需要的可以删。
11、单击打开“内容”标签，随便打开文章页，右击“查看源代码”，和上述文章列表开始和结束的源代码一样，必须是第一条12、自定义数据里面除了段落、换行<br>、换行Tab\r\n\t三个不要，如图，单击确定。
13、单击第三步:发布内容设置在方式二:保存为本地文件，启用前打钩，保存格式为.Txt，保存位置自定义，保存位置设置好以后，单击保存按钮14、打开站点，选中任务，右击开始任务采集，这样就可以了。
火车头采集器第四章第3节：将数据导入到自定义数据库
火车头采集器第四章第3节：将数据导入到自定义数据库
教程君
பைடு நூலகம்2019-12-12
大家好，我是教程君，这节我们来学习如何将采集到的数据导入到我们自定义的数据库。
我们需要先有自己的数据库，然后根据自己采集的内容创建合适的数据库表，之后做数据导入数据库表的准备。
首先选择方式三，导入到自定义数据库：
然后点击数据库发布配置管理：
编辑插入语法：
其他的完整填写填写信息即可。
测试：
火车头信息采集器的使用说明
1、下载的压缩包，随便找个地方解压缩就好，不需要安装。
2、点击文件夹里的文件，执行程序，会打开该软件的主界面；如果有提示出错而打不开，那么是你的电脑缺乏软件所需要的环境，请到下面这个网站/去下载.net框架（红色字链接，直接下载安装就好）3、以聚美优团为例，首先新建一个任务，名字为聚美优团网页编码选择utf-8，这个是很多网站都用到的文字编码，减少乱码。
4、打开聚美优团的网站，发现有过往团购的历史，点击下一页后，其网页地址为：/i/deal/deals?filter=2-0-0-0，再翻一页，其网页地址为：/i/deal/deals?filter=3-0-0-0。
所以推测其规律为：/i/deal/deals?filter=*-0-0-0，*表示一个不断递增的自然数参数。
5、起始网址现在为空，点击旁边的添加，出来一个对话框，选择批量多页选择页数的那个数字，选中它后，然后点击右边的蓝色*符号，于是这个网址变成：大家注意看，输入框内的*符号变成绿色粗体的了，而且下面出现了按照这个规律递增的5个网址。
这里作为实例，我们就选一个比较小的数字，而实际爬取的时候，根据实际情况修改选项中的起止数字。
6、点击网址旁边的“添加”按钮，然后在下面会出现一个表达式，这个是自动生成的，不用修改。
然后点击完成，返回编辑任务对话框。
7、点击第二步，进入采集信息设置的地方，在这里需要确定我们在这个页面上要采集哪些数据我们回到聚美优网上，看看我们需要什么数据：有时间、原价、折扣、现价、节省，虽然没有明确的团购人数，但是有个收货短评和口碑报告，我们这里就来看看怎么采集这些信息吧。
在网页上点击右键，查看源代码，会看到很多html格式的源代码，我们找到表示这个商品的地方然后我们来看：是时间是收货短评这些就是我们需要的信息在代码里的情况，我们把这些前后字符串一一设置到软件里。
8、设置信息的前后代码符号（刚开始的时候，这个表格是空白的）点击添加，出现这样的对话框：我们要做的就是填写标签名，选择循环匹配，然后把想要信息的前后字符分别粘贴到开始字符串和结束字符串两个框框里，然后点确定。
火车头采集器应该如何使用
关于火车头使用方法目录目录 (2)一、原理描述 (3)1.火车采集器数据抓取原理： (3)2.火车采集器数据发布原理： (3)3.火车采集器工作流程： (3)二、术语解释 (4)三、下载地址 (5)四、安装升级与卸载 (6)五、操作步骤 (7)一、原理描述1.火车采集器数据抓取原理：火车采集器如何去抓取数据，取决于您的规则。
您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。
程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。
再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并保存下来。
如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。
2.火车采集器数据发布原理：在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。
1、不做任何处理。
因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。
2、Web发布到网站。
程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。
3、直接入数据库。
您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。
4、保存为本地文件。
程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。
3.火车采集器工作流程：火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。
这两个过程是可以分开的。
1、采集数据，这个包括采集网址，采集内容。
这个过程是获得数据的过程。
我们做规则，在采的过程中也算是对内容做了处理。
2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。
可以用WEB在线发布，数据库入库或存为本地文件。
具体的使用其实是很灵活的，可以根据实际来决定。
比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
火车头采集教程火车头采集器使用说明下载地址：/Down/我们下载免费版。
注意：想用火车，就必须得安装.NET FrameWork 2.0框架或更高版本.net framework 2.0下载地址:那么，火车我们也下载到本地了，。
net框架，我们也安装了。
那么，我们把新下载的火车采集软件，解压下。
看到一些密密麻麻乱七八糟的东西及文件。
那么。
上图中，用红线圈住的LocoySpider.exe 是主程序，我们双击打开。
ps：这里说下，上图中，有好多任务是我自己用的。
新程序，并没有那么多。
我们会看到火车的界面，看起来非常复杂，是吧？呵呵，其实并没有那么复杂，对于新手，有好多东西是用不到的。
下边会一一的讲解。
我们先补习一下，火车头采集软件的工作原理。
因为我们浏览到的网页，最后都是通过html输出的，那么意味着，我们可以查看到html的源码，那么火车头为什么会采集到内容呢？我们看下网站的基本结构。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN""/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> -------这些蓝色的东西，对于新手，我们不需要知道！<title>网页的标题</title> ----红色的是网页的标题。
如下图（1）</head><body>内容在这个<body>和</body>之间的，是网站的内容部分。
如下图（2）</body></html> ----------这里是网站的结尾。
如果想查看一个网页的html源文件，之需要点击浏览器上的查看，源文件即可。
（1）（2）那么，我们知道了一个网页最基本的架构，那么就好理解火车采集的基本原理了火车采集软件是怎么采集的呢？我们配置好火车头采集规则，什么叫采集规则？就是我们查看网页的源文件，看看整个网页的源码，内容部分的开始标签，和结束标签，这样火车才能知道，我们要采集这个页面的哪个部分，比如下边我们演示的。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN""/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><title>网页的标题</title></head><body>内容</body>我们想要采集“内容”那么就要告诉火车采集器，内容开始标签是<body>，结束标签就是</body>明白了么？呃。
估计是我的表达能力不够好。
so。
我们看下边的实例，在好好巩固下就OK。
OK。
那么我们开始一步一步教大家设置采集规则。
首先第一个。
我们的目标站。
discuz！x1.5架构的网站。
/forum-60-1.html我们要把这个版块的内容以及回复都采集到我们的网站上去。
首先我们打开火车，新建一个站点。
点击火车左上角上的新建按钮，选择新建站点。
如下图我们只需要填写站点名就可以，其余的保持默认，然后点击保存按钮！然后。
在这个站点下，新建一个任务。
选中我们新建的站点，点击鼠标右键，选择第一个，从该站点新建任务。
如下图其中1，是任务的名字，必须填写。
2，是整个采集任务的步骤向导，3，是文章列表的设置区域（下边讲解），4，和3差不多。
5，是登录的地方，有些网址必须登录，我们才可以看到内容，就是这个东西！OK。
就这些，那么，我们一步一步的来！首先我们给我们的任务加一个标题。
下一步，我们就开始设置列表的采集规则（因为现在火车不知道/forum-60-1.html这个页面的文章列表是那些，所以我们要告诉火车！）这里有两种方式，新手嘛，我也不知道适合哪种。
我们就用默认的吧，第一种我们点击向导添加然后出现下图。
其中有4个选项卡，如果我们只采集目标站点的一个文章列表/forum-60-1.html，那么我们选中单条网址，直接写上目标的列表网站，如下图！然后点击添加，点击完成就OK。
看下边的图其中1，是目标网站的地址其中2，是火车的通配符（就是某个东西识别的东西）其中3，是间隔数已经补零（下边一一讲解）其中4，数字变化。
下边讲解其中5，字母变化。
那么。
看下图图中在地址栏填写的是/forum-60-(*).html这个。
那么，这是什么意思呢？我们打开/forum-60-1.html 这个地址，然后点击下一页发现地址变成了/forum-60-2.html那么我们在点击下一页，就是第三页，发现地址变成了/forum-60-3.html那么在点击第四页。
想必大家也知道变成什么了吧？那么第一页：/forum-60-1.html第二页：/forum-60-2.html第三页：/forum-60-3.html翻页中，我们发现，只有1在变化。
那么我们在火车那里就填写/forum-60-(*).html这个，其中1用火车的通配符(*)替换掉。
意思就是，只有1在变化。
在看下边其中数字变化，从1到5.意思就是从地址栏/forum-60-(*).htm获取地址 1到5，就是下边这样的。
/forum-60-1.html/forum-60-2.html。
/forum-60-5.html明白了么？其实很简单。
那么字母变化，就是/forum-60-a.html/forum-60-b.html。
/forum-60-z.html因为我们目标地址是数字变化。
我们继续看下边间隔倍数，和补零。
间隔倍数1是什么意思？40又是什么意思呢？间隔倍数1就是/forum-60-1.html/forum-60-2.html。
/forum-60-5.html间隔倍数40就是/forum-60-40.html/forum-60-80.html。
/forum-60-200.html明白了么？那么我们在看补零，补零就是。
/forum-60-01.html/forum-60-02.html。
/forum-60-05.html就是这样。
其实很好理解。
OK。
我们继续。
我们填写完成后，点击添加 - 完成。
如下图到这里，我们的地址就添加完成了。
那么下边，我们来设置区域列表。
我们先设置第一个。
“文章内容页面地址必须包含。
不得包含。
”我们随便点开/forum-60-1.html这个网址中的两篇文章，看下URL。
就是文章地址。
/thread-88312-1-1.html/thread-88373-1-1.html发现以上两个地址。
那么他们其中只有/thread-88373-1-1.html红色部分在变动。
那么，文章内容必须包含。
我们写/thread-(*)-(*)-(*).html 这样就可以,那么我们点击“开始测试网址采集”这个时候，我们点开网站前边的+号发现，其实网址已经采集成功了。
其中的并不需要填写。
这是为什么呢？因为我们采集的页面/forum-60-1.html中的文章地址，就是/thread-88373-1-1.html这样的地址，至于为什么要写成/thread-(*)-(*)-(*).html这样，是因为其中的/thread-88373-1-1.html红色部分都会变动。
或者有可能变动。
所以我们加上通配符，所以我们不用填写这个，也可以采集成功。
那么，为了让大家更直白的了解火车，我们还是写一下。
那么我们打开/forum-60-1.html 这个地址，在页面中，点击右键，选择“查看源文件”（因为不好截图。
）发现上边的东西出现，都是一些猥琐的html代码。
我们怎么定义文章地址的区域呢？看下图我们复制页面中的“筛选”然后在页面源码中查找下，，，那么自然，下边的，就是文章地址的区域咯。
那么我们在这里，填写什么呢？我们要填写一个“唯一”的东西。
就是这个页面独有的一个，并且在文章地址上方的一个代码。
如上图。
我们选择这段<div id="pgt" class="bm bw0 pgs cl">代码！然后我们复制<div id="pgt" class="bm bw0 pgs cl">这段代码，在我们打开的源文件中，向下查找看，看看有没有相同的。
好消息。
没有相同了。
那么我们在填写<div id="pgt"class="bm bw0 pgs cl">那么这里怎么填写呢？其实一样。
我们给下看看源码。
我们向上查找下。
OK....那么。
就填写.就OK。
照着这样填写就OK了。
其实这一步是多此一举。
只是教大家怎样填写罢了。
我们随便选中一条地址，双击鼠标左键。
直接跳到第二部，采集内容规则。
在这里，我们点击一下测试按钮。
发现，标题和内容都采集到了，但是。
在标题上，我们把目标站点的网站主标题也采集过来了。
而内容。
是把整个页面乱七八糟的东西都采集过来了。
那么。
我们开始设置更精确的采集规则。
擦。
首先，我们设置标题。
现在默认的采集标题是又出来个史上最强大的搜索引擎！！！！！！！- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!我们需要的标题是红色部分。
那么。
我们双击上图被圈住的地方。
那么我们需要设置的地方就是那么。
我们现在采集到的标题是又出来个史上最强大的搜索引擎！！！！！！！- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!这个，那么，我们只需要把蓝色的部分去掉。
怎么去掉呢？下图我们添加然后点击确定点击测试发现又出来个史上最强大的搜索引擎！！！！！！！- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!蓝色部分已经被去掉。