火车头经典教程
火车头采集步骤和数据导出详解

3、火车头采集工具的使用方法
3.1 打开火车头工具,单击左侧空白处,根据需要新建分组
3.2 右击刚才建立好的分组,新建采集任务,并填写好任务名称
3.3 填写批量采集网址规则,注意先分析目标列表页url规则
3.4 设置“多级网址获取”规则
3.4 设置“多级网址获取”规则,并测试设置好的规则是否生效
1、采集的目标页面,不需要登录 即可访问;
2、采集的内容列表页面url跟随一 定的规律改变;
3、该网站不屏蔽不干扰采集器的 工作。
2、认识火车头采集工具
火车ห้องสมุดไป่ตู้集器,是目前使用人数最 多的互联网数据抓取、处理、分 析,挖掘软件。
软件凭借其灵活 的配置与强大的 性能领先国内数据采集类产品。
使用火车采集器,你可以建立一 个拥有庞大内容的网站。
选中Excel表格的“内容”列,用查找功能,将图片路径 “10_12/xxxxx.jpg”替换为” 同时,将采集到的图片文件夹“10_12”上传到你的空间根目录,发布 文章的时候,图片就能显示出来。
使用方法如此简单,赶紧去试一试吧~
谢谢
3火车头采集工具的使用方法火车头采集工具的使用方法31打开火车头工具单击左侧空白处根据需要新建分组32右击刚才建立好的分组新建采集任务并填写好任务名称33填写批量采集网址规则注意先分析目标列表页url规则34设置多级网址获取规则34设置多级网址获取规则并测试设置好的规则是否生效35校验设置好的规则是否生效如果生效则返回修改设置
3.5 校验设置好的规则是否生效,如果生效,则返回修改设置;如 果得到的结果不正确,也需要返回修改设置(重新分析采集范围是 否正确,一直校验到是我们需要的结果)
3.6 返回修改采集的项数,并且记得点击“添加”和“完成”
locoy火车头采集教程与实例

火车头采集教程火车头采集基本流程:系统设置→新建站点→新建任务→采集网址→采集内容→发布内容→抓数据。
1.新建站点:据你自己的需求为任务建立统一的站点,以方便管理。
点击菜单上:站点→新建站点打开如下图:可以填写站点名,站点地址,网址深度(0,代表根据地址直接采内容。
1,代表根据地址采内容地址,然后根据内容地址采内容。
2,代表根据地址采列表地址,然后根据列表地址采内容地址,再根据内容地址采内容。
),站点描述。
2.新建任务:任务是采集器采集数据时的基本工作单元,它一定是建立在站点中的。
采集器通过运行任务来采集发布数据。
任务工作的步骤总体可以分为三步:采网址,采内容,发内容。
一个任务的运行可以任意选择哪几步。
而采集器又可以同时运行多个任务(默认设置是同时最多运行3个任务)。
选择站点点击右键选择“从该站点新建任务”。
任务的编辑界面如图:采集器的使用最主要的就是对任务的设置。
而采集数据可以分为两步,第一步是:采网址,第二步:采内容。
3.采集网址:采网址,就是从列表页中提取出内容页的地址。
从页面自动分析得到地址连接:以/book/01.45.52_P1.html页面为例。
我们来采集这个网址上的书信息。
这个页面中有很多书信息的链接,要采集每个链接中书内容.首先需要将每个书信息的链接地址抓取到也就是抓取内容页的地址。
先将该列表页地址添加到采集器里。
点击“<<向导添加”后弹出“添加开始采集地址”对话框。
我们选择“单条网址”如图:点击添加把/book/01.45.52_P1.html地址添加到下面框中,点击完成即实现增加列表地址。
如果我们选择“批量/多页”,如图:可用通配符:(*)可以代替页码变化时的地址之间的差异。
数字变化可以设置你要爬取该列表页多少页。
间隔倍数可以数字页码变化的倍数。
你也可以设置字母变化。
设置完之后点击添加按钮把列表地址添加到下框中,点击完成即可完成列表地址设置。
你也可以选择文本导入和正则提取在这里就不一一讲了,因为这二种基本用的很少。
火车头使用说明

火车头使用说明别的不说了,直接开始使用。
(ps:开始之前,最好把爬虫的原理了解一下)咱们用的是免费版,功能什么的很多受到限制,免费版网页只能抓到两级,而且无法定时执行任务。
1、安装完火车头后,直接双击图标打开,此时会弹出一个登录页面,什么都不要管,直接点击登录就进入了主界面,主界面如下:你会发现它有一些内置的分组,分组下面有内置的测试任务,这里要强调一点,每个任务从上到下对应着火车头安装目录data目录下的以数字开头的文件夹,里面放着各自的数据文件,大概内置测试任务有38个,所以data目录下有对应从1到38的38个文件夹,你以后新建任务后,会自动再data目录下建立文件夹,序号依次递增。
2、新建任务和分组。
你可以新建分组,也可以再已有的测试分组下面建立任务,但是有一点要注意,任务不能脱离分组而存在,必须把任务存在分组里面,这里咱们新建一个名字叫做腾讯的分组。
3、右键单击腾讯,选择新建任务,弹出新建任务对话框4、下面我们以腾讯新闻采集为例说一下如何去配置,任务名叫做腾讯新闻可以看到,这里分为四步,第一部就是采集网址规则(这一步就相当于爬虫里面设置种子url 并且入队的过程),在出现的起始网址,添加单条网址,并点击”添加“按钮。
我们在网页中,通过分析,发现国内新闻的第二页及以后都是以数字递增的方式显示的,我们现在添加等差数列形式的网址最后点击完成,查看效果起始网址的添加就是种子URL的设置过程,这里可以添加多个种子URL,我这里设置了六页下面就是多级网址获取,点击添加按钮,出现如下画面(这一步相当于提取网页所有连接的过程)如果直接点击保存,相当于提取网页中所有链接,但真实情况下我们并不需要所有的链接,所以需要对链接进行过滤,可以从该选定区域提取网址,也可以对结果网址过滤,这里我们设置结果网址必须包含/a,然后点击保存。
你可以看到有一个检测重复网址,这个选项的目的就是告诉你,在多次抓取的过程中是否抓取相同网址的页面,这里默认是选中的。
幼儿园火车头的手工制作

幼儿园火车头的手工制作幼儿园火车头是一项常见的手工制作活动,旨在锻炼幼儿的手眼协调能力和创造力。
以下是一个详细的制作步骤,帮助您完成一个漂亮的幼儿园火车头手工制作。
所需材料:1. 彩纸:红色、黑色、黄色和蓝色2. 一根木棍或麦秸3. 胶水4. 剪刀5. 铅笔6. 羽毛或彩带(可选)步骤1:制作火车头部分首先,我们将制作火车头的外形。
取一张红色彩纸,将其对折,然后用铅笔在对折的一侧画出一个火车头的形状,包括一个大圆圆顶和两个小矩形车窗。
接下来,用剪刀沿着铅笔线将火车头剪出来。
步骤2:制作火车头的细节将黑色和黄色的彩纸剪成适当的形状,以制作火车头的细节部分。
使用黑色彩纸剪出两个小圆圈,作为火车头的车灯。
用黄色彩纸剪出一个长方形,作为火车头的车窗。
将这些部分粘贴在红色的火车头上,使其看起来更加立体。
步骤3:制作火车头的车轮接下来,我们将制作火车头的车轮。
取一张黑色的彩纸,将其对折两次,然后用铅笔画出两个圆形轮胎。
根据需求,您可以制作多个车轮。
将这些车轮剪下来,然后粘贴在火车头的底部。
步骤4:制作火车头的烟囱和车厢现在,我们将制作火车头的烟囱和车厢。
取一张蓝色彩纸,将其卷成一个圆柱形,做为火车头的烟囱。
然后将烟囱粘贴在火车头圆顶的顶部。
接下来,取一张长方形黑色彩纸,将其卷成一个圆柱形,做为火车头的车厢。
将车厢粘贴在火车头下方,与火车头相连。
步骤5:制作火车头的车身最后,我们将制作火车头的车身部分。
取一根木棍或麦秸,将其剪成适当的长度,作为火车头的车身。
然后,将火车头的车身粘贴在车厢的后方,使整个火车头手工作品更加完整。
步骤6:装饰火车头(可选)如果您愿意,您可以用羽毛、彩带或其他装饰物来装饰火车头手工作品,使其更加丰富多彩。
可以用黄色或白色的彩带围绕车头车身部分,给火车头增添一些亮丽色彩。
以上就是制作幼儿园火车头手工制作的详细步骤。
通过精细的工艺,孩子们可以亲手制作一个漂亮的火车头手工作品,培养他们的创造力和动手能力。
火车头采集器教程演示文稿

四、采集内容
双击上图窗口中的“标题”标签,將“源代码”中对应的标题符段中,点击确定,标题标签设置完成。
第16页,共31页。
四、采集内容
第二、资讯内容
查看本页面“源文件”,找到文章内容部分。如下图:
第17页,共31页。
四、采集内容
第30页,共31页。
五、发布内容
12、在配置名中输入要采集的栏目名称,点击保存配置。
13、设置完成后点击保存。 发布内容部分结束
第31页,共31页。
1、双击上图窗口中的“资讯内容”标签,將“源代码”中对应的资讯内容开始代码和结 束代码分别输入到开始字符段和结束字符段中。 2、勾选“HTML标签排除”中的“链接”、“层”、“Span”、“图象”、“脚本”选项。
3、选择“内容排除”中的添加项,將资讯内容代码中的无用代码和文本添加在此选项中,过滤 废物信息。 4、点击确定,资讯内容标签设置完成。
將“源代码”中对应的关键词开始代码和结束代码分别输入到开始字符段和结束字符段中,点击
确定,信息关键词和meta关键词标签设置完成。
注释:有些文章关键词部分设有大量广告语或与本文无关的内容,这样的文章关键词我们不给予采集。可以将 标题的采集方法复制到关键词采集中。
第24页,共31页。
四、采集内容
第五、责任编辑
第一、标题
查看本页面“源文件”搜索title代码,找到文章内容部分。如下图:
注释:一般情况下检索<title></title>都可以采集到我们需要的标题标签,但由于这篇文章此代码中
设计到其他网站logo及列表分类不确定信息,所以选择
<div id=“title”><h1></h1>中内容来代替。如果没有合适字段,可利用“内容排除”选项进行筛选。
超经典的火车头折纸步骤

超经典的火车头折纸步骤
超经典的火车头折纸步骤
火车和其他车辆一样,是利用车轮行驶的。
火车的轮子不断地在钢轨上滚动,才推动列车飞速前进。
随着火车速度的提高,轮子和钢轨便产生磨损。
不仅如此,由于列车在行驶中所受到的阻力(空气阻力和摩擦阻力)与速度的平方成正比。
那么今天就来制作一个折纸火车头吧!
超经典的火车头折纸步骤
折纸步骤
火车小科普
火车(Train),人类的现代交通工具之一,是人类利用化石能源运输的典例。
是指在铁路轨道上行驶的车辆,通常由多节车厢所组成。
人类历史上最重要的机具,早期称为蒸汽机车,有独立的轨道行驶。
铁路列车按载荷物,可分为运货的货车和载客的`客车,亦有两者一起的客货车。
1804年,由英国的矿山技师德里维斯克利用瓦特的蒸汽机造出了世界上第一台蒸汽机车,时速为5至6公里。
因为当时使用煤炭或木柴做燃料,所以人们都叫它“火车”,于是一直沿用至今。
1840年2月22日,由康瓦耳的工程师查理礠里维西克所设计了世界上第一列真正在轨上行驶的火车。
1879年,德国西门子电气公司研制了第一台电力机车。
随着火车的普及,改变了人们骑马(或以其他牲畜为主要动力)的出行方式。
中国早期的火车车厢是绿色的,因此叫绿皮车。
2007年,动车组第一次开进了北京站、兴城站。
火车头经典教程
怎么样使用火车头下载地址:/Down/我们下载免费版。
注意:想用火车,就必须得安装.NET FrameWork 2.0框架或更高版本.net framework 2.0下载地址:那么,火车我们也下载到本地了,。
net框架,我们也安装了。
那么,我们把新下载的火车采集软件,解压下。
看到一些密密麻麻乱七八糟的东西及文件。
那么。
上图中,用红线圈住的LocoySpider.exe 是主程序,我们双击打开。
ps:这里说下,上图中,有好多任务是我自己用的。
新程序,并没有那么多。
我们会看到火车的界面,看起来非常复杂,是吧?呵呵,其实并没有那么复杂,对于新手,有好多东西是用不到的。
下边会一一的讲解。
我们先补习一下,火车头采集软件的工作原理。
因为我们浏览到的网页,最后都是通过html输出的,那么意味着,我们可以查看到html的源码,那么火车头为什么会采集到内容呢?我们看下网站的基本结构。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN""/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> -------这些蓝色的东西,对于新手,我们不需要知道!<title>网页的标题</title> ----红色的是网页的标题。
如下图(1)</head><body>内容在这个<body>和</body>之间的,是网站的内容部分。
火车头入库wp原理
火车头入库wp原理火车头入库是指火车头部分进入车库或车辆段的操作。
火车头入库的目的是为了进行维修、停放或更换。
火车头入库的原理是通过专门的轨道和设备,将火车头部分引导进入车库或车辆段。
火车头入库的流程包括以下几个步骤:1. 准备工作:在火车头进入车库之前,需要进行一系列的准备工作。
包括调查火车头的尺寸和重量,确定适合的车库或车辆段进行入库操作。
2. 导轨引导:在入库轨道上设置导轨,用来引导火车头进入车库。
导轨通常是由金属制成,具有一定的弯曲度,以确保火车头能够顺利进入车库。
3. 调整位置:火车头进入入库轨道后,需要进行位置调整。
操作人员通过控制火车头的速度和方向,使火车头准确地进入车库,并与车库内的轨道对接。
4. 停放固定:火车头进入车库后,需要进行停放固定。
操作人员使用专门的设备,将火车头固定在车库内的轨道上,防止火车头移动或倾斜。
5. 安全检查:火车头停放后,需要进行安全检查。
检查火车头的各项参数,确保火车头在停放期间安全可靠。
火车头入库操作需要经过专门的培训和操作技能。
操作人员需要熟悉火车头的结构和特点,掌握入库操作的流程和技巧。
火车头入库的目的是为了保护火车头,并进行必要的维修和保养。
火车头是火车的动力来源,具有重要的作用。
定期对火车头进行维修和保养,可以延长其使用寿命,提高运行效率。
火车头入库的过程中需要注意安全。
操作人员需要严格按照操作规程进行操作,确保火车头和人员的安全。
同时,入库轨道和设备也需要保持良好的状态,确保操作的顺利进行。
总的来说,火车头入库是一项重要的操作,对火车头的使用和维护具有重要意义。
通过合理的操作和维护,可以保证火车头的正常运行,提高铁路运输的安全性和效率。
火车头采集器使用教程
火车头采集器使用教程本文将以火车头采集器为例,介绍如何使用火车头采集器进行数据采集。
第一步:安装火车头采集器第二步:打开火车头采集器安装完成后,可以在桌面或开始菜单中找到火车头采集器的图标,双击图标打开火车头采集器。
第三步:设置采集任务在火车头采集器中,可以点击左上角的“新建任务”按钮,进入任务设置界面。
在任务设置界面中,可以设置任务的名称、采集URL、采集深度等。
任务名称:在任务名称中,可以自定义一个任务的名称,以便于区分不同的任务。
采集URL:在采集URL中,输入需要采集的网页地址。
可以是单个页面地址,也可以是一个网站的首页地址。
如需采集多个页面,可以使用正则表达式进行匹配。
采集深度:设置采集的深度,即采集页面时要访问的页面层数。
可选择采集每个页面的链接,并设置最大采集页面数量。
第四步:配置数据采集规则在任务设置界面中,可以选择“设置规则”选项卡,配置数据采集规则。
火车头采集器通过选择页面上的元素,并设置相关规则来进行数据采集。
选择元素:点击“选择元素”按钮,鼠标变为十字形状,将鼠标移动到需要采集的元素上,点击元素即可选择。
可以选择文本、链接、图片、表格等各种类型的页面元素。
设置规则:在选择元素后,可以设置采集规则。
规则包括提取文本、提取链接、提取图片、提取HTML等。
可以选择提取的方式,并设置相应的规则。
点击“确定”按钮后,数据采集规则即配置完成。
第五步:开始采集数据在任务设置界面中,可以点击“开始”按钮,开始采集数据。
火车头采集器将自动按照设置的规则,采集页面上的数据。
在采集过程中,可以在任务设置界面的“日志”选项卡中查看运行日志,了解数据采集的进程和结果。
第六步:保存数据数据采集完成后,可以点击任务设置界面中的“保存数据”按钮,保存采集到的数据。
可以选择保存为Excel、CSV等格式,也可以选择保存到数据库或云端服务器中。
第七步:数据清洗和分析采集到的原始数据可能存在一些噪声或冗余,需要进行数据清洗和分析。
火车头采集器使用教程
1、火车头介绍2、什么是信息采集3、什么是火车头4、火车头是干啥的5、火车头规则定制6、规则编写流程7、采网址详解8、采内容详解9、注意事项什么是火车头?我们打开一个网站,看到有一篇文章很不错,于是我们就将文章的标题和内容复制了一下,将这篇文章转到我们的网站上.我们的这个过程,就可以称作一个采集,将别人网站上对自己有用的信息转到自己网站上;互联网上的内容,大多数都是通过复制-修改-黏贴的过程产生的,所以信息采集很重要,也很普遍,我们平台发到网站上的文章,多数也是这样的一个过程;为什么很多人感觉新闻更新很麻烦,因为这个工作是重复的,枯燥乏味的,浪费时间的;火车头是目前国内使用人数最多、功能最完善、网站程序支持最全面、数据库支持最丰富的软件产品;现在是大数据时代,它可以快速、批量、海量的获取到互联网上的数据,并按照我们需要的格式存储起来;说的简单一点,对我们来说有什么用?我们需要更新新闻,需要发商机,如果让你准备1000篇文章,你要用多久?5个小时?在有规则的情况下,火车头只需要5分钟!前提是有规则,所以我们要先学写规则,写规则如果数量的话,一个规则几分钟就好了,但刚开始学的时候会比较慢;名称解释与规则编写流程以火车头8.6版本为准第1步:打开—登录第2步:新建分组第3步:右击分组,新建任务,填写任务名;第4步:写采集网址规则(起始网址和多级网址获取)第5步:写采集内容规则(如标题、内容)第6步:发布内容设置勾选启用方式二(1)保存格式:一条记录保存为一个txt;(2)保存位置自定义;(3)文件模板不用动;(4)文件名格式:点右边的倒立笔型选[标签:标题];(5)文件编码可以先选utf-8,如果测试时数据正常,但保存下来的数据有乱码则选gb2312;第7步:采集设置,都选100;a.单任务采集内容线程个数:同时可以采集几个网址;b.采集内容间隔时间毫秒数:两个任务的间隔时间;c.单任务发布内容线程个数:一次保存多少条数据;d.发布内容间隔时间毫秒数:两次保存数据的时间间隔;附注:如果网站有防屏蔽采集机制(如数据很多但只能采集一部分下来,或提示多久才能打开一次页面),则适当调小a值和调大b的值;第8步:保存、勾选并开始任务(如果是同一分组的,可以在分组上批量选中)以前的方式:比如我要准备n篇文章,要先找到这个文章是在哪个网站上的(如是采集同行A还是同行B),是在其哪个栏目下的(如是产品信息还是新闻信息),在这个栏目下有n条信息,我要选哪一条,然后进去后把标题复制下来,把内容复制下来再进到另一个页面把标题内容复制下来,以此类推,然后同样的流程我要执行n遍;怎么转换:怎么把这个流程转化为软件操作呢?我要准备n篇新闻,这就表明要n个标题+对应的内容,要n个新闻链接,这n个新闻链接是从一个网站的新闻栏目上找的,而这个网站的新闻栏目有可能是很多页,比如10页,这个时候再从同行A的网站—栏目—内页;即先找到要采集的网站,打开这个网站的栏目页(确定好是采集新闻还是产品),写网址规则采集栏目下的所有新闻链接,然后写内容规则采集所有新闻链接中的标题和内容,最后保存下来;采网址详解-具体操作找到要采集网址的栏目页,如新闻栏目复制栏目的第一页链接url,起始网址右侧中点添加,在单条网址中黏贴栏目的第一页链接后点添加,如用右边的(*)代替,因为第1页已经添加了,还剩9页,这时在等差数列那一行把项数改成9,首项是2(因为第2页的链接是,然后点添加-完成;1、点对应右侧的添加,然后如下图所示是示例,右侧大图是说明;2、点击保存后点右下角的看看是否能采集到新闻网址,如果能采集到则正确,双击一个新闻网址进到下一步;如果采集到的不正确,返回修改直到成功;网址过滤可以自己观察其对应的规律;1、到采集内容规则这里后,把作者、时间、出处都选中后删掉,如右面第一张图,因为这些标签正常情况下都用不到;2、选中标题标签点修改,或直接双击该标签,进入编辑界面;3、进入后标签名的“标题”别改,改过后是要改对应的模板的;4、下面的数据提取方式:前后截取和开始结束字符串,也尽量用默认的,在不熟练的情况下不要改;5、点击下面数据处理的添加—内容替换,如右图;6、内容替换将标题后面的都替换为空,如果不替换的话采集的是页面title,这时需要打开两个新闻页面,看看这两个新闻页面的公共部分是什么,把公共部分替换掉例:如下面两个标题,“- 顶尖SEO团队”是公共部分,即把其替换为“空”;【图文】你知道螺旋加料机的加工方法吗螺旋加料机原理你了解吗【图文】气动式加料机的优点是什么你知道粉末加料机工作原理吗例:如下面的则需要把“-健康网”替换成“空”;例:如下面的则需要把“-健康网”替换成“空”;我喜欢吃西瓜-健康网苹果好吃吗?-健康网1、选中内容点编辑,或直接双击进入到内容标签编辑界面,标签名千万别改;2、写开始和结束字符串,就是找能把所有新闻都包裹起来的,在所有新在所有新闻页面中都是闻页面中都有的,且是唯一的一段字符串;即这个页面模板中的唯一代码串;举例:采集内容的时候,需要选择内容区域,因为要采集的可能是n篇,如100篇,这个时候就需要想法怎么能写一个采集到全部的,方法就是打开两个新闻链接如,查看第一篇新闻的源文件,找到新闻正文,然后向上找离新闻第一句话最近的,在这个页面中是唯一的一段代码(如果不唯一,软件能知道从第几个开始吗?),但又不是新闻中的内容,如<div id=“zoom”>,复制后在第二篇新闻页面源文件中搜一下看看有没有,如果有,则可采用;同理找到新闻最后一句话,向下找离其最近的页面中唯一的一段代码,复制后在第二篇新闻页面源文件中搜一下看看有没有,如果有,则可采用;数据处理:因为采集的是其他网站的信息,里面有可能有其他网站的资料,如公司名、联系方式、品牌等信息,也可能有其他网站的超链接等信息,这个时候就需要对信息进行过滤处理;数据处理—添加—下面对应的参数HTML标签过滤:滚动轴横向拉到最后,在所有标签前面打钩后点确定;内容替换:将这个网站的信息替换成自己的,原则是先整后拆,有公司名、电话号(拆分)、手机号(拆分)、邮箱、公司地址(拆分)、品牌名、网址(拆分);其中拆分的意思是对这个数据进行拆解替换,这个时候就需要做如下替换:因为在新闻中,,这是时候就需要对其拆解替换才能替换干净,可以多看一下他的新闻中,可能会用什么样的格式;注:数据处理还有很多技巧,需要自己在使用的过程中琢磨,更是采集的核心,如果处理不好,有可能是为他人做嫁衣,所以一定要仔细观察,考虑全面,如果处理好了,采集下来的文章甚至可以直接就发布(非自己企业站)注意事项1、右击分组:会出现如下图菜单,正常都能用到;新建任务:在此分组上新建任务;运行该分组下所有任务:顾名思义;新建任务:在该分组下再建分组;编辑/删除分组:编辑/删除当前分组;导入/导出分组规则:可以导出当前分组下的所有任务,并导入到同版本火车头上;导入任务至该分组:将导出的单个任务导入到该分组下面;黏贴任务到该分组下:要复制过任务后此项才出现,可以黏贴多个同样的任务,然后再黏贴后的任务上进行编辑即可;开始任务:和菜单栏上的开始一样;编辑任务:编辑已经写好的任务;导出任务:可以将当前规则导出,在其他同版本工具上导入,但导入数据时需重复上面的第6步-发布内容设置,必须要重新选/填一遍;复制任务到黏贴板:复制后,选择一个任务分组并右击,可以黏贴不同数量的任务到那个分组中,这样就避免同一个任务多次编写了;清空任务所有采集数据:新如果之前采集过任务想重新采集的,则需求先清空;3、其他设置:顶部菜单栏中点击工具—选项,配置全局选项和默认选项;全局选项:可以调整下同时运行任务最大个数,正常是5即可,可不调;默认选项:是否忽略大小写点是;。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
怎么样使用火车头下载地址:/Down/我们下载免费版。
注意:想用火车,就必须得安装.NET FrameWork 2.0框架或更高版本.net framework 2.0下载地址:那么,火车我们也下载到本地了,。
net框架,我们也安装了。
那么,我们把新下载的火车采集软件,解压下。
看到一些密密麻麻乱七八糟的东西及文件。
那么。
上图中,用红线圈住的LocoySpider.exe 是主程序,我们双击打开。
ps:这里说下,上图中,有好多任务是我自己用的。
新程序,并没有那么多。
我们会看到火车的界面,看起来非常复杂,是吧?呵呵,其实并没有那么复杂,对于新手,有好多东西是用不到的。
下边会一一的讲解。
我们先补习一下,火车头采集软件的工作原理。
因为我们浏览到的网页,最后都是通过html输出的,那么意味着,我们可以查看到html的源码,那么火车头为什么会采集到内容呢?我们看下网站的基本结构。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN""/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> -------这些蓝色的东西,对于新手,我们不需要知道!<title>网页的标题</title> ----红色的是网页的标题。
如下图(1)</head><body>内容在这个<body>和</body>之间的,是网站的内容部分。
如下图(2)</body></html> ----------这里是网站的结尾。
如果想查看一个网页的html源文件,之需要点击浏览器上的查看,源文件即可。
(1)(2)那么,我们知道了一个网页最基本的架构,那么就好理解火车采集的基本原理了火车采集软件是怎么采集的呢?我们配置好火车头采集规则,什么叫采集规则?就是我们查看网页的源文件,看看整个网页的源码,内容部分的开始标签,和结束标签,这样火车才能知道,我们要采集这个页面的哪个部分,比如下边我们演示的。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN""/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><title>网页的标题</title></head><body>内容</body>我们想要采集“内容”那么就要告诉火车采集器,内容开始标签是<body>,结束标签就是</body>明白了么?呃。
估计是我的表达能力不够好。
so。
我们看下边的实例,在好好巩固下就OK。
OK。
那么我们开始一步一步教大家设置采集规则。
首先第一个。
我们的目标站。
discuz!x1.5架构的网站。
/forum-60-1.html我们要把这个版块的内容以及回复都采集到我们的网站上去。
首先我们打开火车,新建一个站点。
点击火车左上角上的新建按钮,选择新建站点。
如下图我们只需要填写站点名就可以,其余的保持默认,然后点击保存按钮!然后。
在这个站点下,新建一个任务。
选中我们新建的站点,点击鼠标右键,选择第一个,从该站点新建任务。
如下图其中1,是任务的名字,必须填写。
2,是整个采集任务的步骤向导,3,是文章列表的设置区域(下边讲解),4,和3差不多。
5,是登录的地方,有些网址必须登录,我们才可以看到内容,就是这个东西!OK。
就这些,那么,我们一步一步的来!首先我们给我们的任务加一个标题。
下一步,我们就开始设置列表的采集规则(因为现在火车不知道/forum-60-1.html这个页面的文章列表是那些,所以我们要告诉火车!)这里有两种方式,新手嘛,我也不知道适合哪种。
我们就用默认的吧,第一种我们点击向导添加然后出现下图。
其中有4个选项卡,如果我们只采集目标站点的一个文章列表/forum-60-1.html,那么我们选中单条网址,直接写上目标的列表网站,如下图!然后点击添加,点击完成就OK。
看下边的图其中1,是目标网站的地址其中2,是火车的通配符(就是某个东西识别的东西)其中3,是间隔数已经补零(下边一一讲解)其中4,数字变化。
下边讲解其中5,字母变化。
那么。
看下图图中在地址栏填写的是/forum-60-(*).html这个。
那么,这是什么意思呢?我们打开/forum-60-1.html 这个地址,然后点击下一页发现地址变成了/forum-60-2.html那么我们在点击下一页,就是第三页,发现地址变成了/forum-60-3.html那么在点击第四页。
想必大家也知道变成什么了吧?那么第一页:/forum-60-1.html第二页:/forum-60-2.html第三页:/forum-60-3.html翻页中,我们发现,只有1在变化。
那么我们在火车那里就填写/forum-60-(*).html这个,其中1用火车的通配符(*)替换掉。
意思就是,只有1在变化。
在看下边其中数字变化,从1到5.意思就是从地址栏/forum-60-(*).htm获取地址 1到5,就是下边这样的。
/forum-60-1.html/forum-60-2.html。
/forum-60-5.html明白了么?其实很简单。
那么字母变化,就是/forum-60-a.html/forum-60-b.html。
/forum-60-z.html因为我们目标地址是数字变化。
我们继续看下边间隔倍数,和补零。
间隔倍数1是什么意思?40又是什么意思呢?间隔倍数1就是/forum-60-1.html/forum-60-2.html。
/forum-60-5.html间隔倍数40就是/forum-60-40.html/forum-60-80.html。
/forum-60-200.html明白了么?那么我们在看补零,补零就是。
/forum-60-01.html/forum-60-02.html。
/forum-60-05.html就是这样。
其实很好理解。
OK。
我们继续。
我们填写完成后,点击添加 - 完成。
如下图到这里,我们的地址就添加完成了。
那么下边,我们来设置区域列表。
我们先设置第一个。
“文章内容页面地址必须包含。
不得包含。
”我们随便点开/forum-60-1.html这个网址中的两篇文章,看下URL。
就是文章地址。
/thread-88312-1-1.html/thread-88373-1-1.html发现以上两个地址。
那么他们其中只有/thread-88373-1-1.html红色部分在变动。
那么,文章内容必须包含。
我们写/thread-(*)-(*)-(*).html 这样就可以,那么我们点击“开始测试网址采集”这个时候,我们点开网站前边的+号发现,其实网址已经采集成功了。
其中的并不需要填写。
这是为什么呢?因为我们采集的页面/forum-60-1.html中的文章地址,就是/thread-88373-1-1.html这样的地址,至于为什么要写成/thread-(*)-(*)-(*).html这样,是因为其中的/thread-88373-1-1.html红色部分都会变动。
或者有可能变动。
所以我们加上通配符,所以我们不用填写这个,也可以采集成功。
那么,为了让大家更直白的了解火车,我们还是写一下。
那么我们打开/forum-60-1.html 这个地址,在页面中,点击右键,选择“查看源文件”(因为不好截图。
)发现上边的东西出现,都是一些猥琐的html代码。
我们怎么定义文章地址的区域呢?看下图我们复制页面中的“筛选”然后在页面源码中查找下,,,那么自然,下边的,就是文章地址的区域咯。
那么我们在这里,填写什么呢?我们要填写一个“唯一”的东西。
就是这个页面独有的一个,并且在文章地址上方的一个代码。
如上图。
我们选择这段<div id="pgt" class="bm bw0 pgs cl">代码!然后我们复制<div id="pgt" class="bm bw0 pgs cl">这段代码,在我们打开的源文件中,向下查找看,看看有没有相同的。
好消息。
没有相同了。
那么我们在填写<div id="pgt"class="bm bw0 pgs cl">那么这里怎么填写呢?其实一样。
我们给下看看源码。
我们向上查找下。
OK....那么。
就填写.就OK。
照着这样填写就OK了。
其实这一步是多此一举。
只是教大家怎样填写罢了。
我们随便选中一条地址,双击鼠标左键。
直接跳到第二部,采集内容规则。
在这里,我们点击一下测试按钮。
发现,标题和内容都采集到了,但是。
在标题上,我们把目标站点的网站主标题也采集过来了。
而内容。
是把整个页面乱七八糟的东西都采集过来了。
那么。
我们开始设置更精确的采集规则。
擦。
首先,我们设置标题。
现在默认的采集标题是又出来个史上最强大的搜索引擎!!!!!!!- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!我们需要的标题是红色部分。
那么。
我们双击上图被圈住的地方。
那么我们需要设置的地方就是那么。
我们现在采集到的标题是又出来个史上最强大的搜索引擎!!!!!!!- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!这个,那么,我们只需要把蓝色的部分去掉。
怎么去掉呢?下图我们添加然后点击确定点击测试发现又出来个史上最强大的搜索引擎!!!!!!!- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!蓝色部分已经被去掉。