kettle文档
Kettle使用文档
1.Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle主要由资源库、数据库、作业（job）、转换、步骤五部分组成，资源库是用来存储用户所编写的作业和转换（即kjb文件和ktr文件）一般是在数据库中存储，方便用户的查找和使用。
数据库就是处理数据是需要的数据库。
作业是用来确定一个工程中需要使用的转换和转换的执行顺序。
转换是数据在ktr文件中的具体转换过程，类似于Java的一个方法，而作业就类似于java的一个类，它可以调用各种不同的方法（转换）。
2.Kettle框架搭建（1）下载安装可以从下载最新版的Kettle软件，同时，Kettle 是绿色软件，下载后，解压到任意目录即可。
（2）配置环境变量使用Kettle前提是配置好Java的环境变量,因为Kettle是java编写，需要本地的JVM的运行环境。
配置Java环境变量可参考:/zzq900503/article/details/9770237配置Kettle环境变量步骤：一、在系统的环境变量中添加KETTLE_HOME变量，目录指向kettle的安装目录：D:kettledata-integration（具体以安装路径为准）二、新建系统变量：KETTLE_HOME变量值：D:kettledata-integration（具体以安装路径为准，Kettle的解压路径，直到Kettle.exe所在目录）三、选择PATH添加环境变量：变量名：PATH变量值：%KETTLE_HOME%;（3）Kettle工具的运行在Windows系统下运行，只需要解压kettle文件后，双击data-integration文件夹中的Spoon.bat文件在Linux下运行则双击data-integration文件夹中的Spoon.sh文件3.Kettle的基本概念（1）作业（job）负责将【转换】组织在一起进而完成某一块工作，通常我们需要把一个大的任务分解成几个逻辑上隔离的作业，当这几个作业都完成了，也就说明这项任务完成了。
kettle操作文档
Kettle操作文档1.Kettle介绍。
(2)2. Kettle下载。
(2)3.使用规范和注意事项。
(3)3.1.配置数据库的全局变量。
(3)3.2.文件命名规范（不要用汉字）。
(3)3.3.文件存放位置。
(3)3.4.配置启动任务文件。
(3)3.5.注意事项。
(4)4. Kettle部署使用。
(4)4.1.启动kettle。
(4)4.2.创建转换文件。
(5)4.2.1.使用标识字段实现新增数据。
(5)4.2.2.使用时间戳实现新增或修改数据。
(11)4.2.3.使用时间比较实现新增或修改数据。
(14)4.2.4.使用对某一数据值比较实现新增或修改数据。
(17)4.3.创建任务文件。
(19)4.4.命令行启动任务。
(20)1.Kettle介绍。
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。
Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。
2.Kettle下载。
Kettle可以在http://2.2.2.240/bbs/网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。
这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。
资料网站：/。
注：解压路径尽量不要有中文。
.kettle:存放kettle的一些环境变量信息，资源库的信息。
jre6:存放java运行库文件（1.6版本）。
launcher：存放启动的文件以及启动的配置信息。
lib：存放kettle的库文件。
kettle操作文档
Kettle操作文档1.Kettle介绍。
(2)2. Kettle下载。
(2)3.使用规范和注意事项。
(3)3.1.配置数据库的全局变量。
(3)3.2.文件命名规范（不要用汉字）。
(3)3.3.文件存放位置。
(3)3.4.配置启动任务文件。
(3)3.5.注意事项。
(4)4. Kettle部署使用。
(4)4.1.启动kettle。
(4)4.2.创建转换文件。
(5)4.2.1.使用标识字段实现新增数据。
(5)4.2.2.使用时间戳实现新增或修改数据。
(11)4.2.3.使用时间比较实现新增或修改数据。
(14)4.2.4.使用对某一数据值比较实现新增或修改数据。
(17)4.3.创建任务文件。
(19)4.4.命令行启动任务。
(20)1.Kettle介绍。
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。
Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。
2.Kettle下载。
Kettle可以在网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。
这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。
资料网站：。
注：解压路径尽量不要有中文。
.kettle:存放kettle的一些环境变量信息，资源库的信息。
jre6:存放java运行库文件（1.6版本）。
launcher：存放启动的文件以及启动的配置信息。
lib：存放kettle的库文件。
libext:存放用到的外部库文件。
libswt:存放用到的界面库文件。
KETTLE简单使用说明文档
KETTLE简单使用说明文档1. 下载和安装要运行此工具你必须安装SUN 公司的JAVA 运行环境 1.4 或者更高版本,相关资源你可以到网络上搜索JDK 进行下载。
设置JAVA 运行环境变量,JAVA_HOME 和PATHKETTLE 的下载可以到/取得最新版本,下载后解压,就可以直接运行。
2.kettle主要有两部分组成，主对象树，核心对象，3.新建一个kettle文件(数据库之间做处理)1)转换右键点击新建，如图所示2) 设置数据库连接,上图DB连接右键新建(支持多库连接): 如图:3）核心对象里面有很多组件，通过拖拽来供给我们做操作，如图4）添加一个源输入，打开输入文件夹，可以看到各种输入类型，支持文件，数据库等。
如图5）这里通过数据库操作，那我们这里拖拽一个表输入组件6）双击打开，可以看到你可以选择上面连接的数据库，然后通过获取sql语句来选择你要输入的源表进行操作。
并且sql语句支持传递变量参数和占位符参数，以及多表关联sql。
如下图7）输入表已经OK，那输出表呢，那我看下输出组件。
如图8）选中两个组件，右键新建节点连接。
如下图9）双击打开表输出，选择输出的数据库，以及目标表和输入表与目标表的字段映射10）映射选择以及匹配11）点击箭头弹出启动界面，点击启动，该kettle文件即可执行数据的迁移了12）上面是一个简单的数据库转换操作。
在表输入和表输出直接可以加不同组件对数据进行筛选过滤。
通过转换文件夹下的组件。
如图转换可以处理中文乱码，字段数字的计算，值的转换，序列的生成等等脚本可以用java代码，javascript,sql脚本等等查询支持调用存储过程，两个表直接关联查询等等以上只是针对kettle工具的简单实用介绍。
自-kettle使用说明(简版)
Kettl e使用说明简版1、文档说明本文档主要介绍我们实际应用中使用Kettle工具来开发ETL过程的相关说明,内部文档,仅供参考.2、ETL流程图3、关键操作介绍3.1创建资源库[对象位置]：登陆界面[实现功能]：配置存储相关转换、任务及相关附属信息的数据库[操作说明]：1）进入登陆界面：2）点击新建按钮，进入配置界面，填写相关信息3）填写完毕，可测试是否成功，成功后，进入如下界面，点创建或更新4）创建完毕可用资源库用户登录Kettle,默认用户名，密码：admin/admin[备注]：我们一般建立一个独立的数据库用户，专门存储Kettle相关信息，资源库就连接在这个数据库用户上3.2创建转换[对象位置]：文件〉〉新建〉〉转换[实现功能]：将库A的表A1中的数据经过一定转换，插入到库B的表B1[操作说明]：1)新建一个转换2)将“核心对象〉〉输入〉〉表输入”拖到转换设置面板3)双击“表输入”，进入脚本编辑界面：本界面可以设置数据库连接，点“新建”可以创建一个新的数据库连接，点“编辑”更改数据库连接，然后编辑好相关提取语句：4)将“核心对象〉〉输出〉〉表输出”拖到转换设置面板5)双击“表输出”，进入脚本编辑界面：本界面需要选择数据转入目标表的数据库连接，以及目标表的表名称，如果数据量比较大的话，可以设置每次提交的数据量6)将表输入和表输出连接：按住shift,鼠标从“表输入”拖到“表输出”，如图：7)该转换编辑成功，可以保存并执行测试［保存］：［执行］：8)执行成功后便可以编辑其它转换，过程类似[备注]：１）编写的ＳＱＬ语句的字段别名要与数据转入的目标表的字段名称一致；２）语句最后不能有标点；３）若ＳＱＬ中有参数的话，需要将“替换ＳＱＬ语句中的变量”选中；４）转换前可以执行一些脚本比如：将“脚本〉〉执行ＳＱＬ脚本”拖入，并连接即可，双击可编辑ＳＱＬ(需要有分号，若更新库则需要提交)3.3创建任务[对象位置]：文件〉〉新建〉〉任务[实现功能]：将多个操作串行合并，形成一个整体任务，其中的操作可以是转换、任务、脚本等等[使用说明]：1)新建一个任务2)拖入几个任务对象，可以是转换、任务、脚本等，并连接，如图：3)双击相关对象进行编辑，需要选择已经建立好的转换（任务名称）名称4)所有中间步骤的对象都已设定好以后，保存任务，执行测试任务[备注]：任务中各对象执行，以前一对象成功执行为前提，若任务里，包含多个子任务，如果各任务之间相互独立，可以在子任务中拖入“success”对象，否则当母任务中某一对象执行失败，则任务停止。
kettle培训技术文档
Kettle 培训技术文档Etl 介绍ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。
Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
kettle 部署运行将kettle2.5.1文件夹拷贝到本地路径，例如D 盘根目录。
双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：稍等几秒选择没有资源库，打开kettle主界面创建transformation，job点击页面左上角的创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr点击页面左上角的创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行数据库连接配置。
connection name自命名连接名称Connection type选择需要连接的数据库Method of access选择连接类型Server host name写入数据库服务器的ip地址Database name写入数据库名Port number写入端口号Username写入用户名Password写入密码例如如下配置：点击【test】，如果出现如下提示则说明配置成功点击关闭，再点击确定保存数据库连接。
kettle文档生成工具
kettle文档生成器简介bymobitest at 1概述Kettle-Cookbook是kettle的一个自动文档生成工具。
可以对kettle的.ktr/.kjb生成可读的HTML 格式文件。
（有点类似javadoc工具，不过使用更简单）。
2效果3下载直接下载kettle-cookbook.zip4使用将.zip解压，/parking/kettle-cookbook。
使用pdi运行作业pdi/document-all.kjb.4.1参数INPUT_DIR : the location of your source transformations (.ktr) and jobs (.kjb)OUTPUT_DIR : the folder where you want to store the documentation results.4.2其他使用Kettle 4 +，会递归扫描输入目录。
kettle3.2不扫描子目录。
如果在spoon中运行，在对话框中预设参数(prarameter)值。
在命令行运行，如：sh kitchen.sh -file:/parking/kettle-cookbook/pdi/document-all.kjb -param:"INPUT_DIR"=/project/dwh/kettle/ -param:"OUTPUT_DIR"=/tmp/output注意Kettle 4.0.0有bug不能在linux的命令行中使用参数，请下载4.0.1+Windows用户要在整个参数/值对两边使用引号，参见：/display/EAI/Named+Parameters5修改样式改模板文件6中文化方法：改xml样式文件6.1例如改页签的文字。
kettle使用文档
Kette目录1、输入 (2)1．1 文本输入 (2)1.2 表输入 (3)2、输出 (3)2.1 文本输出 (3)2.2)输出表 (3)3、连接 (5)3. 1 “Merge” (5)3.2 Sorted Merge (5)3.3 合并记录 (7)3.4 (8)4、转换 (10)4.1)split field to rows (10)4.2)去掉重复记录 (11)4.3 增加常量 (11)4.4 增加序列 (12)4.5 字段选择 (12)4.6)拆分字段 (13)4.7 排序记录 (14)4.8 换转列 (14)4.9)计算器 (15)4.10)值映射 (16)4.11)number range (17)5、flow (19)5.1)switch/case (19)5.2)过滤记录 (20)6、statistics (21)6.1)分组 (21)7、Uitlity (22)7.1)If field value is null (22)7.2)Null if... .. (24)8、查询 (25)8.1)Check if a column exists (25)8.2 File exists (26)8.3)Table exists (27)8.4 数据库查询 (28)8.5 数据库连接 (30)8.6 流查询 (31)9、脚本 (33)9.1) Modified Java Script Value (33)9.2)执行SQL脚本 (34)9.3 Regex Evaluation (35)1、输入1．1 文本输入：就是程序读取文本文件里边的东西，我现在用到的是自己到处去的文件。
给拉出来的文本起名文件卡里边先浏览选着自己用到的文本，点击添加，选中的文件会到“选中的文件”框里边图中的“1”就是我选中的文件之后点击“字段卡”在下边有个“”点击它会出现你导出时候的字段名称，下边有“”可以查看里边的记录1.2 表输入“编辑”就是选着数据库“获得sql查询语句”就是得到数据，下边可以预览然后会出现在你可以对语句进行编辑，去掉你不要的字段，或者加条件去掉的字段不会在导出的文件中出现，2、输出2.1 文本输出“步骤名称”是给选着的文本文件的加名字的“文件卡”中的“浏览”中是选着文本输出的地方和起名字的“字段卡”点击这个你会看见下边有“获取字段”这个是得到输出的字段的名称，默认的是全部输出2.2)输出表“步骤名称”kettle起名用的“数据库连接”是选着数据库“编辑”是修该数据库“目标表”是选着存入的表“Specify datebase fileds”挑勾它说明说上说选没说为什么“Datebase fileds卡”中点击“enter filed mapping”第一个文本框是读进来的表的字段第二个文本框是写数据库中的字段第三个是他们的对应关系在这你可以选择自己要的字段然后点add（注意数据库表的字段类型一定要一样，要不报错，你也可以选择guess ，这个是根据字段的名字去猜，如果你的字段类型不一样，报错，出现在第三个文本框中的才是写如表的字段3、连接3. 1 “Merge”“第一个步骤”选择导入的“输入表”或“输入文件”“第二个步骤”选择导入的“输入表”或“输入文件”“连接类型”是内连接外连接做连接有连接。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Kette
1 (2)
1.1 (2)
1.2 (3)
2 (3)
2.1 (3)
2.2) (4)
3 (5)
3. 1"Merge" (5)
3.2Sorted Merge (5)
3.3 (7)
3.4) (9)
4 (10)
4.1)split field to rows (10)
4.2) (11)
4.3 (12)
4.4 (12)
4.5 (13)
4.6) (14)
4.7 (14)
4.8 (15)
4.9) (16)
4.10) (17)
4.11)number range (18)
5flow (20)
5.1)switch/case (20)
5.2) (21)
6statistics (22)
6.1) (22)
7Uitlity (23)
7.1)If field value is null (23)
7.2)Null if... .. (25)
8 (26)
8.1)Check if a column exists (26)
8.2File exists (27)
8.3)Table exists (28)
8.4 (29)
8.5 (31)
8.6 (32)
9 (34)
9.1) Modified Java Script Value (34)
9.2)SQL (35)
9.3)Regex Evaluation (36)
1
11
"""1"
""""
""
1.2
""
"sql"
2
2.1
""
""""
"""" 2.2)
""kettle
""
""
""
"Specify datebase fileds"
"Datebase fileds""enter filed mapping"
add
guess
3
3. 1"Merge"
""""""
""""""
""
""
3.2Sorted Merge
null
1 2
""
3.3
1 2
3.4()
1
2
"" ""
4
4.1)split field to rows string
"Field to split "
"delimiter"--"new field name "
4.2)
"" ""
""
4.3(
)
""
""
""
4.41----n
""
4.5
""
""
name id
4.6)
""
""
"": 4.7
""
""
""
4.8
""
""
""
"value fieldname"
""""
""
4.9)
""
""
"a/b/c"
""
4.10)month112
1
""month
""
""month
"""1""2""3"1 4.11)number range
unkonw
""
""
"" ""
""
""
5flow
5.1)switch/case
"Field name name to switch"switch
""
""""id
""1 ""
5.2)
"" ""
6statistics
6.1)
""
""
"""""""subject" """"
7Uitlity
7.1)If field value is null
""
" "
""
(:""""1) 7.2)Null if...null
""null
""null 8
8.1)Check if a column exists
referer y n
""
""
""
""
""
8.2File exists,
""
""
""
""
8.3)Table exists y/n
""
""""
""
8.4
1
2
"""" ""
"1" """"
""
8.5
entp_list_id =47entp_list_id=411 Referrer =/6
"""sql"sql""
""
Select * from ods_mtp_1 where entp_list_id in(select entp_list_id from )
8.6
1
2
""
""
""
""
""
""1
""
9
9.1) Modified Java Script Value(Java Script
)
1
"script"
""
""""
9.2)SQL
""
sql pre paredstatement"?"
9.3Regex Evaluation
""""java
"" ""
"result fieldname"y/n。