kettle

Kettle 学习

1：资源库的两种形式

Kettle database repository :数据库资源库

Kettle file repository :文件资源库，保存在服务器硬盘中

2：kettle中的转换和作业

Kettle中有两种脚本文件，transformation(.ktr)和job(.kjb)

作业：分为串行执行和并行执行，同一条线上的两个步骤会先执行前面的再执行后面的，每个步骤分为：true和false

3.表对表的例子

字段选择可以对字段筛选、转型、更名等。

4文件到表的例子

5 表到文件的例子

6 JAVASRIPT的例子

变量定义

var jsStr = “hello world”;

Var javastr = new https://www.360docs.net/doc/5c16496283.html,ng.String(“java.String”);

writeToLog(“m”,str);//打印字符串到日志中

Var num = 1;

Var arr = new Array();

Arr.push(“添加元素到数组末尾”)；

Var arr1 = new Array(3,”FTPDW”);

If语法

Var bool =true;

If(bool){

Alert(“正确”)}

Else{

Alert(“错误”)}

For语法

Var arr = new Array(1,”2”,”this i s string”);

For(var i =0 ;i

If(arr[i]==2)

{alert(“the value is ”+arr[i])}}

方法定义

Var str = “shj”

Function sayHello(name){

If(name==null)

Return “hello”+str;

Else

Return “hello”+name

}

writeToLog(“m”,sayHello());

异常处理：

Try{

Var value =100/0;

}catch(e){

Throw new https://www.360docs.net/doc/5c16496283.html,ng.Exception(“除数不能为0”+e)}//防止未知错误的产生所采取的措施，异常处理的好处不用绞尽脑汁的考虑各种错误

7.FTP的文件上传和下载

8.合并连接

Job:把一个或多个tansformation按照一定的顺序组合起来，形成一个流程

1 .开始(start)

2 什么时候用job

如果转换需要定时，那么就必须用job,多个transformation 需要组成一个流程时也必须使用job

3.kettle的日志输出

日志输出是检查程序的重要手段，也是程序维护的必不可少的环节

Kettle在日志输出方面有很好的控制功能，kettle日志输出共分为7个等级：没有日志

（nothing）、错误日志（Error)、最小日志（minimal）、基本日志（basic）、详细日志（Detail)、调试日志（Debug）、行级日志（Rowlevel），默认为基本日志。

Nothing 不显示任何输出

Error 仅仅显示错误信息

Minimal 显示最小的日志

Basic 缺省的日志基本

Detail 给出日志输出的细节

Debug 调试目的、调试输出

Rowlevel 打印每一行记录的信息

转换日志输出说明

I 当前步骤生成的记录数（从表输出、文件读入）

O 当前步骤输出的记录数（输出的文件和表）

R 当前步骤从前一步骤读取的记录数

W 当前步骤向后面步骤抛出的记录数

U 当前步骤更新过的记录数

E 当前步骤处理的记录数

常用组件

input

1.从本地文本文件输入数据

2.表输入

3.获取系统信息

Output

1.文本文件输出

2.表输出

3.插入/更新

4.更新

5.删除

LOOKUP

1.数据库查询

2.流查询：将目标表读取到内存，通过查询条件对内存中的数据库进行查询

3.调用数据库存储过程

Tranform

1.字段选择：选择需要的字段，过滤掉不用的字段，也可以做数据库字段对应

2.过滤记录：根据条件对记录进行分类

3.排序记录：将数据根据某条件，进行排序

4.空操作：无操作

5.增加常量：需要增加的常量字段

Scripting

编写javascript 脚本，对数据进行相应的处理

Mapping

映射（子转换）：数据映射

Job

Set variables 设置环境变量

Get variables 获取环境变量

Job entries

Start 开始

Dummy 结束

Transformation 引用transformation流程

Job 引用job 流程

Shell 调用shell 脚本

SQL 执行sql语言

ftp 通过ftp 下载

Table exists 检查目标表是否存在返回布尔值

File exists 检查文件是否存在返回布尔值Javascript 执行javascript脚本

Create file创建文件

Delete 删除文件

Wait for file 等待文件文件出现后继续下一个环节File compare 文件比较