ETL工具更新数据表过程

ETL工具更新数据表过程
ETL工具更新数据表过程

1.打开相关的软件:运行中输入db2cc打开db2控制中心;双击Spoon.bat打

开ETL工具,对于弹出的窗口选择cancel和关闭;

2.下面是ETL工具中的文件目录:

假如现在要更新数据表AUDIT_REGISTER_INFO,按照以下步骤进行

3.在D:\ETL\DATA_FILE文件夹中新建一个以AUDIT_REGISTER_INFO为名字的文

件夹,同样在D:\ETL\DATA_FILE_SUCCESS文件夹中也新建一个以AUDIT_REGISTER_INFO为名字的文件夹,但是这里面需要拷贝一个successMark.txt的文件(任意,内无数据);在D:\ETL\kitchen_file文件夹中要有三个文件,分别为:AUDIT_REGISTER_INFO_EXTRACT.ktr、AUDIT_REGISTER_INFO_JOB.kjb、AUDIT_REGISTER_INFO_LOAD.ktr然后分别打开,将名字分别更改为:AUDIT_REGISTER_INFO_EXTRACTAUDIT_REGISTER_INFO_LOADAUDIT_REGISTER_INFO_JOB

4.在ETL工具中点击“文件” “打开”,分别打开刚才D:\ETL\kitchen_file文

件夹中的三个文件,截图如下:

5.对于AUDIT_REGISTER_INFO_EXTRACT.ktr文件,首先双击“从源表提取数据”

检查SQL语句是否正确:

select T.UNID,T.actionFlag,T.RECORD_NO as TEMP_RECORD_NO,'2'AS STATUS,r.* from PACS3I.TMP_AUDIT_REGISTER_INFO t left join PACS3I.AUDIT_REGISTER_INFO r on t.RECORD_NO=r.RECORD_NO where t.status=0 order by updatetime

检查的方法通过db2控制工具,截图如下

点击“查询”,在命令栏串口中输入刚才的SQL语句,检测能否执行通过,通过了的标志是不报错或者出来查询的数据;

6.双击“XML输出”截图如下:

进入“字段”,点击“获取字段” 然后“最小宽度”;

7.双击“更新源临时表”,截图如下:

至此,对于AUDIT_REGISTER_INFO_EXTRACT.ktr文件的设置结束了,最后点击运行按钮,正确执行。

8.对于AUDIT_REGISTER_INFO_LOAD.ktr文件,双击“Get data from XML”,截图

如下:

将“${COMMON_DIDIRECTORY}\DATA_FILE\${TABLE_NAME}”更改为D:\ETL\DATA_FILE\AUDIT_REGISTER_INFO,然后点击“Fields” “Get fields”

选择“是”,然后将其中的Type为num和Integer更改为String类型,并将后面对应的Trim type选择为both;

﹡但是在后面又发现,这种做法导入一条数据可以成功,但是导入成千上万条数据的时候就会出错,这时候需要将其中的Type中包含DATE的字段后面的String类型或者其他类型更改为DATE类型,它后面对应的Trim type不需要改表;

9.双击“注入数据到目标表”,截图如下:

后的字段刚好要对应db2控制中心中的相应的表的字段,截图如下:

至此这一步骤的设置结束了,最后点击运行,如果通过了,最好还要将

D:\ETL\DATA_FILE\AUDIT_REGISTER_INFO更改为原来的${COMMON_DIDIRECTORY}\DATA_FILE\${TABLE_NAME}。

10. 对于AUDIT_REGISTER_INFO_JOB.ktr文件,双击“START”,设置运行的时间之后,就可以点击运行,设置的运行时间一到,该文件就会执行一次。

在更新的过程中,出现的问题总结如下:

1.更新数据表ACCOUNTS_INFO时,插入的数据在执行完ETL中的EXTRACT这一步之后,在生成的.xml文件中会出现乱码,如果将此乱码删除,那么第二步LOAD 才会执行成功;

2.在执行第二步LOAD的时候,必须将FY中的表,点击鼠标右键→更改,将第一个的值改为"无"

3.在ZXK中的TMP_....表中插入数据,首先改变点击鼠标右键→更改,将第一个的值UNID改为"无",就可以插入,然后再恢复为原来的值,但是这样尽管能够插入有效数据,但是在第二步LOAD的时候就会报错,那么同样在ZXK中的没有TMP开头的表中这样做的话,就可以成功。

但是,对于这点,如果是用SQL语句插入的话,就可以成功。

相关主题
相关文档
最新文档