DataStage 工作笔记

1.安装与配置

参考文档：《Planning, Installation, and Configuration Guide.pdf》

1.1服务端与客户端的安装

1.1.1安装拓扑

采用简单的两层部署进行安装，安装拓扑如下图所示：

Host1环境如下：

(1)硬件环境

CPU：Inetel Core Duo P8600

内存：4GB

(2)软件环境

操作系统：Windows Server 2003 EE SP2

C++编译器：Microsoft Visual Studio .NET 2008 Express Edition C++

1.1.2安装

参考文档：《Planning, Installation, and Configuration Guide.pdf》[pages 198-200]

1.1.3C++编译器配置

参考链接：

https://www.360docs.net/doc/782831906.html,/infocenter/iisinfsv/v8r5/index.jsp?topi

c=/com.ibm.swg.im.iis.productization.iisinfsv.install.doc/topics/wsis inst_set_envars_cpp.html

(1)支持的C++编译器，见如下链接的系统要求说明：

https://www.360docs.net/doc/782831906.html,/support/docview.wss?rs=14&uid=swg27016382

1.1.4登陆与安装语言选择

登陆（会话）语言选择中文，DataStage安装语言选择英文，结果Designer里同时有中文和英文，而DB2和WAS都是中文版，如何安装纯英文版的？

解决方法1：

登陆语言选择和安装语言全部选择英文即可安装上纯英文版。

解决方法2：

通过控制面板->区域和语言选项，将语言设置为英语，安装完成后将语言再修改为中文即可。

1.1.5新建用户与凭证（Credentials）

参考文档：《Day 1 Exercise-DS.doc》[Exercise 1: Administration Console] (1)通过Web浏览器登陆Web Console for IBM Information Server，地址如下

（localhost为server端主机名）：

http://localhost:9080/ibm/iis/console/loginForm.jsp?displayForm=true (2)新建两个用户dsadmin和dsuser，如下图：

权限设置如下：

dsadmin：Suite User、DataStage and QualityStage Administrator/User dsadmin：Suite User、DataStage and QualityStage User

dsadmin 可以正常使用，但dsuser 只能登陆 Administrator，登陆Designer

和Director会报错：

The current user does not have the required DataStage roles set up. 为什么？

解决方法1：

直接给dsuser同时授予Suite User、DataStage and QualityStage Administrator/User权限。

解决方法2：

以dsadmin登陆Administrator中，在Properties->Permissions中将dsuser 新增进来，并将其 User Role 设置为 Developer 即可。

1.1.6使用客户端连接服务端

在host文件（C:\WINDOWS\system32\drivers\etc下）里新增服务端主机的IP 地址和主机名：

hostip hostname

如：10.66.0.41 jactop

1.2环境变量（Environment Variable）与作业参数（Job Parameter）

1.2.1如何设置环境变量

参考文档：《DS SE - DS Overview.ppt》 [pages 21-25]

1.2.2参数及参数集（Parameter Set）

(1)创建参数集（Parameter Set）

New->Other-> Parameter Set

(2)可以引用环境变量。

(3)参数集可以导入导出，而且参数集中参数值更新后，相应的Job中引用值会

自动更新。

1.2.3Parallel Job中如何使用 Project 的 Environment Variable

(1)在 Project Properties 中设定 Environment Variables；

(2)在 Job Properties 的 Parameters 选项卡中 Add Environment Variable

即可。也可以先新建Parameter Set，在Parameter Set定义中引用Environment Variable，然后Job引用Parameter Set。

注意：当在Project中修改了Environment Variable的类型/默认值，引用该Environment Variable的参数（集）中的相应参数的类型/默认值不会随之改变，只能重新引用该Environment Variable。

1.2.4Tips and Problems

(1)User Defined 类型只能是 String 和 Encrypted（用于存储密码等保密信

息）。

(2)APT_DUMP_SCORE环境变量，可以在Project或Job属性里设置，不一致时，

以Job里的设置为准。

(3)如何在使用当前日期、当前时间等变量值，便于其他Parallel Job执行时调

用？

解决方法：

调用DS Macro或者使用Transformer中的Date&Time Functions

DS Macro Name Description Note DSHostName 引擎主机名

DSJobController

DSJobInvocationId

DSJobName 作业名

DSJobStartDate 作业开始日期，即当前

日期

格式：YYYY-MM-DD

DSJobStartTime 作业开始时间，即当前

时间

格式：HH:MM:SS

24H

DSJobStartTimestamp 作业开始时间戳，即当

前时间戳

格式：YYYY-MM-DD

HH:MM:SS

DSJobWaveNo

DSProjectName 工程名

(4)全局参数尽量使用Parameter Set来实现，因为Parameter Set支持导入导

出。

2.Parallel Processing

2.1Partitioning & Collecting Data

参考文档：《DS SE - DS Course.ppt》 [pages 77-89]

数据分区（分发）/收集类型

2.1.1Round Robin

以逐条循环分配的形式将所有数据平均分发给每个node，每个node只得到部分数据。

保证每个节点处理数量相当的数据，从而使得每个节点负载均衡。

2.1.2Hash

通过Hash算法，将指定Key(s)的Hash值相同的数据分发到同一个node上，这样就可以保证可以多个node同时执行如 Join这样的操作时可以保证数据正确。注意：Aggregator/Join Stage 的分区类型最好手动选择为 Hash。

2.1.3Entire

以复制的形式使得每个node得到完整的数据。

2.1.4Tips and Problems

(1)需要Key的分区方法：Hash/Range/Modulus

(2)收集数据时的Sort Merge，前提是各个分区数据已经排序。

2.2Configuration Files

参考文档：《DS SE - DS Course.ppt》 [pages 17-19, 32-40]

本机采用安装默认设置，2个节点，如下图：

注：通常情况下，node数:CPU数 <= 2:1

3.RCP(Runtime Column Propagation)

3.1什么是 RCP

(1)允许开发者忽略源数据和目标数据映射的有力特性。

(2)在运行时 (并非设计时)，RCP会自动将源数据所有字段自动映射到目标数

据。

(3)比如：需要从数据库表中读200个字段，而数据处理业务逻辑只需要用到其

中的2个字段，那么在Job设计的过程中，只需要映射这2个字段，剩余的字段将由RCP来处理。

3.2如何使用RCP

(1)设置Project属性

登陆Administrator Client，编辑Project Properties，勾选上如下图红色边框标注的复选框，点击“OK”确定即可。

Enable Runtime Column Propagation for new links 有何作用？

(2)在Parallel Job 设计中设置

在数据源Stage Properties->Output->Columns定义的左下角勾选上 Runtime Column Propagation 复选框，如果不需要使用RCP，则取消勾选即可。

如下图（以 Oracle Enterprise Stage 为例）：

4.Import & Export

4.1Job Design

如何将Job Design 文件（.dsx）导入到操作系统语言不同的Server上：

使用文本编辑器打开 .dsx 文件，将文件第二行CharacterSet的值修改为目标Server的字符集名称即可。

如：从操作系统语言为英文的 Server 上的 Job 导出后，其CharacterSet值如下图

如果要导入到操作系统语言为简体中文的 Server 上，将CharacterSet值修改为“CP936”即可，即

4.2Table Definition

(1)Import -> Table Definitions -> Plug-in Meta Data Definitions

可批量导入所选Schema下多个表的定义。

(2)Oracle 数据类型 Number(6)，导入到Table Definition中为 Decimal(6) ，

但是Load到Columns定义中会转换为Integer。

5.Processing Stage

5.1Copy Stage

5.1.1Tips and Problems

(1)一个 Job 中要两次用到同一张大表是否可以使用Copy Stage，对性能影响

不大，只是消耗内存。

(2)当在一个Job中一个数据流可能需要复制分流时，使用Copy Stage，即使暂

时不用也可以先加上一个Copy Stage，便于后续开发。

(3)可以没有输出，作为断点（相当于Peek Stage）。

5.2Filter Stage

5.2.1Tips and Problems

(1)Where Clause不支持取子串操作。

5.3Aggregator Stage

5.3.1Tips and Problems

(1)Max/Min/Mean/Sum等聚合默认将输入字段类型转换为数值型后再进行聚合

计算，输出的字段默认为Double型。如果要对字符型字段作Max/Min聚合计算，应新增Preserve Type属性，并将其值设置为True，然后再在Output 中映射字段，则输出字段类型默认与输入一致（即仍为字符型）。

5.4Transformer Stage

5.4.1运算符

(1)取子串（相当于Oracle里substr）

String[pos_start, pos_end]

5.4.2常用函数

(1)

5.4.3Tips and Problems

(1)新增新的一列，其值为一个固定参数值/表达式，只能用 Transformer

Stage ？

是。固定参数值可以使用Column Generator Stage生成。

(2)Derivation 中除运算，若被除数为 0 时如何处理？

会自动置为 null 。

(3)Stage Variable定义变量时可以引用已经定义的变量。

(4)如何实现如下语句

substr(order_nu,1,1) in ('M','X','S','O','N','L','T','I','K')

5.5Oracle Enterprise Stage

5.5.1使用环境配置

参考链接：

https://www.360docs.net/doc/782831906.html,/infocenter/iisinfsv/v8r0/index.jsp?topi c=/com.ibm.swg.im.iis.productization.iisinfsv.install.doc/tasks/wsisi nst_config_pe_ora_sysadm.html

(1)安装 Oracle Administrator Client

5.5.2读数据

Read Method

Whether to read directly from a table or use a query. Selecting SQL builder generated will allow the SQL query to be generated using the DataStage graphical SQL builder.

Read Mode 选择Table 时，需要的字段在Columns中定义即可，无需使用Select List。

不涉及要使用相应函数（如DECODE、NVL等）对字段进行预处理时尽量使用Table 方式，便于增删字段，因为无论是Table还是SQL query的方式都需要定义Columns。

5.5.3写数据

Write Method

Load uses fast Oracle loader technology;

Upsert uses an INSERT or an UPDATE SQL statement;

Delete Rows uses a DELETE SQL statement.

5.5.3.1Load

Write Mode

(1)Append to existing table;

注意：在Append Mode中，使用Open/Close Command Option时，该Command 会在所有的节点上执行，详见Options中说明。

(2)Create new table;

(3)Replace by dropping table and creating new;

(4)Truncate table records only.

示例：DS_IM_BM3_04

5.5.3.2Upsert

示例：DS_IM_BM3_01

需要在Columns中定义Key(s)

注意：Columns中定义Key(s) 如果并不是数据库中的 Key(s) ，那么当Upsert Order 为 Insert then Update时， Key(s) 重复的数据仍然是可以插入的？是，可以。

5.5.3.3Delete Rows

5.5.4几个应用场景

(1)应用场景1

写入逻辑，通过DATE_CODE，将目标表DATE_CODE为’20110702’的数据删除，然后将数据流插入目标表即可。

如何是使用 Oracle Enterprise Stage 实现？

(2)应用场景2

写入逻辑：将数据流数据插入目标表，但是已经存在的数据则不写入。

使用 Oracle Enterprise Stage 实现：

Write Method:Upsert

Upsert Order:Update then Insert

Upsert Mode:先选择Auto-generated Update & Insert，设置好Table以及Column，然后改为 User-defined Update & Insert

修改 Update SQL 使用 Auto-generated Update & Insert 无法自动生成正确的Update SQL（因为只有一个Key Column）。

5.5.5Tips and Problems

(1)插入数据时，报错：

Connect failed: Oracle client version 10 is NOT supported.

安装补丁包。

参考连接：

(2)读写同一张表时，报错：

ORA-00054: resource busy and acquire with NOWAIT specified

原因：同一个Job不可以读写同一张表。

(3)写入数据时，数据分区模式选择Hash。

5.6Merge Stage

5.6.1Tips and Problems

(1)

5.7Funnel Stage

相当于数据库中的 Union All，如果要实现数据库中 Union 功能，可以先使用Funnel Stage ，再使用 Remove Duplicates Stage 来实现。

5.8Change Capture Stage

相当于Oracle/DB2中的Merge

5.9Sort Stage

5.9.1Peek Stage

(1)Allow Duplicates = false ，不可以指定保留那一条；而用Remove

Duplicates Stage 可以指定保留第一条/最后一条。

(2)

6.STP Stage

6.1.1Tips and Problems

(1)调用需要输入参数的存储过程必须是Transform类型？参数必须通过Input

Link 传入？

是，可以使用Column Generator Stage生成。

7.Development/Debug Stage

7.1.1Peek Stage

(1)调试时可用于观察数据流

(2)可以有输出Link，相当于一个空操作。

8.File Stage

8.1Sequencial File Stage

(1)读取顺序文件时，可以用一个长度为varchar(9999)的字段将整条记录读进

内存，而后再进行划分，这种方法对于定长的顺序文件尤佳。

(2)Number of Readers per Node 1-4

8.2Data Set Stage

(1)Job中数据落地尽量使用DataSet文件，因为：Data Set 是 DataStage 内

部格式；Binary 文件，加载更快；支持分区，可串行读写。

(2)读取不同的配置文件运行Job生成的DataSet前要使用Round Robin进行重

新分区。

9.技巧

9.1取分组内第一行/最后一行的两种方法

(1)Transformer Stage

@lastrow

(2)Sort Stage -> Remove Duplicate Stage

示例：DS_IM_BM3_02

9.2其他

(1)目录名不能有空格

(2)同一个 Parallel Job 中读写同一张表是否会有异常？有何要注意的地方？不允许，会导致作业出错。

(3)可以通过拷贝已经定义好的Stage来新插入一个Stage，然后进行编辑，以

提高开发效率。

(4)Job 被锁住如何解锁？

首先退出各个客户端；然后，登陆IS Web Console，在Active Sessions中找到相应的会话，选中并点击右侧的Disconnect。

(5)一个Player 意外终止后，进程中还可看到很多osh.exe ，如何结束？是否

需要重启DS 服务器？如何操作？

操作系统会自动回收相应的进程资源。

(6)Wait for File

当所需文件创建后（即使文件尚未写入完成），后续的作业就会启动，所以应该增加一个控制文件（当所需文件写入完成后新建）

(7)尽量少用Transformer Stage

(8)Job 重命名后，该Job之前的执行日志就无法查看了？

是的。