DataStage BASIC 语言开发实践

本文着重介绍了如何使用 DataStage BASIC 语言开发一个用户自定义的功能函数，并且以一个完整的 Server Job 实例为读者讲解在 Transformer Stage 中如何使用内置的和自定义的函数来转化数据。文章的最后介绍了如何重用自定义的功能函数。读者定位为具有一定 DataStage 使用经验的开发人员。

DataStage 概述

IBM WebSphere DataStage是一个图形化的进行数据整合的开发环境，可以用来实现数据抽取，转化，净化，加载到目标数据库或者数据仓库中, 即ETL过程(Extract, Transform, Cleansing, Load）。DataStage使用Stage实现对数据的操作。在整个操作数据的过程中，需要创建从不同的数据源抽取数据的Stage，以及用来转化和净化数据的Stage，还需要一些Stage将数据加载到目标数据库中，一个ETL job就是一些被连线连接在一起的Stages，数据则是从一个Stage 流向下一个Stage。关于DataStage的基本使用方法，读者可以参考发表在developWorks中国网站上的《用 IBM WebSphere DataStage 进行数据整合》系列文章。

回页首

Transformer Stage 介绍

在数据整合的整个过程中，很重要的一步就是对抽取数据的格式或者内容进行必要的转化。用户可以在Transformer Stage中，对传入的数据进行任何必要的处理，再把处理好的数据传给下一个Stage。

图1就是一个正在被编辑的Transformer Stage，窗口的上半部分显示了输入与输出的字段之间的对应关系，其中DSLink13是输入的连线名称，DSLink4是输出的连线名称。而窗口下半部分详细说明了每一个输入或者输出字段的定义。

图1.一个Transformer Stage的实例

如果仅仅是把输入与输出的字段对应起来，那并不能体现出Transformer Stage 的作用。实际上，用户可以通过编辑输出字段的derivation区域的值，对输入字段的值进行修改，使其结果可以满足输出字段的要求。用户只需要双击某个字段的derivation区域（图1中的红色区域）就可以对其进行编辑。这时，再点击右键即可出现一个菜单以便用户选择DataStage 内置的或者用户自定义的功能函数的分类。当用户选择了其中的一种类型，就会弹出另一个窗口展示出DataStage中此种类型中的所有内容，如图2所示。

图2. DataStage中各种用于数据转化的功能函数

用户选中某一个函数之后，再把输入字段的名称作为这个函数的输入变量，就可以完成这个编辑的任务。图3就是编辑好的结果。

图3. 编辑后的输出字段的derivation区域

此处选用的DIGITS(Arg1)函数的功能是，去除掉输入字符串中包含的数字，只返回字符串中的所有字符。譬如DIGITS("abc123def") 的返回结果为"abcdef "。

回页首

DataStage BASIC语言

开发人员一般都会有过这样的经历：一个功能强大的软件往往内置了丰富的功能函数，可以满足用户大部分的需要。但是在实际应用中，用户还是需要根据实际需求开发一些自定义的功能函数，这也就要求软件提供相应的方法使得用户能够进行二次开发和定制，从而扩展平台的功能。DataStage不仅有很多内置的功能函数，而且提供了相应的机制，可以让用户自己开发所需功能的函数。

在DataStage中，大多数自定义的函数需要使用DataStage BASIC语言进行开发。DataStage BASIC语言是一种可以运行在DataStage平台上，功能强大的面向过程的开发语言。而且，这种语言对于初学者很容易入门，并能满足经验丰富的开发人员的开发需要。值得注意的是，尽管很多编程语言在定义变量的时候就严格区分了变量的类型，但是在DataStage BASIC中情况却有所不同。DataStage BASIC是一种弱类型(weak typing)的编程语言，一个变量在定义时不必声明其类型，而是统一被当作字符串保存起来，也不会因此而发生编译错误。只有在程序的执行期， DataStage才根据上下文关系来确定变量的类型

下面将用一个实际开发的例子，给读者介绍一下如何使用DataStage BASIC语言开发一个自定义的功能函数。本文中如果没有特殊说明，当提到BASIC语言时，均是指DataStage BASIC语言。

本文中自定义函数的功能是这样的：

这个函数有三个输入的变量OriStr, Delmt, BitValue和一个输出变量Ans。

其中OriStr的值是一个字符串，其中包含了由分隔符分隔开的若干个子串。比如："light_01,light_02,light_03"就是由分号分隔的三个子串组成的。

Delmt是用户指定的分隔符，其缺省值为分号，也可以是任意字符。

BitValue的值是一个非负的整数。

Ans的值也是一个字符串。

整个函数的流程是这样的，首先对输入变量OriStr和BitValue进行验证。如果它们的值不满足要求，则离开函数；如果满足要求，就把 BitValue转化为二进制的数。这个二进制的数的每一位分别对应于OriStr中的每个子串。当子串所对应的数值为"1"时，这个子串就被添加到输出字符串中。反之，那些对应的数值为"0"的子串就不会出现在输入字符串中。那些被选出来的子串由逗号分隔，组成了输出字符串。

举例来说，当OriStr ="light_01,light_02,light_03"，BitValue = 6的时候，把BitValue转化为二进制的数"110"，把这个二进制数的每一位和每个子串的一一对应起来，如下表所示。

前两个子串"light_01"和"light_02"所对应的值都是"1"，所以被添加到输出字符串中；而第三个子串"light_03"对应的值为"0"，就不会被添加到输出字符串中。因此，这个例子的结果就是"light_01,light_02"。

具体的开发步骤如下：

1. 打开DataStage Designer或者DataStage Manager，在左边的Repository View（图4）中用户可以看到保存在DataStage Server中所有资源。

图4. Repository View

2. 选中Routines，然后点击右键选择New Category。在弹出的窗口中填写Customized，之后点击确定。这样就创建了一个新的分类，后面新建的routine 就保存在这个分类之中。

3. 再次选中Routines，然后点击右键选择New Server Routine。在Server Routine的编辑窗口中，在Routine Name一栏中填写自定义函数的名字，在Type 下拉框中选择Transform Function，在Category一项中选择刚创建的Customized。Short Description和Long Description分别是函数功能的简单和具体描述，内容可以介绍每个输入变量的含义，也可以使用具体的例子为用户展示函数功能。图5就是内容填写完成的General标签页面。

图5. New Server Routine编辑窗口中General标签页面

4．在Creator标签页填写作者和公司名称等版权信息，如图6所示。

图6. New Server Routine编辑窗口中Creator标签页面

5. 在Arguments标签页中定义这个函数的输入变量的名称，以及对每个变量的描述，如图7所示。

图7. New Server Routine编辑窗口中Arguments标签页面

6．Code标签页，就是真正编写这个函数的BASIC代码的地方。

图8. New Server Routine编辑窗口中Code标签页面

该函数的完整代码可以在参考资料中找到，下载后读者可以使用各种常用的文本编辑器打开阅读。

由于篇幅有限，下面针对这段BASIC程序中使用到的一些语法做一下解释说明。

本文中使用到的是BASIC语言中最基本最经常使用的语法知识，更多的语法和函

数功能介绍请阅读参考资料。

(1). BASIC语言有四种符号用来标记注释，分别是REM，*，! ，$*。例如，

*Initial. Validate the input parameters.

这一行以"*"星号开头，就表示这一行内容是程序的注释。

(2). 条件判断语句，其语法结构如下：

If condition

Then statements

End

[Else statements

End]

其中condition可以是一个数字，也可以是一个比较关系式。当条件为真时，程

序执行Then后面的表达式；当条件为假时，则会执行Else后面的表达式。在

Basic语言中，逻辑关系运算符是这样的：

?AND (或者符号 &)，表示逻辑与的关系。

?OR (或者 !)，表示逻辑或的关系。

?NOT，表示逻辑非的关系。

例如：

If bitCount > arrCnt Then

Ans="error bitValue: " : bitCount :".Its value is too large."

Call DSLogWarn(Ans,"TransBitMask")

GoTo ExitFunc

End

由BitValue转化而来的二进制数的位数大于子串的个数时，就在日志信

息中告诉用户BitValue的值和OriStr的值是不可能一一对应的，输入的

数据有错误。

If BitValue >= 0 AND Count(BitValue, ".")=0 Then

mask=Oconv(BitValue, "MB")

End Else

Ans="error bitValue:" : BitValue

Call DSLogWarn(Ans,"TransBitMask")

GoTo ExitFunc

End

当输入变量BitValue的值大于零且不是小数的时候，就把它转化为二进

制的数；否则为用户提出警告信息并且离开这个函数。

(3). 使用BASIC自带的一些功能函数。

Oconv(expression, conversion)

其中expression表示一个字符串，conversion则表示这个字符串的输出格式。Oconv("10", "MB")的功能是把十进制数"10"，转化为二进制数"1010"；而Oconv("10", "MD1")的功能是把十进制数"10"的小数点左移一位，转化为"1.0"。DSLogInfo (Message, CallingProgName)和DSLogWarn (Message, CallingProgName) 的功能十分相似，都是在执行Server Job的时候，输入一些必要的日志信息，帮助用户了解程序的执行情况。其中Message为输出的日志信息的内容，CallingProgName就是调用这个函数的程序名。区别在于DSLogInfo 输出的仅仅是普通的日志信息，而DSLogWarn则是输出一些警告的信息给用户。

Ans="OriStr is blank, maybe there is no lights in this room"

Call DSLogWarn(Ans,"TransBitMask")

Call DSLogInfo("OriStr:" : OriStr : " is valid","TransBitMask")

(4). 两种循环条件语句

a). For…Next语句，其基本语法如下：

For variable = start To end [Step increment]

[loop.statements]

Next [variable]

其中start To end定义了变量变化的区间；而increment定义了每次变量增加的值，当start的值大于end的值，increment的值可以是负数。

For num = 1 To arrCnt - bitCount

mask = "0" : mask

Next num

如果二进制数的位数小于子串的个数，则在二进制数 mask的前面补上"0"。比如，OriStr中有三个子串"light_01,light_02,light_03"，BitValue的值为2，把十进制的数"2"转化为二进制的数"10"。这时，二进制数的位数小于子串的个数，就需要在二进制数前面补上"0"，使其变成"010"才能和三个子串一一对应起来。

b). Loop…Repeat语句，其基本语法如下：

Loop

[statements]

[While | Until condition Do]

[statements]

Repeat

其中，Loop定义了循环的开始，Repeat定义了循环的结束。

While condition Do 的含义是，当条件为真的时候执行循环体中的代码。当条件为假的时候，退出循环。 Until condition Do 的含义正好相反，当条件为假的时候执行循环体中的代码。当条件为真的时候则退出循环。

pos = 1

start = 1

Ans=""

Loop

While pos <= arrCnt Do

idx = Index(proStr,separator,pos)

If mask[pos,1] = "1" Then

subStr = proStr[start,idx - start]

subStr=trim(subStr)

*make sure every substring matches the specified pattern If subStr match "5A" : "_" : "2N" Then

Ans=Ans:",":subStr

End Else

Ans="error substring:" : subStr:".It does not match the pattern."

Call DSLogWarn(Ans,"TransBitMask")

GoTo ExitFunc

End

End

start = idx+1

pos+=1

Repeat

这段代码的功能是从输入的字符串中把每一个子串分离出来，然后判断每一个子串对应的二进制数中的值是否为"1"。如果其对应的数是"0"，就直接进行下一个循环去处理下一个子串。如果其对应的数是"1"则继续判断这个子串是否符合命名的规则，如果符合就把子串添加到输出字符串中；如果不符合规则就在日志信息中提示用户输入的字符串有错误，之后跳出循环。

在循环语句中可以使用两个用来控制循环的关键字Continue和Exit：Continue 用来结束本次循环，进行下一次循环；而Exit的功能是退出当前循环。

(5). 一些BASIC语言中处理字符串的函数。

?使用冒号"："作为字符串连接的符号。

例如："5A" : "_" : "2N" 等价于字符串 "5A_2N"

?使用中括号[ ]来取出某个字符串的子串，其语法如下：

expression [ [ start, ] length ]

例如：strA="abcdef ", 那么strA[1,3]的意思就是从序号为1的字符开始，一共取出三个字符，其结果就是"abc"。BASIC语言中数组或者字符

串的第一个元素的序号是1。

?Count (string, substring)用来计算字符串中的某个子串出现的次数。

例如：计算字符串"abacab"中的子串"ab"出现的次数，arrCnt =

Count("abacab", "ab")，那么arrCnt就等于2。

?Len (string) 用来计算字符串中包含的字符的个数。

例如：Len("abc")的值就是3。

?TRIMF (string) 用来删掉字符串首部的空格。

TRIMB (string) 用来删掉字符串尾部的空格。

例如，字符串strA=" abc "，其首尾各有多个空格。经过strA= TRIMF (strA)和strA= TRIMB (strA)这样的处理就可以除掉字符串首尾的所有空格了，其结果是"abc"。

?Index (string, substring, instance) 用来得到字符串中的某个子串的位置。其中instance表示这个子串是在整个字符串中是第几次出现。

例如：字符串为"abacab"，要计算子串"ab"第二次出现在字符串中的位置。

Index ("abacab", "ab", 2 )的结果就是5。

(6). 读者看到代码中的这一行subStr match "5A" : "_" : "2N"，也许会觉得迷惑，下面就重点讲解一下BASIC语言中的模式匹配规则(Pattern Matching)。

"5A" : "_" : "2N"模式就是限制字符串只能包含八个字符，并且前五个字符必须是字母，第六个字符是下划线"_"，最后两个字符必须是数字。字符串"abcde_01"能匹配上这种模式，而字符串"abcde_012"或者"abcd_01"都不满足这种格式要求。

如果规则变成"5A" : "_" : "~2N"，这个模式就是限制字符串的前五个字符必须是字母，第六个字符是下划线"_"，而最后两个字符必须是非数字的字符，例如："abcde_mm" 能和这个规则匹配上。这时，字符串"abcde_01"不再符合新规则的要求，字符串"abcde_9a"也不能满足要求。

7．对编写好的代码进行编译。用户只需要点击图8中的编译(Compile)按钮即可，编译的结果出现在New Server Routine编辑窗口中Code标签页面的下部区域内。使用编译器对程序进行编译不仅可以帮助用户检查程序中潜在的语法错误，更重要的是，编译成功后的源代码将转化为可执行的对象代码(object code)。

8．单元测试编译后的代码。

用户点击图8中的测试(Test)按钮，DataStage弹出一个测试窗口。在窗口中填写输入变量的数据，然后点击"Run"按钮即可对这个函数的功能进行测试，输出结果出现在"Result"字段里。在这个测试窗口中，用户还可以通过点击"Run All"按钮同时执行多组测试数据（如图9所示）。

图9. DataStage中Routine的测试窗口

通过了单元测试，这个自定义函数就开发完成了。下一部分将为读者介绍在DataStage Server Job中如何使用这个函数对数据进行转化。

回页首

自定义函数的使用

下面将用一个完整的实例来讲解如何在Transform Stage中使用DataStage内置的和用户自定义的Routine来实现数据转化。这个实例将分别从DB2数据库和文本文件读取数据，再对抽取的数据进行格式或者内容的转化后，将其插入到另一个用于存档的DB2数据库中。

创建Server Job的具体步骤如下：

步骤一：在一个名为ASSET的数据库中创建如下两个表SODS1.DUTYRESULT 和SODS2.ROOMS，并在表中插入数据：

DROP TABLE SODS1.DUTYRESULT

CREATE TABLE SODS1.DUTYRESULT

(

DUTYPERSON VARCHAR(30) NOT NULL,

DUTYTIME TIMESTAMP NOT NULL,

ROOM_NAME VARCHAR(35) NOT NULL,

LIGHTSTATUS INT NOT NULL,

ADD_DATE TIMESTAMP,

ADD_BY_USER_NAME CHARACTER(30)

)

@

这个表的数据记录了每次值班人员检查室内日光灯开关状态的结果。DUTYPERSON 和DUTYTIME分别代表了值班人员的名称和值勤时间； ROOM_NAME和LIGHTSTATUS 代表被检查到的房间号和日光灯照明的状况；ADD_DATE和ADD_BY_USER_NAME则是在表中添加该记录的人员名称和添加时间。

DROP TABLE SODS2.ROOMS

@

CREATE TABLE SODS2.ROOMS

(

ROOM_NAME VARCHAR(35) NOT NULL,

LIGHTLIST VARCHAR(255) NOT NULL,

ADD_DATE TIMESTAMP,

ADD_BY_USER_NAME CHARACTER(12)

)

@

ALTER TABLE SODS2.ROOMS

ADD CONSTRAINT ROOMS_PK

PRIMARY KEY (ROOM_NAME)

@

这个表中记录了每个房间内安装的所有日光灯的名称列表。ROOM_NAME是房间的名称，也是这个表的主键。LIGHTLIST是该房间内安装的日光灯的名称列表。ADD_DATE和ADD_BY_USER_NAME则是在表中添加该记录的人员名称和添加时间。

在一个名为ASSTARCH的数据库中创建表SODS2.DUTYRESULT：

DROP TABLE SODS2.DUTYRESULT

@

CREATE TABLE SODS2.DUTYRESULT

REC_ID BIGINT GENERATED ALWAYS

AS IDENTITY( START WITH 1,INCREMENT BY 1,CACHE 20 ),

DUTYPERSON VARCHAR(30) NOT NULL,

DUTYTIME TIMESTAMP NOT NULL,

ROOM_NAME VARCHAR(35) NOT NULL,

ONLIGHT VARCHAR(255) NOT NULL,

ADD_DATE TIMESTAMP,

ADD_BY_USER_NAME CHARACTER(30)

)

@

ALTER TABLE SODS2.DUTYRESULT

ADD CONSTRAINT DUTYRESULT_PK

PRIMARY KEY (REC_ID)

@

这个表中的数据是归档信息，记录了值班人员检查到的每个房间开着的日光灯列表。REC_ID是表中记录的标号，是由数据库自动生成的。这个编号由1 开始，每条记录的编号增加1，因此每个编号都是唯一的，REC_ID就是这个表的主键。DUTYPERSON和DUTYTIME分别代表了值班人员的名称和值勤时间；ROOM_NAME

和ONLIGHT代表被检查到的房间号和打开状态的日光灯列表；ADD_DATE和

ADD_BY_USER_NAME则是在表中添加该记录的人员名称和添加时间。

步骤二：准备好所需的数据之后，打开DataStage Designer，创建一个名为assetArch的Server Job。之后，在Repository View中选择Table Definitions，点击右键后出现的菜单中选择Import'Plug-in Meta Data Definitions，再在弹出的数据库类型列表窗口中选择DSDB2，这样就可以引入DB2类型数据库中的表的定义了。用这样的方法分别引入 ASSET数据库中表SODS1.DUTYRESULT的定义以及ASSTARCH数据库中表SODS2.DUTYRESULT的定义。

DataStage中表的定义(Table Definitions)详细说明了每一个Stage中用到的数据的类型，而Stage中用到的数据不一定仅仅来源于数据库中的一个表，因此每一个 Stage中装载进来的(load)的表的定义也并不一定等于数据库中某个表的定义。本例中抽取的数据来源于两个表，因此并不是直接使用引入的表SODS1.DUTYRESULT的定义，而是要对其进行一些修改。在Table Definition目录下找到这个表的定义，双击它即可弹出编辑窗口。在Columns标签页中添加一行字段的定义，字段名为"LIGHTLIST"，类型为Varchar(255)，不可为空值，如图10所示。后面读者马上将会看到新添字段的值来源于ASSET数据库中的另一个表 SODS2.ROOMS。再有，因为表SODS2.DUTYRESULT的第一个字段REC_ID

是数据库自动生成的，不需要为这个字段指定插入的数据，所以要从装载进来的表定义中删掉这一列。

图10. 表定义的编辑窗口

步骤三：在Server Job的编辑窗口内，添加两个DB2 Stage分别用来从DB2数据库抽取数据，以及把处理过的数据保存到DB2数据库中；两个Transformer Stage用来对抽取的数据进行必要的处理；还有一个Sequential File Stage用来从一个纯文本的文件中读取数据。然后，按照数据流动的方向把它们用连线连接起来，如图11。

图11. 本文创建的Server Job的结构

步骤四：编辑名为Asset的DB2 Stage，使它连接到名为ASSET的数据库上，并且在这个Stage的Output的标签页中装载进来刚才修改过的表

SODS1.DUTYRESULT的定义，在SQL子标签页中自定义查询数据的语句(如图12)。从自定义的SQL查询语句可以看出这个Stage中的数据来源于ASSET数据库的

两个表，刚才在表SODS1.DUTYRESULT的定义中添加的字段"LIGHTLIST"来源于表SODS2.ROOMS，这也是刚才修改表定义的原因。

图12. 在DB2 Stage中自定义查询数据的语句

步骤五：在编辑名为Asset_Data_File的Sequential File Stage之前，要先在Table Definitions中引入这个Stage读取的数据文件assetData.csv的结构。assetData.csv是一个纯文本文件，其中的数据如图13所示，所以引入的表的定义中每个字段都是varchar类型的。

图13. assetData.csv文件中的数据

现在可以编辑名为Asset_Data_File的Sequential File Stage了，在Outputs 标签页中指定assetData.csv所在路径，并且装载进来这个文本文件的表定义。

步骤六：编辑名为AssetArch的DB2 Stage，使它连接到名为ASSTARCH的数据库上。然后为输入这个Stage的两条路径指定目标表的名称SODS2.DUTYRESULT，并装载进来这个表的定义。

步骤七：编辑名为Transformer_1的Transformer Stage。大多数输入和输出的字段可一一对应起来，就象图14所示。

图14. 编辑中的Transformer Stage，大多数输入和输出的字段可一一对应起

来

从上图可以看到输出的字段ONLIGHT不能直接和左边输入的字段对应起来，而且此处就需要应用前面自定义的Routine对输入的数据进行转化。首先双击字段ONLIGHT的Derivation区域对其进行编辑，再点击右键，在弹出的菜单中选择DS Routine。这时，DataStage中保存的所有routine都被展示出来。从中选取新创建的routine TransBitMask( )，再分别把输入的字段DSLink4.LIGHTLIST 和DSLink4.LIGHTSTATUS作为这个函数的第一个和第三个输入变量。此处把TransBitMask( )的第二个输入变量设置为空串即可，因为当这个变量为空串时，函数就会使用缺省值分号作为分隔符。所有的输入字段和输出字段就这样被关联起来了，如图15 所示。

图15. Transformer Stage中输入和输出的字段被关连起来

步骤八：编辑名为Transformer_10的Transformer Stage，它用来对文本文件中的数据进行转化，保证这些数据能被正确的插入目标表中。如图13所示，文

本文件每一条数据中的两个日期都是格式为 DATE.TAG(具体来说就是

YYYY-MM-DD格式)的字符串，因此需要把这两个输入字段的Data Element的值设定为DATE.TAG。然后编辑对应的输出字段的Derivation，先使用DataStage 内置的TAG.TO.DATE() 函数把输入值的类型从DATE.TAG格式的字符串转化为DataStage内部的数字格式，再使用Timestamp()函数把数字格式的日期值转化为 DB2可以识别的Timestamp类型，如图16所示。

图16. 可以在Transformer Stage中对输入的数据的格式进行转化

经过上面的八个步骤就完成了整个Server Job的编辑工作，对它进行编译后就可以运行这个Server Job了。

回页首

运行并验证Server Job

运行之前，连接到名为asset的数据库，检查一下数据库中现有的数据状况。

select a.dutyperson,

a.dutytime,

a.room_name,

b.lightlist,

a.lightstatus,

a.add_date,

a.add_by_user_name

from sods1.dutyresult a , sods2.rooms b where a.room_name = b.room_name