DATASTAGE的介绍及基本操作
Datastage学习总结
Datastage学习总结Datastage学习总结1Datastage介绍1.1产品概述DataStage企业版是Ascential Software公司所有企业整合系列产品中关键产品。
企业版⽀持⼤容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。
基于⾼可扩展性的软件架购，企业版使得企业能够通过⾼性能来解决⼤部分业务问题，并⾏处理⼤容量数据。
强⼤的企业元数据管理能⼒使得可以在数据整合⽣命周期中在所有⼯具中共享和使⽤⼯具。
DataStage企业版发布了四个核⼼功能来成功实施企业数据整合：1)先进的开发和简单化的维护；2)企业级别的开发、监测和管理；3)在吞吐量和性能⽅⾯提供了⽆限制的⾼扩展的体系架构；4)端对端的企业级元数据管理。
DataStage企业版提供了全⾯的功能去最优化⽤户在建⽴、升级和管理数据整合架构时的速度、灵活性和效率。
DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使⽤，减少了数据整合应⽤的开发和维护周期。
结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应⽤，更多的时间是不断的从中受益。
1.2基础架构1.3客户档介绍⽤户通过各个客户端⼯具访问DataStage企业版的开发、配置和维护功能。
这些⼯具包括：Designer：⽤来建⽴和编辑DataStage作业和表的定义。
Designer 中的“Job Sequencer”控制作业的执⾏，其他作业成功完成（或失败，等）的条件。
Administrator：⽤来执⾏管理任务，如建⽴DataStage⽤户、建⽴和删除⼯程并且建⽴清洗标准。
Manager：⽤来编辑管理⽤户⼯程的DataStage资料库。
Director：⽤来验证、时序安排、运⾏和监测企业版作业。
2⽇常操作2.1登录客户端2.1.1登录Datastage Administrator 客户机点击图标选择需要登录的服务器，输⼊⽤户名，密码登录进去后点击项⽬，可进⾏项⽬增加，删除，设置项⽬属性2.1.2登录Datastage Designer客户机点击图标选择需要登录的域，输⼊⽤户名，密码，选择需要登录的项⽬登录成功：2.1.3登录Datastage Director客户机点击图标选择需要登录的域，输⼊⽤户名，密码，选择需要登录的项⽬登录成功：2.2启停服务端以dsadm⽤户进⼊，执⾏以下命令：1) Server启动命令：$HOMEDIR/uv–admin -start注意：启动前,需要查看端⼝是否被释放,通过‘netstat–afinet |grep ds’查看，如果有连接，则需要等待操作系统⾃动释放后在启动服务。
DataStage基本知识
本例对字段做简单运算,根据条件装载到不同表中
53
DataStage实例-表到表
本例中连接数据库仍使用ODBC,每个ODBC Stage连 接Informix中的一张表. 本例中使用一个新的Stage: Transformer(转换) 在设置了各个ODBC Stage之后,我们来看一下 Transformer(转换)的属性
DataStage Administrator（主管）：用于创建 DataStage用户，创建，移动项目。
10
DataStage Administrator（主管）
11
DataStage Administrator（主管）
12
DataStage Designer（设计者）
13
DataStage Manager（管理者）
输入需要导出的列
需要的列
47
DataStage实例-表到文件
查看并修改SQL语句
SQL语句
SQL参考
48
DataStage实例-表到文件
可使用”View data…”按钮查看内容
查看内容
49
DataStage实例-表到文件
指定输出文件
文件路径名称
50
DataStage实例-表到文件
Repository（仓库），包括建造数据集市或数据仓库 所需要的全部信息的中央存储器； DataStage Server（服务器），运行向数据仓库抽 取，转换，导入数据的可执行作业； DataStage Package Installer（包安装，服务端的 安装工具），用来安装包装的DataStage作业和插件 的用户界面。
datastage工具使用总结-suncp
datastage工具使用总结-suncpDatastage工具时间介绍1、如何创建抽取jobA:DB2->DB2例如从数据仓库db2数据库抽取数据到合作伙伴db2数据库。
A:DB2->oracle例如从数据仓库db2数据库抽取数据到合作伙伴db2数据库。
A:oracle->DB2例如从数据仓库db2数据库抽取数据到合作伙伴db2数据库。
2、Db2创建job如何指定---分区键—表空间数据仓库咱们DB2Password=db_prmOracle2.修改partttiongting keyKey名称{tablespace=PRM_TBS_32,key=PRD_INST_ID} {tablespace=PRM_TBS_32,key=PRD_INST_ID}抽取问题：1.不能用create的那汇总错误2.没有权限的错误3.日志满的错误跑存储过程遇到问题:遇到这种情况需要就是加:no logger的原因。
需要把这张表删除，重新建就可以完成。
跑咸阳的存储过程报错：这样在说明的时候插入的数值与要被出入的表的字段对不上：检查：TT_CHN_INST_ID_CDMA_0200中间表字段不对：3、DataStage如何将job设置为定时抽取任务1.进入到平时我们看日志的界面。
左边是我们所有job和所创建的目录，找到我们所要设置的job所在的目录，点击后找到要设置的目标。
2.假如我要对每周做发展量统计的AGG_EVT_ORDER_DETAIL进行定时设置，找到所要设置的目标，选中后点击上图中红圈下目标，或者通过右键选择add to schedule 菜单后会进入如下界面：其中高亮显示的为我们选中的状态，这个界面就很显而易见了，根据我们要设置job定时抽取的逻辑进行设置。
比如发展量统计的逻辑抽取时间是这样的，每月月初5号抽取，接下来按照每周周一进行抽取。
所以我用一个定时任务是无法完成的，我设置两个定时任务：1.每月月初5号抽取2.接下来每周周一抽取红圈选中表示：每月5号，24小时制下，早上9点进行抽取。
经验总结_DataStage
经验总结_DataStage本资料仅供内部使用！经验总结_DataStage2010年09月29日目录1.D A TA S TAGE怎么调用存储过程 (2)2.D A TA S TAGE调度设计 (3)1. DataStage怎么调用存储过程1）打开Desinger2）拉入DB2 Connector控件3）填写参数4）在“Insert statement”属性中输入：call DCDW.SP_ODS2DW_DIRECTOR 5）总体情况如下图：6）编译1）新建“序列作业”2）加入Job Activity控件3）编辑Job Activity控件内容4）调度时间的设置3. DataStage8.5作业日志入库1)原理：新建一个Before/After subroutine，名为RoutineJobInfo，每个JOB运行完后执行一个这个routine，用于将每个job执行完后的相关日志信息写到一个文件里，然后通过一个shell程序runjobinfo将每个job运行的日志信息写入数据表LOG_DATASTAGE中。
每天通过检查LOG_DA TASTAGE表中每个job的状态信息来检查job是否运行失败。
2)步骤第一步，打开Designer 客户机，进入如下界面，找到左边的Routines目录第二步第三步RoutineJobInfo_code.txt 第四步第五步输入参数0;/dcdata/etl/runjobinfo/，在/dcdata/etl/runjobinfo/目录下产生每个JOB运行后的日志信息，文件名为job名称.txt。
3)建立日志表(DCDW.LOG_DATASTAGE)4)Shell程序etl_runjobinfo.sh读取/dcdata/etl/runjobinfo/下产生的每个JOB日志信息，产生JOB运行清单jobfilename.tmp记录运行job名称，将相关信息插入DCDW.LOG_DATASTAGE表。
DATASTAGE的介绍及基本操作
内容提要：
• 一、datastage 介绍 • 二、如何安装datastage • 三、配置datastage 工程 • 四、设计并运行datastage的job • 五、操作元数据 • 六、操作关联数据 • 七、操作约束条件及数据来源 • 八、定义查找使用的哈希文件 • 九、聚合数据 • 十、job的运行及调试 • 十一、创建Basic表达式
• 使用DataStage中的Manager来存储和管理Job的元
数据，使之可以在DataStage中的Designer中再度被 使用。
• 元数据包括表单和文件结构和导出数据的Routines
的转换等等。
• Manager是DataStage存储的一个重要的部分，可以
用来加入表单和文件的结构，在左侧分支树中显示 Routines、Transforms和Jobs。
• 问题二：
Datastage的Manager用来执行编译通过的Jobs。（Yes/No）
答案二：
No， Datastage的Manager是用来管理元数据的，如表单结 构，内置和自定义Routines等的，使Datastage用来管理资源 存储的。
• 问题三：
Datastage的Director用来执行编译通过的Jobs。 （Yes/No） 答案三：
程中系统提示使用者选择安装路径和输入产 品序列号。
在Datastage Server安装的过程中会提示 用户建立一个工程。
在安装Datastage Server端以后，需要安 装Datastage Client端，鼠标点击
软件会自动进行安装，安装过程中系统提示 使用者选择安装路径和输入产品序列号。
• 安装有Datastage服务端的机器，必须运行
新教材DATASTAGE的介绍及基本操作.ppt
Datastage测试
• 问题一：
Datastage的Designer是用来建立和编译job、用来进行数据 的抽取、转换和加载即ETL。（Yes/No） 答案一： Yes，Designer使用拖拽的方式将设计元素（习惯上叫stage） 拖拽到设计区域中，经过建立和编译，Job就可以执行，用 来进行数据的抽取、转换和加载。
安装操作员版本的Datastage，需要有Datastage 的Director的许可。
一个工程关联着一个目录，这个工程目录用来存储jobs、 Datastage项目和元数据。在做任何操作前都要先打开这个 工程，即登录这个工程。
工程是自包含的很多的工程可以在同一时间被打开，在 各自单独的环境打开。可以在它们之间导入或导出项目。
多用户可以在同一时间使用一个工程中工作，但是 Datastage禁止在同一时间由多个用户访问同一个job。
• 3，到期时间。 • 4，授权代码。
在许可信息中，这个信息必须被正确输入 的。
课件
安装向导会指导通过以下步骤进行：
• 1，输入许可信息。 • 2，指定服务器的路径。 • 3，选择程序的文件夹。 • 4，创建一个新的工程或升级已经存在的工
程。
课件
安装Datastage
课件
首先安装Datastage Server端，鼠标点击 软件会自动安装，安装过
• 在Windows系统中安装Datastage服务端。 • 建立一个Datastage的工程。 • 安装Datastage的客户端。
课件
Datastage 的服务端要首先安装，之后才 可以安装Datastage 客户端，服务端能都安 装在WinNT、Windows2000或者UNIX系统中， 这个模块将介绍在Windows环境下进行安装。
DATASTAGE使用实用指南
DATESTAGE 使用实用指南1.DataStage官方文档学习笔记1.1通过右键添加link鼠标右键点击起始stage，按住右键移动鼠标到目标stage。
还有一种方法就是把鼠标放在起始stage的边缘等到变为一个小圆圈里面有一个叉的时候拖动鼠标到目标stage。
1.2DataStage中默认和隐式类型转换时注意的问题当从源向目标映射数据时，如果类型不一致，对于有些类型我们需要在modify或transfomer stage中通过函数进行转换，对于有些系统会自动完成类型转换，在类型转换过程中，注意以下几点：1 在变长到固定长度字符串的默认转换中，parallel jobs用null（ASCII 0）字符来填充剩余长度。
联系到前面做的一个parallel job，当目标是变长时（当时源也是变长，但是好像源的精度要小些），但是字符串实际的长度没有指定的变长那么长的话，系统会自动用空格（ASCII 20）来填充（具体在哪个stage 填充的不知），而且环境变量APT_STRING_PADCHAR的默认值也是空格（ASCII 20）。
2 通过环境变量APT_STRING_PADCHAR可以改变默认的填充字符null（ASCII 0）。
注：联系上面两点，感觉文档讲的与实际不符，难道我们项目的administrator改变了该环境变量的默认值？3 有个PadString 函数可以用来用指定的字符来填充一个变长的字符串到指定的长度。
这个函数的参数不能使固定长度字符串，如果是固定长度的先转化为变长。
1.3Copy Stage作为占位符在job开发中，当你暂时不知道该使用哪个stage时，可以使用copy stage作为占位符，注意不要把Force 属性设为True，在不把Force设为True时，复制将在运行时进行优化。
使用Schema file来指定meta data1 可以通过列定义和schema file两种方式来指定meta data，值得注意的一点是Note that, if you usea schema file, you should ensure that runtime column propagation is turned on. Otherwise the column definitions specified in the stage editor will always override any schema file.即，如果想通过schema file来指定meta data，必须勾上runtime column propagation，否则总是使用列定义来作为meta data。
Datastage介绍及示例
Datastage介绍及示例1 Datastage 简介Datastage包含四大部件：Administrator、Manager、Designer、Director。
1．用DataStage Administrator 新建或者删除项目，设置项目的公共属性，比如权限。
2．用DataStage Designer 连接到指定的项目上进行Job的设计；3．用DataStage Director 负责job的运行，监控等。
例如设置设计好的job的调度时间。
4．用DataStage Manager 进行Job的备份等job的管理工作。
2 设计一个JOB示例2.1 环境准备目标：将源表中数据调度到目标表中去。
1 数据库：posuser/posuser@WHORADB , ip: 192.168.100.882 源表：a_test_from3 目标表：a_test_to两者表结构一样，代码参考：create table A_TEST_FROM(ID INTEGER not null,CR_SHOP_NO CHAR(15),SHOP_NAME VARCHAR2(80),SHOP_TEL CHAR(20),YEAR_INCOME NUMBER(16,2),SHOP_CLOSE_DATE DATE,SHOP_OPEN_DATE DATE)；alter table A_TEST_FROMadd constraint TEST primary key (ID)；4. 示例数据：insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24402, '105420580990038', '宜昌市云集门诊部', '82714596 ', 1000, to_date('01-05-2008', 'dd-mm-yyyy'), to_date('01-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24403, '105420559982198', '于志良', '82714596 ', 2000, to_date('02-05-2008', 'dd-mm-yyyy'), to_date('02-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24404, '105420556410012', '阳光儿童广场', '82714596 ', 3000, to_date('03-05-2008', 'dd-mm-yyyy'), to_date('03-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24405, '105420580620033', '秭归县医疗中心', '82714596 ', 4000, to_date('04-05-2008', 'dd-mm-yyyy'), to_date('04-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24406, '105420559120063', '同德医药零售北门连锁店', '82714596 ', 5000, to_date('05-05-2008', 'dd-mm-yyyy'), to_date('05-06-2008', 'dd-mm-yyyy'));2.2 打开Designer任务：打开datastage designer，连接datastage服务器1．双击桌面datastage designer图标。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一，datastage的介绍
本章主要讲解ETL的概念，datastage的 介绍、组成及主要功能。
ETL概要
ETL包括数据抽取（Extract）、数据转换（ Transform）以及数据加载（Load）3个阶 段。
一般而言，这三个过程中有二次落地（ 生成中间文件）。
DS介绍：
? Ascential DataStage 是一套专门对多种操作数据源 的数据抽取、转换和维护过程进行简化和自动化， 并将其输入数据集市或数据仓库目标数据库的集成 工具。
Datastage的组成：
Datastage 的服务器端和客户端
Datastage是C/S软件，服务器端存储所有 的ds项目和元数据，由关系型数据库（RDBMS ）组成。客户端具有同服务端一样的软件接口
。
客户端运行于windows95或更高版本，服 务端可运行于windowsNT4.0或windows2000 版
? Designer提供一个数据流程的模式，轻松将设置和Job的设计有 机的组成。
? 使用Designer，可以： 1、指定数据如何抽取。
? 2、指定数据的转换规则和进行转换。
? 3、使用参考性质的LookUp到数据集市中编辑数据。
? a）例如，如果销售的记录集包括CustomerID，可以在 CustomerMaster表中使用LookUp查找到Customer的名称。
? 自定义的Routines和Transforms 也在DataStage 中 的Manager 里创建。
DataStage中的Designer
? DataStage中的Designer允许使用熟练地拖拽图标和连线的方式 来表示数据抽取、清洗、转换、整合和加载的过程，并将数据导 入数据仓库的表单之中。
本，datastage的很多版本都支持unix。
? DS Administrator
在服务端管理 ds的项目和服务端操作。主要用于工 程的参数调整，变量设置，及 command 操作。
? DS Designer
建立ds的job并且编译执行的程序。主要用于 job的 开发及编译。
? DS Director
DATASTAGE 介绍及基本操作
内容提要：
? 一、datastage 介绍 ? 二、如何安装datastage ? 三、配置datastage 工程 ? 四、设计并运行datastage的job ? 五、操作元数据 ? 六、操作关联数据 ? 七、操作约束条件及数据来源 ? 八、定义查找使用的哈希文件 ? 九、聚合数据 ? 十、job的运行及调试 ? 十一、创建Basic表达式
使用Administator的‘Project Propertities' 工程属性的 窗口，可以进行
1、在‘General'页框中，设置Job监控的一些限制信息 和Director中的其他信息。
2、在‘Permission'页框中，设置并分配开发人员组的 权限 。
3、在‘Tracing' 页框中， 设置或取消服务端进行跟踪 。
? b）当需要连接数据集市并使用查询，可以快速的进行访问。
? 4、对数据进行整合。
? 5、在定义的约束条件中将基础数据分割成为多个输出的连接。
? 在Tools 菜单中可以轻松的于Director，Designer和Manager之间 切换。
DataStage中的Director
? 使用Datastage的Director可以对设计的 job进 行验证、运行、任务调度和监控的工作。也 可以针对job 的运行查看运行的聚合统计情况 。
? 1、定义工程的属性——在Administrator中。 ? 2、打开工程。 ? 3、导入元数据，在job中定义格式、读入或写入——在
Manager中。 ? 4、设计job——在Designer中。
a) 定义数据的抽取（读取）。 b) 定义数据流程。 c) 定义数据的集合。 d) 定义数据的转换。 e) 定义数据的约束条件。 f ) 定义数据的加载（写入）。 g) 定义数据的聚合。 ? 5、编译和调试job——在Designer中。 ? 6、运行和监控job——在Director中。
? DataStage 能够处理多种数据源的数据，包括主机 系统的大型数据库、开放系统上的关系数据库和普 通的文件系统 。包括Oracle,Sybase,DB2,SQL Server，Teradata, FTP 文件系统,文本文件等等。
? 数据清洗、转换、加载都可以在图形化工具里完成 ，同样可以灵活的被外部系统调度，提供专门的设 计工具来设计转换规则和清洗规则等，实现了增量 抽取、任务调度等多种复杂而实用的功能 。
在Datastage中进行开发
? 在Administrator中定义全局的和项目属性。 ? 在Datastage中的Manager里导入定义源的
元数据和目标的元数据。 ? 在Datastage中的Designer中验证和编译job
。 ? 在Datastage中的Director中验证、运行、
和监控job。
运行和监控 ds的job。主要用于 job调试。
? DS Manager
允许编辑和查看在 ds中存储的内容。主要用于项目 管理或jage中的Administrator
默认使用Administator来指定常规的服务端，用来增加 或删除DataStage工程，并且可以设置工程的属性。 Administator也对于总库提供命令接口。
4、在‘Schedule' 页框中， 设置调度时运行Job所用到 的用户名和口令。
5、在‘Tunables'页框中，指定Hash文件Stage的读写 的缓存大小。
在DataStage中的Administrator设置常用服务器的默认值：
1、改变Licence信息。
2
DataStage中的Manager
? 使用DataStage 中的Manager来存储和管理 Job的元 数据，使之可以在 DataStage 中的Designer中再度 被使用。
? 元数据包括表单和文件结构和导出数据的 Routines 的转换等等。
? Manager是DataStage 存储的一个重要的部分，可 以用来加入表单和文件的结构，在左侧分支树中显 示Routines、Transforms 和Jobs。