Datastage客户端详细配置
datastage使用说明
用DataStage进行数据整合DataStage 的开发环境是基于C/S 模式的，通过DataStage Client 连接到DataStage Server 上进行开发。
这里有一点需要注意，DataStage Client 只能安装在Windows 平台上面。
而DataStage Server 则支持多种平台，比如Windows、Redhat Linux、AIX、HP-UNIX。
DataStage Client 有四种客户端工具。
分别是DataStage Administrator、DataStage Designer、DataStage Manager、DataStage Director。
接下来首先介绍这几种客户端工具在DataStage 架构中所处的位置以及它们如何协同工作来开发ETL Job 的，接着再分别详细介绍每个工具的功能。
图1 描述了IBM WebSphere DataStage 的整个系统架构。
DataStage 的客户端工具连接到DataStage Server 上进行ETL Job 的开发，DataStage Server 再与后台的数据库连接起来进行数据处理。
DataStage 的客户端工具之间的是一个相互合作的关系。
下面通过介绍ETL Job的开发过程来介绍他们之间的这种关系。
ETL Job开发流程1．用DataStage Administrator 新建一个项目；2．用DataStage Designer 连接到这个新建的项目上进行ETL Job的设计；3．用DataStage Director 对设计好的ETL Job设置运行的模式，比如多长时间运行一次ETL Job；4．用DataStage Manager 进行ETL Job的备份等。
图1：IBM WebSphere DataStage 架构图DataStage AdministratorDataStage Administrator 的主要功能有以下几个：1．设置客户端和服务器连接的最大时间。
DataStage客户端安装及使用文档
DataStage 客户端安装及使用文档1.客户端安装1.1 安装步骤解压客户端文件client_IA-suite.rar，完成后，进入目录，client_IA-suite，运行install.exe，会提示如下：选择英语，点击确定，安装时，最好关闭防火墙，选择要安装客户端的位置，点击NEXT：选择要安装的组件，点击NEXT：选择安装模式，点击NEXT：点击INSTALL后，开始安装：点击FINISH，安装完成。
安装完成后，在本机的HOSTS文件中需要配置一下：目录：C:\Windows\System32\drivers\etc在最后一行添加如下：# localhost name resolution is handled within DNS itself.# 127.0.0.1 localhost# ::1 localhost17.83.26.110（IP地址为服务器地址）ETL110（这个名字可以自己取）1.2 DataStage Client组件安装完成后有如下组件：1.Administrator Client用于创建DataStage 用户，创建，移动项目，设置清除标准的用户界面。
2.Director Client用来验证，计划时间，运行，监控DataStage 作业的用户界面。
3.Designer Client用来创建DataStage 应用（或作业）的设计接口。
每个作业都指定数据源，所需的转换和数据的目的地。
作业被编译成可执行的，由Director 计划，由Server 运行（主机作业被转移，在主机上运行）。
4.Datastage Manager用于存储和管理JOB 的元数据，使之可以在DataStage Designer 中再度被使用，包括库表定义、集中的转换程序等，并对工程备份和恢复。
2.组件使用2.1Administrator Client2.1.1登陆界面ETL110为刚刚我们在HOSTS中配置的名字，端口一般都是9080输入DOMAIN和账号密码完成后，点击DATASTAGE SERVER 右边的小三角，这时DATASTAGE会去验证用户名密码，成功后，会出来下拉框，这时证明已经联通了，选中一个SERVER，点击OK即可登陆2.1.2设置参数登陆成功后，界面如下：General页签：Projects页签：点击工程属性按钮后，显示界面如下：General 页签：Protect Projec t :设置项目为protected, 如果一个项目已经是protected，则按钮就显示为“Unprotect Project”Auto-purge of job log：每个Job 都对应一个log 文件，Job 的每一次运行都会产生新的log 附加到log 文件中，如果不及时清除无用的log，将会占用大量的空间，同时还会影响Job 的运行效率。
Datastage介绍及示例
Datastage介绍及示例1 Datastage 简介Datastage包含四大部件：Administrator、Manager、Designer、Director。
1．用DataStage Administrator 新建或者删除项目，设置项目的公共属性，比如权限。
2．用DataStage Designer 连接到指定的项目上进行Job的设计；3．用DataStage Director 负责job的运行，监控等。
例如设置设计好的job的调度时间。
4．用DataStage Manager 进行Job的备份等job的管理工作。
2 设计一个JOB示例2.1 环境准备目标：将源表中数据调度到目标表中去。
1 数据库：posuser/posuser@WHORADB , ip: 192.168.100.882 源表：a_test_from3 目标表：a_test_to两者表结构一样，代码参考：create table A_TEST_FROM(ID INTEGER not null,CR_SHOP_NO CHAR(15),SHOP_NAME VARCHAR2(80),SHOP_TEL CHAR(20),YEAR_INCOME NUMBER(16,2),SHOP_CLOSE_DATE DATE,SHOP_OPEN_DATE DATE)；alter table A_TEST_FROMadd constraint TEST primary key (ID)；4. 示例数据：insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24402, '105420580990038', '宜昌市云集门诊部', '82714596 ', 1000, to_date('01-05-2008', 'dd-mm-yyyy'), to_date('01-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24403, '105420559982198', '于志良', '82714596 ', 2000, to_date('02-05-2008', 'dd-mm-yyyy'), to_date('02-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24404, '105420556410012', '阳光儿童广场', '82714596 ', 3000, to_date('03-05-2008', 'dd-mm-yyyy'), to_date('03-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24405, '105420580620033', '秭归县医疗中心', '82714596 ', 4000, to_date('04-05-2008', 'dd-mm-yyyy'), to_date('04-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24406, '105420559120063', '同德医药零售北门连锁店', '82714596 ', 5000, to_date('05-05-2008', 'dd-mm-yyyy'), to_date('05-06-2008', 'dd-mm-yyyy'));2.2 打开Designer任务：打开datastage designer，连接datastage服务器1．双击桌面datastage designer图标。
datastage教程
1、【第一章】datastage简介与工作原理1、简介数据中心（数据仓库）中的数据来自于多种业务数据源，这些数据源可能是不同硬件平台上，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在不同的数据库中。
如何获取并向数据中心（数据仓库）加载这些数据量大、种类多的数据，已成为建立数据中心（数据仓库）所面临的一个关键问题。
针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，专业的数据抽取、转换和装载工具DataStage是最好的选择。
Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据中心（数据仓库）目标数据库的集成工具。
DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：大型主机系统数据库：IMS,DB2,ADABAS,VSAM 等开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft SQL Server等ERP 系统：SAP/R3,PeopleSoft系统等，普通文件和复杂文件系统，FTP 文件系统，XML等IIS,Netscape,Apache等Web服务器系统Outlook等Email系统。
DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。
其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。
其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage 提供调试环境，可以极大提高开发和调试抽取、转换程序的效率。
Datastage虚拟机配置指南
Datastage虚拟机配置指南Datastage配置文档由于Datastage是个C/S架构的，如下图所示：因此首先要通过本机客户端（Client）连接服务器（Server），然后再通过服务器（Server）连接数据库（Database）。
本文档主要介绍如何通过配置虚拟机的连接方式，从而连接本机客户端（Client），虚拟机上的服务器（Server）及其本机的数据库（Database）。
具体方式如下：1.打开VMware Workstation，依次点击File ->Open。
2.找到服务器虚拟机存放路径，并打开Red Hat Enterprise Linux 4.vmx（或者直接进入Red Hat 4文件夹，双击打开Red Hat Enterprise Linux 4.vmx）。
3.启动服务器虚拟机，点击红圈所示。
4.对弹出的对话框全部点OK。
5.等待服务器虚拟机启动完毕，使用Username：dsadm及其Password：dsadm登录。
6.修改虚拟机连接方式为NAT，依次点击VMware Workstation 右下角的网络连接设置（图中红圈所示）-> Setting并在弹出的对话框中选择NAT，然后点击OK。
7.打开虚拟机的网卡配置。
在虚拟机中依次点击左上角的Applications -> SystemTools -> Network Device Control.8.然后选择Configure。
此时会提示输入Root密码，在这里输入：wangli，然后点OK。
9.配置网卡，选择所要配置的网卡，然后点击Edit。
10.设置虚拟机IP。
Address： 192.168.92.X（和Dafault gateway address 相对应。
X可以随便写，范围2-253），Subnet mask：255.255.255.0Dafault gateway address：192.168.92.1(注意，此处填写的是本机中虚拟网卡VMnet8的IP地址，比如说我的机器为192.168.92.1。
Datastage 培训资料详述
Datastage培训1.什么是Datastage？➢设计jobs 抽取（Extraction）、转换（Transformation）、装载（Loading）即ETL ➢数据整合项目工具，如数据仓库、数据集市和系统移植。
DataStage的框架，如图-1：图-1在开发过程中是通过DataStage的四个客户端（DataStage Administrator如图-2, DataStage Manager如图-3, DataStage Designer如图-4, DataStage Director如图-5）来进行工作的。
图-2 图-3 图-4 图-5➢DataStage的基本开发流程：1．在Administrator中新建工程、定义全局和工程属性2．在Manager中导入元数据3．在Designer中定义job4．在Designer中编译job5. 在Director中验证，运行，监控job2.DataStage Administrator介绍主要功能：对server进行一些常规的设置、用来执行管理任务，如建立DataStage用户、新建和删除工程，设置工程的属性。
2.1.登陆登陆后的界面：在General标签中、可以看到当前server的版本是7.5.1.A，你也可以点击”NLS…”选择Client端的默认字符集。
2.2.新建工程选择Projects标签，在这里你可以选择Add按钮来新建一个工程“sjzh”如图：该工程存放的目录为“/home/dsadm/Ascential/DataStage/Projects/sjzh”在这里我们选择系统的默认路径。
选择“OK”就新建了一个工程，如图：2.3.更改“Licensing”选择“Licensing”标签，如图：在这里可以对Server和Client端的License进行更改。
比如当软件License过期时，要在不重新安装的情况下改变License就要使用这个功能。
datastage综合使用参考手册
Ascential DataStage Enterprise Edition 综合使用参考手册目录目录 (I)1. 引言 (1)1.1.编写目的 (1)1.2.帮助使用 (1)2. 产品概述 (2)2.1.A DVANCED D EVELOPMENT AND M AINTENANCE (2)2.2.C OMPLETE D EVELOPMENT E NVIRONMENT (3)2.3.H IGHLY S CALABLE A RCHITECTURE (6)2.4.E ND－TO－E ND E NTERPRISE M ETA D ATA (7)3. 安装 (8)3.1.S ERVER安装 (8)3.1.1. Server安装前准备 (8)3.1.2. Server安装步骤 (9)3.1.3. 验证DataStage的安装 (22)3.1.4. Server启动和停止 (23)3.2.C LIENT安装 (24)4. 常规应用 (24)4.1.常用组件使用方法 (24)4.1.1. Sequential file (24)4.1.2. Annotation (27)4.1.3. Change Capture Stage (29)4.1.4. Copy Stage (31)4.1.5. Filter Stage (32)4.1.6. Funnel Stage (33)4.1.7. Tansformer Stage (34)4.1.8. Sort Stage (35)4.1.9. LookUp Stage (36)4.1.10. Join Stage (36)4.1.11. LookUp Stage 和Join Stage的区别 (38)4.1.12. Merge Stage (38)4.1.13. Modify Stage (39)4.1.14. Data Set Stage (40)4.1.15. File Set Stage (41)4.1.16. Lookup File Set Stage (43)4.1.17. Oracle Enterprise Stage (45)4.1.18. Aggregator Stage (46)4.1.19. Remove Duplicates Stage (48)4.1.20. Compress Stage (49)4.1.21. Expand Stage (50)4.1.22. Difference Stage (51)4.1.23. Compare Stage (53)4.1.24. Switch Stage (54)4.1.25. Column Import Stage (55)4.1.26. Column Export Stage (57)4.2.常用数据库的连接 (59)4.2.1. Informix数据库连接 (59)4.2.2. Oracle数据库连接 (60)5. 高级应用 (62)5.1.D ATA S TAGE BASIC接口 (62)5.2.自定义S TAGE T YPE (62)5.2.1. Wrapped Stage (62)5.2.2. Build Stage (67)5.2.3. Custom Stage (75)5.3.性能调优 (75)5.3.1. 优化策略 (75)5.3.2. 关键问题分析 (79)5.3.3. 并行度 (80)5.3.4. 处理建议 (80)5.3.5. 其它 (80)5.3.6. 机器的对称性 (81)5.3.7. 并行调度测试说明： (81)6. 开发经验技巧汇总 (82)6.1.1. 问题 (82)1.引言1.1.编写目的IBM DataStage作为项目主要使用的ETL开发工具，在项目中得到了比较充分的应用，对IBM DataStage产品方方面面的功能，都有所涉及。
DataStage 工作笔记
1.安装与配置参考文档：《Planning, Installation, and Configuration Guide.pdf》1.1服务端与客户端的安装1.1.1安装拓扑采用简单的两层部署进行安装，安装拓扑如下图所示：Host1环境如下：(1)硬件环境CPU：Inetel Core Duo P8600内存：4GB(2)软件环境操作系统：Windows Server 2003 EE SP2C++编译器：Microsoft Visual Studio .NET 2008 Express Edition C++1.1.2安装参考文档：《Planning, Installation, and Configuration Guide.pdf》[pages 198-200]1.1.3C++编译器配置参考链接：/infocenter/iisinfsv/v8r5/index.jsp?topic=/com.ibm.swg.im.iis.productization.iisinfsv.install.doc/topics/wsis inst_set_envars_cpp.html(1)支持的C++编译器，见如下链接的系统要求说明：/support/docview.wss?rs=14&uid=swg270163821.1.4登陆与安装语言选择登陆（会话）语言选择中文，DataStage安装语言选择英文，结果Designer里同时有中文和英文，而DB2和WAS都是中文版，如何安装纯英文版的？解决方法1：登陆语言选择和安装语言全部选择英文即可安装上纯英文版。
解决方法2：通过控制面板->区域和语言选项，将语言设置为英语，安装完成后将语言再修改为中文即可。
1.1.5新建用户与凭证（Credentials）参考文档：《Day 1 Exercise-DS.doc》[Exercise 1: Administration Console] (1)通过Web浏览器登陆Web Console for IBM Information Server，地址如下（localhost为server端主机名）：http://localhost:9080/ibm/iis/console/loginForm.jsp?displayForm=true (2)新建两个用户dsadmin和dsuser，如下图：权限设置如下：dsadmin：Suite User、DataStage and QualityStage Administrator/User dsadmin：Suite User、DataStage and QualityStage Userdsadmin 可以正常使用，但dsuser 只能登陆 Administrator，登陆Designer和Director会报错：The current user does not have the required DataStage roles set up. 为什么？解决方法1：直接给dsuser同时授予Suite User、DataStage and QualityStage Administrator/User权限。