InformaticaPowerCenter培训
Informatica_PowerCenter 参数和变量使用指南

Informatica PowerCenter 参数和变量使用指南中国区唯一总代理神州数码(中国)有限公司2014年目录第一章参数和变量 (3)1、概述 (3)2、参数与变量存在的三种形式 (4)2.1系统级变量 (4)2.2 Mapping级参数与变量 (4)2.3 参数文件级参数与变量 (10)第二章参数文件格式 (12)1、标题格式和适用范围 (12)2、参数和变量类型 (13)3、实例 (13)第三章参数文件使用要点 (15)1、创建准则和使用注意事项 (15)2、PMCMD中使用参数文件 (17)第四章应用案例介绍 (18)1、定义M APPING的变量。
(18)2、在E XPRESSION组件中引用变量 (19)3、定义W ORKFLOW变量 (19)4、在E VENT W AIT组件中引用变量 (20)5、在S ESSION中引用变量 (21)6、在C OMMAND组件中引用变量 (22)7、参数文件定义 (22)8、S ESSION参数文件引用设置 (23)9、W ORKFLOW参数文件引用设置 (24)10、W ORKFLOW流程图 (24)第一章参数和变量1、概述参数和变量可以定义在工作流、工作集或会话中。
您可以使用WordPad 或Notepad 等文本编辑器来创建参数文件。
您在参数文件中列出参数或变量及其值。
参数文件可以包含以下类型的参数和变量:◆Integration Service变量◆Integration Service process变量◆Workflow变量◆Worklet变量◆Session参数◆Mapping参数和变量当您在工作流、工作集或会话中使用参数或变量时,PowerCenter Server将检查参数文件以确定参数或变量的开始值。
您可以使用参数文件来初始化工作流变量、工作集变量、映射参数和映射变量。
如果您不定义这些参数和变量的开始值,PowerCenter Server将在其它位置检查参数或变量的开始值。
Informatica_PowerCenter安装指南 (2)

Informatica PowerCenter安装指南(2)目录简介: (2)目标程序: (2)安装环境: (3)假设: (3)前置任务: (3)数据库需求: (3)PowerCenter域配置存储库 (3)PowerCenter 存储库 (4)安装JRE: (4)环境变量设置: (4)安装服务器端: (5)配置服务器端: (6)创建PowerCenter存储库服务: (7)创建PowerCenter集成服务: (9)简介:PowerCenter是Informatica出品的数据中心管理工具集中的一个产品,主要用于设计和完成ETL过程,其中又包含多个子产品,如Data Profiling和Data Analyzer,其服务器端的架构如下:如上图所示,PowerCenter服务器端由被配置在同一域(PowerCenter domain)中的一组计算机组成。
此组计算机可以master-slaves的方式协作,也可以网格方式进行分布式运算?(待求证)。
一个PowerCenter domain中可以配有多个gateway nodes,但只有一个能被设为master,所有对该域的访问均由该结点路由;其余gateway可作为备份。
该服务器段采用面向服务架构,除Service Manager和PowerCenter Administrator这两个服务必须运行在master gateway机器上以外,其他服务均可部署在同一域中的其他结点上,由master gateway提供统一的访问。
对于ETL流程而言,PowerCenter Repository Service和PowerCenter Integration Service为核心服务。
只要安装和部署成功这两个服务,即可执行ETL流程,其他服务为可选服务,当购买了其他产品后才(如Analyst Service为PowerCenter Analyzer的依赖服务)需要。
005-开发手册

配置任务调度 ......................................................................................................................... - 36 6.1 6.2 示例说明 ........................................................................................................................... - 36 配置任务调度计划 ........................................................................................................... - 36 -
3.1.1 3.1.2 3.1.3 3.2
添加源表模型组件 .................................................................................................. - 17 添加目标表模型组件 .............................................................................................. - 18 建立 Mapping 映射.................................................................................................. - 18 -
创建 MAPPING ..................................................................................................................... - 16 3.1 建立源表到目标表的 MAPPING 映射 ............................................................................... - 16 -
Informatica资料库迁移

2.删除资料库
在Power Center中资料库删除也是必不可少的,当我们想要恢 复一个资料库的时候必须要先删除已经存在的资料信息,才能进行 恢复功能。
第一步:在资料库的General Properties选项中把 OperatingMode一项中选成为exclusive点击确认。
第二步:在运行了Exclusive Mode方式后,可以在功能一项中可 以选择Delete Contents了。
新建资料库: 第一步:在新建一项中选择资料库。
二.新建服务
二.新建服务
新建资料库: 第二步:在信息栏中填写相关信息,来创建我们的资料库。
二.新建服务
新建Integration服务: 第一步:在新建一项中Integration Service。
二.新建服务
第二步:在弹出的对话框中填写相关信息,主要包括。我们的 Integration服务名称、License、 Node、以及我们刚才创建的资料库和我们资料库的相关用户名和密码。
第三步:在信息栏中填写相关信息,点击确认之后就可以进行资 料库的删除了。
3.资料库恢复
1. 在Power Center中如果我们想恢复到某次备份的资料库时, Informatica提供了功能来恢复你的资料库。
第一步:选择恢复的选项。
3.资料库恢复
第二步:在信息栏中填写相关信息,在Select Bakup file一项中选择我们刚 才备份的资料库名称,点击确认进行恢复。恢复完成之后把OperatingMode 选择成为Normal,这时我们的资料库就可以正常运行。 提示:恢复的文件放在Informatica\PowerCenter8.6.1\server\infa_shared\Backup
Informatica学习笔记整理

Informatica学习整理rmatica产品介绍:•PowerCenter:Informatica PowerCenter是世界级的企业数据集成平台,它在ETL领域中无论是执行能力还是战略远见方面都是佼佼者,是Informatica的核心产品。
2.ETL环节中最重要的:•大家可能大部分会认为转换才是最重要的环节,但事实上是加载环节。
•按重要程度递减排序,分别是load(装载)、clean(清洗)、transfer(转换)、extract(抽取)3.具有2个server:•Informatica Repository Server:资料库server,管理ETL过程产生的元数据,用来管理对资料库中元数据的请求和操作;•Informatica server:实际的ETL引擎;4.具有5个client:•PowerCenter Designer:设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL映射•Workflow Manager:合理地实现复杂的ETL工作流,基于时间、事件的作业调度•Workflow Monitor:监控Workflow和Session运行情况,生成日志和报告•Repository Manager:资料库管理,包括安全性管理等,元数据维护和安全操作,如:元数据查找,用户、组、权限管理等。
•Repository Server Administrator Console:对知识库的操作,如:知识库的创建、备份、恢复等。
5.基本的ETL任务设计和部署的大致步骤:•使用Designer客户端,获取源数据表的元数据。
•使用Designer客户端,获取目标数据表的元数据。
•使用Designer客户端,设计一个Mapping,其中就是源->目标的ETL规则。
•使用Workflow Manager客户端,针对上面实现的Mapping,实例化为一个Session,为其指定实际的数据源、目标连接,以及其他属性。
ETL学习笔记

Informatica PowerCenter8.1学习笔记一、软件的安装及配置安装前的注意事项:首先要确定密匙文件:Licnese.key内写明的授权日期范围及授权内容,如已过期,则将系统时间调整至未过期之前的时间,否则安装过程中极易出现问题!1、安装篇在安装之前我们先来进行一些准备工作,首先如果需要连接MSSQL2000,则应该先升级SP4补丁。
首先进入安装文件夹点击,然后会打开如下界面:(图1-1)点击要安装的组件。
(1)安装服务端组件首先点击,等待安装准备工作完成后自动跳转至如下界面:(图1-2)点击,至下一步:(图1-3)在这里需选择密匙文件,点击后在出现的选择界面内:(图1-4)选中密匙文件点击即可。
然后会回到图1-3 的界面,点击进行下一步。
可能出现错误:(图1-5)这个错误是由于密匙文件过期造成的,只需将系统时间调整至过期日期之前即可。
密匙文件验证完毕后会出现如下界面:(图1-6)点击即可进入下一步。
(图1-7)如果想要完全安装,则直接点击即可,如需定制安装,刚选中即可,这里我们只需安装PowerCenterServices,对于完全安装就不再详述。
点击进行跳转:(图1-8)在这里我们只选Services组件,然后点击进入下一步:(图1-9)在这里我们可以选择安装还是升级,我们选择第一项,点击进入下一步:(图1-10)选择安装目录,然后点击(图1-11)在图1-11 中所示的界面内检查安装信息是否正确,如正确点击安装完成后进入如下域设定界面:(图1-12)第一项为建立新的域,第二项为导入现有域,可根据实际情况进行选择,这里我们只介绍新建域的操作。
选中第一项后点击,会出现配置服务器数据库信息界面:(图1-13)几个需要填写的内容分别为:Database type(数据库类型)Database URL(数据库连接URL字符串)Database userID(数据库登陆用户名)Database user password(数据库登陆密码)Database service name(数据库名)在填写完毕后点击进行链接测试,如通过则会出现:(图1-14)然后点击,进入服务器信息配置界面:(图1-15)几个需要填写的内容分别为:Domain name(域名称)Domain host name(映射地址名称)Node name(节点名称)Domain port no(域对应端口号) Domain user name(管理员帐号) Domain password(管理员密码)Confirm password(确认密码)Create Repository Service点击会出现(图1-16)可以配置Minimum port no(最小端口号)及Maximum port no(最大端口号),配置完毕后点击开始进行域的创建。
Informatica_PowerCenter V8培训资料

Informatica PowerCenter V 8.1.1培训资料 V1.0ETL小组2007年11月rmatica PowerCenter总体概述Informatica PowerCenter是Informatica公司的核心产品,提供专注于最主要的、最复杂的数据集成项目必须的工具和数据服务的平台,是业界领先的、具有适应性的软件,用来访问、集成和传递数据。
经过精心设计的PowerCenter能够利用有效的成本去平衡数据,从而得到一个统一的扩展的企业视图。
使用Informatica PowerCenter,企业能够通过“一次建立,任意部署”的方法从事多个不同的集成项目,允许更多的时间和资源花费在企业的业务上,而不是企业的业务整合上。
Informatica PowerCenter主要包括四个部分:Client ,Repository Server ,Repository Database 和Informatica Server 每个部分实现自己的功能。
rmatica PowerCenter的体系架构Informatica PowerCenter是基于引擎和元数据驱动的体系架构,体系架构如下:2个Server:Informatica Metadata Manager Scheduler:资料库Server,管理ETL过程中产生的元数据 Informatica Server:ETL引擎5个Client:PowerCenter Designer:设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL 映射Workflow Manager:合理地实现复杂的ETL工作流,基于时间、事件的作业调度Workflow Monitor:监控Workflow和Session运行情况,生成日志和报告Repository Manager:资料库管理,包括安全性管理等Data Stencil:借助Microsoft Office Visio工具来创建Mapping模版。
Informatica+PowerCenter开发配置手册

Informatica PowerCenter Developer Platform开发配置手册编写: 冷鹏版本: 1.1状态:初稿日期:2008年5月29日该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤,针对开发调试中出现的错误信息提出解决办法。
版权信息:© Copyright DigitalChina 2008.本文档未经许可,任何单位及个人不得传播、涉露本文档信息,违者必究编写历史目录1介绍 (4)1.1背景 (4)2开发平台安装 (5)2.1安装准备 (5)2.2安装步骤 (5)2.3配置说明 (7)2.3.1 环境变量 (7)2.3.2 相关文件拷贝 (8)2.3.3 端口号配置 (8)2.3.4 样本脚本修改 (9)3样例介绍 (10)3.1JAVA应用程序样例 (11)3.2Web JSP应用样例 (14)4参考 (19)4.1示例参考 (19)4.2示例参考 (19)1 介绍1.1 背景由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中,如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。
而目前向Informatica Service发送任务请求的途径有3种方式,一种是常用的Informatica Client方式,如PowerCenter Workflow Manager执行任务调度;一种是命令行方式,如通过PMCMD方式执行StartWorkflow;还有一种就是通过Developer Platform API接口方式来执行任务调用,可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用,这样可将ETL功能与企业原应用系统整合起来。
因此该文档是基于第3种方式,力求给这些用户在安装配置InformaticaPowerCenter Developer Platform时一些帮助,文档是基于Informatica PowerCenter DeveloperPlatform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍,针对开发调试中出现的错误信息提出析疑。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
10
源
转换组件
目标
11
Task工作区
Session Task 工作目录
12
13
14
Debugger 模式 Solid yellow arrow Current Transformation indicator
Flashing yellow SQL indicator
调试日志
经过每个调试的数据流
目标装载情况
15
第二章节
组件介绍 Expression组件 Filter与Router Joiner与Lookup Aggregator组件 Update Strategy组件
16
Source Qualifier: 从数据源读取数据
Expression: 行级转换
35
Lookup源 流入值 流入值 查询到的值 Lookup组件 查询输出值
查询条件:ITEM_ID = IN_ITEM_ID PRICE <= IN_PRICE
Lookup组件
是否查询 Y 组件 查询条件:IIF(ISNULL(customer_id), :lkp.MYLOOKUP(order_no),customer_id) 返回查询到的值
23
流入组件的数据项
流出组件的数据项
组件中定义的变量 当数据项为空时的默认值
24
组件介绍 Expression组件 Source Qualifier、Filter与Router Joiner与Lookup Aggregator组件 Update Strategy组件
25
组件功能
36
查询的数据项,返回关联的值 返回值
37
组件介绍 Expression组件 Source Qualifier、 Filter与Router Joiner与Lookup Aggregator组件 Update Strategy组件
WF
Designer: ①~③ Workflow Manager: ④~⑤ Workflow Monitor: ⑥
8
源分析器
ODBC Mapped Drive NFS Mounting Local Directory
引入源的类型
• Relational database • Flat file • COBOL file • XML object • Application
2013-10
1
• 第一部分:产品体系介绍
PowerCenter选件 丰富的ETL功能
异构数据源,异构目标 实现多种缓慢变化维 全局变量及参数,参数文件 局部变量,前后记录比较 条件汇总 异构数据源关联 行/列转换 静态、动态Lookup支持 ETL事务处理 自定义SQL Pre SQL和Post SQL 复用组件 复用Mapping 调用存储过程 调用外部用户自定义过程 可视化Debug 强大函数支持、丰富转换语言 数据源为文件列表 Session Recovery 基于多目标表约束装载 错误数量控制 FTP 源和FTP目标 ETL任务分区 增量汇总 测试装载 Bulk Loading External Loader (Oracle、DB2.) 复用Workflow 功能丰富的Workflow控制 任务串行、并行控制 基于时间、事件和指示文件触发 任务 Workflow中调用OS外部命令 Workflow中调用Email 多ETL Server协同工作 ……
• Relational database • Flat file • COBOL file • XML object • Application
Informatica Service
Save Meta Data of Targets: OPB_TARG OPB_TARG_ OPB_TARG_FLD OPB_TARG_FLD_ ……
Java: Java自编程组件
其它应用组件
18
Passive组件 ◦ 流入流出组件的行数不发生变化 ◦ 例如:Expression、Lookup、HTTP组件 Active组件 ◦ 流入流出组件的行数会发生变化 ◦ 例如:Aggregator、Router、Filter组件
P
√
A
×
19
33
Master
流入组件的数据项
=
Detail
=+
+= ++
Master
Detail
Master
Detail
Master
Detail
34
组件功能 ◦ 对Flat File或数据库根据关联的条件进行查询 ◦ 返回符合条件的值,否则为空 ◦ 连接关联与非连接关联 ◦ 类似于SQL 中的Join语句 组件类型 ◦ Passive组件 应用范围 ◦ 查询文本文件的关联数据 ◦ 查询数据库的关联数据
Real-Time 实时功能
Partitioning 分区功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid网格功能
Team-based Development 团队开发功能
Metadata Exchange 元数据交换功能 Unstructured Data 非结构化数据功能 Visio 模板Mapping生成器功能 Data Federation 数据联邦功能 Data Profiling 数据质量探查功能
Informatica Service
Save Meta Data of Sources: OPB_SRC OPB_SRC_ OPB_SRC_FLD OPB_SRC_FLD_ ……
9
目标分析器
ODBC Mapped Drive NFS Mounting Local Directory
引入目标的类型
17
Normalizer: 记录规范化 Rank: 对记录进行TOPx Union: 数据合并 Transaction Control: 对装载数据按条件进行事务控制
Stored Procedure: 存储过程组件
Custom: 用户自定义组件 HTTP: WWW组件
Informatica 9
INFA9系列产品功能情况
2
Domain
ODBC NATIVE 数据源
Integration Service
NATIVE
ODBC
NATIVE
目标
TCP/IP
Repository Service ---------------------------Repository Agent
NATIVE
Administrator Console
Informatica客户端
PowerCenter 服务端
UNIX (AIX, HPUX, Solaris, Linux) Windows
3
源数据 数据源
已转换数据
目标 PowerCenter Server 来自元数 据的指令
资料库 PowerCenter Server、资料库、源和目标之间的处理路径
4
• 服务端组件
Informatica Service:PowerCenter服务引擎 Integration Service:数据抽取、转换、装载服务引擎 Repository Service:知识库Service,管理ETL过程中产生的元数据
ห้องสมุดไป่ตู้
• 客户端组件
Administratortion Console:用于知识库的建立与维护 Repository Manager:知识库管理,包括安全性管理等 Desinger:设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL映射 Workflow Manager:合理地实现复杂的ETL工作流,基于时间、事件的作业调度 Workflow Monitor:监控Workflow和Session运行情况,生成日志和报告
•不同DB或Flat与Flat之间
•Joiner组件 •在PowerCenter中Joins •n-1个Joiner组件 •在Joiner中定义连接条件
32
Detail
Master
Join条件
Master Source Joiner Detail Source Join Results
Join条件:Master.ProductID = Detail.ProductID
30
组件功能
◦ 对异构数据进行关联(同构关联用Source Qualify组件) ◦ 类似于SQL 中的Join语句
组件类型
◦ Active组件
应用范围
◦ 2个异构数据类型的表关联
31
同构Joins
异构Joins
•同种结构数据
•Source Qualify组件 •从源直接Joins •n个源可用1个SQ组件 •在源中先定义连接关系
聚合函数 字符串函数 转换函数 数据清洗函数 日期函数 编码函数 财务函数 数值函数 数学函数 特有函数 判断函数 用户自定义函数
20
21
组件介绍 Expression组件 Source Qualifier、 Filter与Router Joiner与Lookup Aggregator组件 Update Strategy组件
5
• 产品安装 • 服务器安装 • 客户端安装
• 详见安装手册 G:\STUDY\powercenter\Informatica V9.x安 装手册.doc