Informatica完全快速学习手册

Informatica完全快速学习手册
Informatica完全快速学习手册

1Informatica概述 (3)

2安装Informatica8.6.1 (3)

2.1服务端安装 (3)

2.2客户端安装 (7)

3配置管理服务器 (9)

3.1创建知识库和集成服务 (9)

3.2客户端到集成服务端的连接 (12)

4PowerCenter Designer学习 (13)

4.1概念和基本定义 (13)

4.2Mapping设计和组件的使用 (15)

4.2.1实例一:聚合抽取 (15)

4.2.2实例二:取TOP前三条记录 (16)

4.2.3实例三:抽取XML源 (19)

4.3WorkFlow的设计和使用 (20)

4.3.1创建Session (20)

4.3.2设计WorkFlow (22)

4.4Repository Manager (23)

1 Informatica概述

Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。

详见文档:

2 安装Informatica8.6.1

这里以Informatica8.6.1为例:

2.1 服务端安装

找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下

点击安装

选择安装语言,这里以中文版为例

点击下一步,并选择安装PowerCenter8.6.1

必须选择事先准备好的安装密匙

选择安装路径

HTTPS配置,配置管理控制台与配置管理器的安全通信(如果没有使用该端口就采用默认)

配置好Informatica域并进行下一步,取掉为特定用户启动Informatica Services,点击完成安装

2.2 客户端安装选择安装

设置安装路径

安装完成后可以看到包含的所有工具

3 配置管理服务器

3.1 创建知识库和集成服务

接下来我们主要是配置知识库管理服务器,PowerCenter数据整合引擎是基于元数据驱动的,提供了基于元数据驱动的元数据知识库(Repository),知识库是PowerCenter

的核心。

在Informatica Services启动的的情况下,我们可以通过管理控制台来操作。

从控制台里我们可以看到很多选项,我们主要是创建存储库服务(Repository)和集成服务,存储库服务(Repository)存储所有的ETL元数据,包括:源、目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据。

首先我们创建一个用于测试学习的存储服务器,事先在Oracle中建好要用到的数据库

此处如果无法创建成功有以下可能:

1. 需要设置环境变量,将

C:\Informatica\PowerCenter8.6.1\Server\bin;C:\Informatica\PowerCenter8.6.1\Reposi toryServer\bin;移到Path最前边

2. 代码页一定要如下选择

3. 设置知库链接用的数据库用户要有DBA角色权限

连接字符串设置为当前的Oracle服务名

接下来创建集成服务,因为集成服务是依赖于知识库的,注意关联的存储库服务选择刚建好的学习测试存储库,存储库默认要设置用户名和密码为:Administrator

至次我们完成了服务端的基本配置,服务端可以对知识库备份和恢复等很多功能,也可以建立其相应的服务,这里不再多述!

3.2 客户端到集成服务端的连接

我们开发ETL要使用到PowerCenter Designer工具,详细的介绍在概述中有,接下我们配置好Designer与集成服务的连接:

从客户端工具中打开PowerCenter Repository Manager

从菜单上选择存储库>配置域如下:

这样就连接上集成测试用例库,选择学习测试用例库,从文件夹选项目创建文件夹,相当于在集成库下的一层子目录

至此,打开PowerCenter Designer就可开发使用了

4 PowerCenter Designer学习

4.1 概念和基本定义

最基本的ETL包括源的定义,目标定义,和映射,另外我们还可以创建可以重用的Mapplet。使用到的工具如下

源分析器:

目标设计器:

映射设计:

传输件设计:

Mapplet组件设计:

源分析器是用来定义源的结构,这里的源虽然是从某个数据库导出进来的表结构也可以是某个XSD定义的XML结构等等,但是仅仅绑定了数据库类型,并不是指定了链接要从那个数据库里抽取数据。这里我们从菜单可以导入表结构,Informatica 提供了ODBC的方式链接多种数据源

我们以一个DW事实表为例:

同样我们可以定义目标结构,常规也是导入表结构,我们也可以在Mapping设计中自动创建目标表结构,源定义和目标定义中,我们可以对导进来的表名以及表的结构进行修改以满

足我们的设计需求,但是我们在WorkFlow中实现数据抽取中对应的源和目标要和此结构相同,如果要满足变化的源和目标,可以通过Visio设计来转换为Mapping来实现。

4.2 Mapping设计和组件的使用

PowerCenter Designer通过Mapping来完成从源到目标的转换,Mapping设计器中包含了大量的转换组件

关于组件详尽的说明,可以打开文档具体学习:

转换组件一般包含,转换、端口、属性、以及元数据扩展

转换:可以对该转换更改名称和附加具体说明。

端口:转换组件大都包含转换输入端口和输出端口以及特定的操作或表达式。

属性:该转换组件的特定设置

元数据扩展:

下边以两个实例来讲解组件的使用

4.2.1 实例一:聚合抽取

从源到目标,我们中间用聚合组件,对OWE_CHARGE进行SUM并按几个维组来聚合,如下图:

从下图我们可以看到该组件端口中字段属包含:I、O、V、表达式、GroupBy等属性,对于OWE_CHARGE字段我们仅设置输入,创建自定义属性端口SUM_OWE_CHARGE,其表达式为SUM(OWE_CHARGE),对于维度键勾选GroupBy,这样实现了细粒度到粗粒度的聚合

每种组件都有自己特定的属性和特定的端口属性,我们通过属性设置或表达式来实现组件的特性,不同组件的搭配来完成整个Mapping的设计

4.2.2 实例二:取TOP前三条记录

源表数据

目标:取Score1 TOP前3条记录、和Score2 TOP前3条记录

实现:

对源表分别用两个Rank组件,Rank组件有分组排序取前N或后N条记录的功能,如下图

端口属性如下:RankIndex 为自动产生的Rownum,score1后的R表示以此排序

组件属性设置如下:

top/bottom:取前或后Number Of Ranks:取多少位

抽取结果:

4.2.3 实例三:抽取XML源

雇员DTD定义:

设计如下:

导入XML源结构为源,通过SQ分别将雇员信息分解为雇员表,雇员电话,雇员邮件,雇员薪水,具体设计如下图:

4.3 WorkFlow的设计和使用

4.3.1 创建Session

在做完Mapping设计之后,我们要抽取数据,接下来的任务就是WorkFlow的设计,在WorkFlow设计器中,数据抽取的基本组件是Session,Session是映射的一个具体实例,在创建一个Session时必须指定一个映射,并由这个Session决定了数据抽取的默认源和目标。

我们打开WorkFlow设计工具,从工具上选择,这样我们就可以创建Session,

Informatica-Powercenter基础开发实例

Informatica-Powercenter基础开发实例

Infa开发实例1实例:客户维表抽取(dim_customer)1.1数据库配置信息 1.1.1数据源 数据库类型oracle 服务器 IP 10.1.0.112 访问 IP 访问用户 系统性 质 xxx系统 数据库数据库名 称(SID) 用户名密码Oracle dev Abc Abc 1.1.2目标库 数据库类型oracle 服务器 IP 10.1.0.113 访问 IP 访问用户系统性数据仓库

质 数据库数据库名 称(SID) 用户名密码Oracle dev DW DW 1.2详细设计 1.2.1基础信息 目标位置:数据仓库 实现目标:抽取客户维表数据进入数据仓库供BIEE平台展现 功能要求: 目标表名:dim_customer 来源表:Hz_Parties、hz_cust_accounts 数据筛选条件: 数据更新频率:每月 1.2.2口径说明 字段名字段类型字段描述数据源字段转换规则备注row_id number 序号 market_cod e varchar2(50 ) 市场编码 market_nam e varchar2(10 0) 市场名称 customer_c ode varchar2(50 ) 客户编码hz_cust_accou nts account_n umber customer_n ame varchar2(20 0) 客户名称 Hz_Parties party_nam e 取数规则: select rownum,'','',hca.account_number,ap.party_name from Hz_Parties ap, hz_cust_accounts hca where ap.party_id = hca.party_id

Informatica快速入门

1Informatica概述 (3) 2安装Informatica8.6.1 (3) 2.1服务端安装 (3) 2.2客户端安装 (7) 3配置管理服务器 (9) 3.1创建知识库和集成服务 (9) 3.2客户端到集成服务端的连接 (12) 4PowerCenter Designer学习 (13) 4.1概念和基本定义 (13) 4.2Mapping设计和组件的使用 (15) 4.2.1实例一:聚合抽取 (15) 4.2.2实例二:取TOP前三条记录 (16) 4.2.3实例三:抽取XML源 (19) 4.3WorkFlow的设计和使用 (20) 4.3.1创建Session (20) 4.3.2设计WorkFlow (22) 4.4Repository Manager (23)

1 Informatica概述 Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。 详见文档: 2 安装Informatica8.6.1 这里以Informatica8.6.1为例: 2.1 服务端安装 找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下 点击安装

Informatica学习以及遇到的问题总结陈朋

深航Informatica学习总结 修改记录 编写2016/3/9 框架: 一、总体概述 ETL 包括 Extract 、 Transform 、 Cleaning 和 Load ,它是用于从生产库中提取数据到数据仓库中,再由具体的报表、统计、分析工具对数据仓库的内容进行分析,分析出自己所需要的数据。 其中 ETL 培训的内容是如何利用 Informatic PowerCenter 把源数据库的内容提取存放到目标数据库中,四部分 Client , Reposity Server , Reposity Database 和 Informatic Server 每个部分实现自己的功能。

二、系统体系结构 此部分介绍了 Informatic ETL 工具包括的主要内容。 1.Client Informatic Client 主要有五个部分。 Client 可以和 Reposity 分离,通过 TCP/IP 连接,连接到远程的 Reposity Server 。 2. Reposity Manager 主要用于进行一个 Reposity 库的管理,当用户使用 Client 工具登录一个 Reposity 服务器之后,进行文件夹权限的创建,用户权限、密码的管理等。 3. Designer 主要是进行数据抽取的转换工具的设计,主要是 mapping 的设计、设计源数据库的结构,目标数据库的结构,然后设计把源数据导入到目标数据库中,所需要进行的转换操作( Transformation )。 同一个 Reposity 的 folder 之间可以建立 shortcut 方式,多个 reposity 的 folder 之间只能做拷贝。 4. Workflow Manager 主要用于流程任务( workflow Task )的设计。 进行任务流程的设计、每一个 Tast 针对一个 Session ,一个 session 针对一个 mapping ,其中 workflow 中的 Folder 和 Designer 中的 folder 相对应的关系。一版来说,用户都是建立自己的 Folder 。 5. Workflow Monitor 主要进行流程运行、及任务运行时的流程运行情况跟踪。可以跟踪日志。包括 Session 日志和 Workflow 日志,可以设置生成日志的循环个数。分析 session 运行是对源数据库的数据抽出信息和对目标数据库的更新信息。 6. Reposity Server Application Console 主要进行 Reposity 的管理,包括 Reposity Server 的 start , shutdown 操作。进行 Reposity 库的 backup 、 restore 等操作,进行 Reposity 库级别的管理,级别较高。 7. Reposity Server Reposity server 是为客户端服务的,客户端可以和各种 client 不在一台服务器上。关于数据抽取的设计成果转换成为 XML 格式的源数据,都是通过 Reposity Server 存放到 Reposity Database Server 上的。 8. Reposity Database Server 用于存放的是进行 ETL 设计的元数据。可以支持各类的数据库。方式为数据库中用户的一个表目录和用户关系即可。 Reposity Database 可以和 Reposity server 不安装在一台服务器。如果在一台机器上, server 通过 native 方式连接到 database ,如果不在一台及其上,需要在 database 上安装一个 reposity agent ,用户通过 agent ,以 native 方式连接到 reposity 数据库,然后 reposity agent 再以 tcp/ip 方式连接到 reposity server 。 https://www.360docs.net/doc/fa9858044.html,rmatic Server Informatic server 是实际执行数据抽取任务的运行环境。即 workflows 、 task 、 sessions 等。它是根据定义的 workflow 元数据库,然后在自己的实际环境中,执行数据抽取操作。 三、系统组件功能 Informatic 的功能主要体现在 Designer 和 Workflow Manager 上,其中 Designer 实现的是

Informatica PowerCenter平台ETL开发规范

January 12, 2010 广州安正软件科技有限公司BusinessMatrix Information System Corporation.

文档历史记录变更历史 审阅 分发

文档目录 1.文档介绍 (5) 1.1文档目的 (5) 1.2适用范围 (5) 1.3文档读者 (5) 1.4参考文献 (5) 1.5术语与缩写解释 (5) 2.POWERCENTER平台介绍 (6) 3.环境介绍 (7) 3.1概述 (7) 3.2开发环境 (7) 3.3测试环境 (7) 3.4生产环境 (7) 3.5数据库账号 (7) 3.6数据连接 (8) 3.7参数文件 (8) 4.通用规范 (14) 4.1I NFORMATICA文件夹配置 (14) 4.2操作系统文件夹配置 (14) 4.3S ESSION配置项 (15) 4.4I NFORMATICA用户配置 (15) 4.5ETL转换规则说明 (15) 4.6从平面文件导入数据 (15) 4.7从数据库导入数据 (16) 4.8从数据库导入数据结构 (16) 4.9注释 (16) 4.10日志文件 (16) 4.11出错处理与通知 (17) 5.命名规范 (18) 5.1概述 (18) 5.2F OLDER (18) 5.3M APPING (18) 5.4S ESSION (19) 5.5W ORKFLOW (19) 5.6S OURCE D EFINITION (19) 5.7T ARGET D EFINITION (20) 5.8A GGREGATOR (20) 5.9E XPRESSION (21) 5.10F ILTER (21) 5.11J OINER (21) 5.12L OOKUP (21) 5.13N ORMALIZER (22) 5.14R ANK (22) 5.15R OUTER (22) 5.16S EQUENCE G ENERATOR (22) 5.17S ORTER (23) 5.18S OURCE Q UALIFIER (23)

Informatica PowerCenter 7.1 简易使用手册

Informatica PowerCenter 7.1 简易使用手册 原:神州数码 改:海联讯软件和集成中心 编辑人:张旭 2008 年11 月

目录 1. 使用Informatica PowerCenter 的准备工作 (3) 1.1 启动Informatica Repository Server 和Informatica Server (3) 1.2 创建资料库 (3) 1.3 创建Folder (3) 2. Informatica 客户端介绍 (3) 3. Informatica PowerCenter 工作流程 (5) 4. Step1:在Designer 中连接资料库 (5) 5. Step2:打开Folder (7) 6. Step3:引入数据源结构 (7) 7. Step4:引入目标结构 (10) 8. Step5:设计Mapping (11) 9. Step6::设计Workflow (16) 10. Step7:运行Workflow (20) 11. Step8:查看作业运行情况 (21)

1. 使用Informatica PowerCenter 的准备工作 配合本手册使用的有两个文档:一个是安装手册;一个是中文的培训资料(介绍各客户端工具的用法)。 具体的可以参照使用,此处不再赘述 1.1 启动Informatica Repository Server 和Informatica Server 安装配置完后,就可以启动Informatica Repository Server: 1、Windows 平台:控制面板-> 服务->启动Informatica Repository Server 和Informatica Server 2、UNIX 平台:启动Repository Server 在安装目录RepServer 下,运行pmrepserver 启动Informatica Server 在安装目录Server 下,运行pmserver 1.2 创建资料库 通过客户端Repository Server Administration Console 创建资料库 具体参见安装手册相关章节 1.3 创建Folder 通过客户端Repository Manager 创建Folder 具体参见安装手册相关章节 2. Informatica 客户端介绍 Informatica 提供基于对象的,无需编码的全图形化开发环境,最大地提高开发生产力,有5 个客户端工具: 3. Informatica PowerCenter 工作流程

informatica开发基本过程ETL

1、打开informatica设计器 2、点击映射,——>再点击“创建”,即可创建新映射 输入映射名称,再确定,完成创建 3、由于一个完整的映射应该包含源表、转换、目标表,所以我先确定源表,导入到工具里 面。方法如下:点击放大镜图标 再点击工具栏上的源(没有点击上面的放大镜图标就无法找到“源”) 在“源”下拉列表点击“从数据库到入”,出现以下界面(图上有操作方法)

导入目标表,先点击三角形图标,如下图 再点击“目标”,在“目标”下拉列表点击“从数据库到入”,出现以下界面(操作方法同导入源表) 4、点击下面红色框内的小图标,加入映射编辑对话 拖入源表和目标表 拖入表入下,(其中源表表结构不可编辑,转换组件可从工具栏中拖入)

5、双击上述源表取数组建加入SQL语句,双击后,点击属性 找到“SQL Query”行 如下加入SQL语句

注意:如的sql语句字段的顺序一点要与组件数据流入的的字段顺序一直,字段名也要一致编辑目标表的,方法:双击目标表,点击属性,就行编辑,如下 6、保存,完成映射编辑 7、点击,“W”图标,打开工作流编辑器 8、找到上述映射所在的文件夹,右击——>打开(或双击) 9新建会话,点击下列红框内的图标 再点击“任务” 在任务下拉框中,选择“创建”,出现以下对话框,输入任务名称,再点击创建 选择映射

最后点击完成 10、编辑会话 双击进入会话编辑界面,在点击“映射” 编辑完成后,保存即完成编辑。 11、创建工作流,点击下列红框内图标, 点击,“工作流”, 再选择“工作流”下拉列表中的“创建”

出现下列对话框,就行编辑或配置相关属性 点击确定,有 选择会话,拖入到编辑框中,如下示,

Informatica+PowerCenter开发配置手册

Informatica PowerCenter Developer Platform 开发配置手册 编写: 冷鹏 版本: 1.1 状态:初稿 日期:2008年5月29日 该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤,针对开发调试中出现的错误信息提出解决办法。 版权信息:? Copyright DigitalChina 2008. 本文档未经许可,任何单位及个人不得传播、涉露本文档信息,违者必究

编写历史

目录 1介绍 (4) 1.1背景 (4) 2开发平台安装 (5) 2.1安装准备 (5) 2.2安装步骤 (5) 2.3配置说明 (7) 2.3.1 环境变量 (7) 2.3.2 相关文件拷贝 (8) 2.3.3 端口号配置 (8) 2.3.4 样本脚本修改 (9) 3样例介绍 (10) 3.1JAVA应用程序样例 (11) 3.2Web JSP应用样例 (14) 4参考 (19) 4.1示例参考 (19) 4.2示例参考 (19)

1 介绍 1.1 背景 由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中,如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。而目前向 Informatica Service发送任务请求的途径有3种方式,一种是常用的Informatica Client方式,如PowerCenter Workflow Manager执行任务调度;一种是命令行方式,如通过PMCMD方式执行StartWorkflow;还有一种就是通过Developer Platform API接口方式来执行任务调用,可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用,这样可将ETL功能与企业原应用系统整合起来。因此该文档是基于第3种方式,力求给这些用户在安装配置Informatica PowerCenter Developer Platform时一些帮助,文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍,针对开发调试中出现的错误信息提出析疑。

利用informatica向导开发Mapping

利用informatica向导开发Mapping 作者:杨波 QQ:414792994 利用Informatica PowerCenter的Designer开发mapping的方式有多种,最常用的方式是直接create;另外一种方式是利用Designer提供的向导功能。informatica内置了完成几种最常用的功能的向导模式,利用向导模式,可以很快的开发一个mapping,这样,可以大大提高开发的效率。在这儿,我将对这几种向导做一个介绍。 Informatica一共提供了两种方法的向导:Getting started 和Slowly changing dimensions (缓慢变化维),其中第一个方法又提供了两种类型:Single Pass Through Mapping和Slow Growing Target;而Slowly changing dimensions类型提供了3种类型,下面,我对每一种类型做具体的介绍 方式一:Getting started 一.Single Pass Through Mapping(单个穿过的Maping) Getting started类型的向导提供的Single Pass Through Mapping方法是一种最简单的方式,翻译过来的意思是简单的单个穿过的Maping,它的作用能完成一个最基本的功能,也就是一个最简单mapping的功能,将源表的数据直接抽取到目标表中,它一共用了4个控件,在向导过程中,只要指定源,目标就可以了。 制作过程: 第一步:鼠标单击菜单mappings—wizards—Getting Started

Informatica快速入门

1Informatica概述 (3) 2安装Informatica8.6.1 (3) 2.1服务端安装 (3) 2.2客户端安装 (7) 3配置管理服务器 (9) 3.1创建知识库和集成服务 (9) 3.2客户端到集成服务端的连接 (11) 4PowerCenter Designer学习 (13) 4.1概念和基本定义 (13) 4.2Mapping设计和组件的使用 (15) 4.2.1实例一:聚合抽取 (15) 4.2.2实例二:取TOP前三条记录 (16) 4.2.3实例三:抽取XML源 (19) 4.3WorkFlow的设计和使用 (20) 4.3.1创建Session (20) 4.3.2设计WorkFlow (22) 4.4Repository Manager (23)

1 Informatica概述 Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。 详见文档: 2 安装Informatica8.6.1 这里以Informatica8.6.1为例: 2.1 服务端安装 找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下 点击安装

Informatica开发规范

神州数码(中国)有限公司 Informatica项目开发规划 冷鹏 2006年9月

1.引言 以前看到过whyu小记写过Informatica的一个开发规范,觉得不错,也碰到外面一些项目组在参考他写的规范,非常好!我也碰到很多公司的项目组有非常不错的DW项目规范文档,只是很少有拿出来给大家参考共享的,觉得非常的遗憾!反观自己当时做JA V A、C、Web时,项目标准和规范都是成套的有下载。所以在这里我呼吁大家可以将项目里敏感的内容去掉,将文档的骨头拿出来,让大家做项目吸取更多的经验,少走弯路,走更正规的路,毕竟大家都在这个圈子里混,都是做技术的,这个圈子如果长久都停留在这个水平,自己也不会走出圈子里这个水平。 我扒拉的这篇规范也算不上是什么规范,结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。 2.命名约定 在进行Informatica开发规划时,对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则,官方的样例也有一些命名规划,我认为可以分个级别如Mapping、Session、Task这样的分为一个级别,统一以1个小写字母加下划线为规范,转换组件可以也可以为分为一个级别,以3个小写字母加下划线为规范。如果不用命名规范也没多大关系,因为这些内容各自都有对应的Folder进行管理,比较好辨认。 2.1.组件命名

2.2.其它命名

3.主题说明 往往在一个数据仓库项目内ETL都占了很大的开发量,在一个ETL过程中会涉及到多个操作步骤,如从不同数据源中提取出到本地,通过网络发送数据到目标域,装入Staging Area,再转换到ODS Area,进入数据仓库,通过层层汇总,再刷进Cube,因此在ETL开发时分主题就有很多方法,可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER,也可以按照各数据源中数据类型,也可从目标事实表出发以完成一个目标主题为主,或者多种方法综合使用来进行ETL主题划分。 在划分好主题后,每个主题都画出工作流程图来,对其流程结点进行操作描述。一个主题可以由一个Workflow和多个Mapping组成。对主题的Workflow和Mapping可以按照下面的表格进行描述。

informatica元数据解析(1)

Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。 Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。 Informatica通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。基于这些东西,我们即可以根据不同的需求查出自己需要的数据,也可以开发一些辅助的Infa应用程序。 .... FIRST_ERROR_MSG: No errors encountered. 用途:这是在查Session运行情况的最终要的表之一,可以最简便的得到Session是否运行正常及当初错时的首个错误简要信息,以及日志文件的位置 OPB_SRC: INFORMATICA DESIGNER中所定义的所有源 例如: SRC_ID: 12 SUBJ_ID: 27 FILE_NAME: AM_EQP_ASSESS SOURCE_NAME: AM_EQP_ASSESS 用途:通过Subj_Id的关联,可以查出每个Folder中所有定义了的源

OPB_SRC_FLD: INFORMATICA中源表的所有字段的定义 例如: FLDID: 82 SRC_ID: 12 SRC_NAME: FLAG_ID 用途:关联上表,得出该源表的所有字段,及其定义和相关属性值 OPB_SRV_LOC_VARS: INFORMATICA系统服务器配置中,所有的系统变量及变量的当前值例如: VAR_ID: 13 VAR_NAME: $PMRootDir VAR_VALUE: D:Program FilesInformatica PowerCenter 用途:查看当前服务器的所有系统变量及其当前值 OPB_SUBJECT: INFORMATICA中所有主题定义,即所有Folder的定义及相关属性例如: SUBJ_NAME: OAM SUBJ_ID: 2

Informatica配置与开发警告邮件解决方法

Informatica 警告邮件解决方案 (通过查询后台表监控 Session 运行情况) 作者:赵飞云 一、项目背景 (2) A.项目背景 (2) 二、Session 监控 (3) A.通常做法 (3) B.项目做法 (4) C.查询后台表 (5) D.查询出错任务 (6) E.判断是否有出错任务 (7) F.发送邮件 (8) G.邮件内容 (9) 三、Apache Ant (10) A.工具介绍 (10) B.环境配置 (10) C.环境配置 (11) D.主文件 (12) E.主文件 (13)

一、项目背景 A. 项目背景 本次项目是一个很小的BI 项目,数据源包括几个Oracle 数据库,数据仓库也建在Oracle 中,然后抽取到Essbase 11.1.1.3 ,然后提供给OBIEE 10 做报表展现。 本次项目的ETL 工具是Informatica 8.6.1 ,涉及到的数据源表和数据仓库表也不多,加起来也不过是一百多张表而已。 ETL 的顺序是:数据源表–> 落地表–> EDW 表–> DM 表–> Essbase 。

二、Session 监控 A. 通常做法 项目在开发测试阶段,每个Workflow 对应一个Session ,通过Monitor 监控运行结果。实际上线时,会在一个Workflow 中串联或并联多个Session ,而且一般管理员很少去Monitor 查看每天的运行情况。这就需要另外加上监控的功能。 如下图,通常的做法,是利用每个Session 配置中的Components 属性页来实现事后失败(或成功)时做某项操作,比如发送邮件,或者执行某个命令行(来发邮件或做其他动作)。我嫌这样做太麻烦,需要更改每一个Session ,改动太多,而且下次单个调试时还麻烦。 另外,如下图,按照Informatica 的官方文档,要使用Email 控件也有一大堆的麻烦,尤其如果要配置MAPI 的话,需要安装Microsoft Office Outlook ,还涉及到License 等问题。

Informatica开发手册

部门集市以及客服集市Informatica开发手册 更新历史:

目录 部门集市以及客服集市Informatica开发手册 (1) 一、Mapping开发 (3) 1.源表(文件)结构导入 (3) 2.目标表(文件)结构导入 (6) 3.Mapping开发 (8) 3.1.命名规则 (8) 3.2.源表 (8) 3.3.目标表 (8) 3.4.参数定义 (8) 3.5.表达式转换器(客服) (9) 3.6.调度存储过程(客服) (10) 二、Workflow/Session开发 (11) 1.Workflow/Seesion命名规则 (11) 2.Workflow参数设定 (11) 3.Session源文件设置 (12) 3.1.源文件名称设置 (12) 3.2.源文件路径设置 (12) 3.3.核实源文件分隔符、语言环境设置 (12) 4.Session目标表设置 (14) 4.1.目标表名称 (14) 4.2.目标表数据装载方式设置 (14) 4.3.拒绝文件名设置 (14) 4.4.目标文件名以及下发路径设置(客服) (15) 5.存储过程设置(客服) (15) 6.Lookup组件设置 (15) 7.Session日志存储数量设置 (15) 8.Session一次提交的数据量的设置 (16) 三、Workflow导出/导入 (17)

一、Mapping开发 1.源表(文件)结构导入 1.1.常用的数据源类型介绍 目前在传统行业中,使用Informatica进行ETL作业的源有两种,一种是数据库 中的表,一种是指定分隔符存储的平面文件。源数据类型可以在创建源表的时 候,可以进行选择,包括DB2/ORACL/File等,如下图: DB2数据库 文件 1.2.常用的创建源表方式 路径>>Designer->工具->Source Analyzer->源 1)手工创建:在没有现成测试文件、数据库表的情况下,进行手工创建,设置字段名称,字段类型,源数据类型。 Step 1手工创建源表,点击“编辑”就可以进入创建源表的相关页面。

相关主题
相关文档
最新文档