Informatica 学习

Informatica 学习
Informatica 学习

1. Informatica client PC 工具介绍

2. Informatica 工作流

整理流程:创建mapping →创建workflow →运行 具体流程:

创建数据源 创建数据目标 创建mapping 创建session

创建workflow

3. 数据源结构

PowerCenter Designer Workflow Manager

Source Analyzer: 设定当前的工作区为Source Analyzer

在 Source Analyzer 中引入和创建源表结构,如:平面文件, XML, COBOL, Application 以及关系

型数据源。

TargetDesigner: 设定当前的工作区为Warehuse Designer

使用Target Designer 定义目标结构,如:关系型表, 平面文件, XML 文件等。可以从关系

型数据库、平面文件中引入结构,或者手工创建。

Transformation Developer: 设定当前的工作区为Transformation Developer

使用Transformation Developer 来创建可复用的组件

Mapplet Designer: 设定当前的工作区为Mapplet Designer

使用Mapplet Designer 来创建mapplet,Mapplet就是一系列可包含源结构以及转换组件的可复

用逻辑。

Mapping Designer: 设定当前的工作区为Mapping Designer

使用Mapping Designer 来创建mapping,mapping 就是一系列包括源、目标以及转换组件的逻辑组合,在这里面实现了数据转换的规则。

引入数据源结构有两种方法:

引入1、点击 Source Analyzer,引入已经存在的数据源表结构。

数据源可以是 RDBMS、Flat file、Cobol file、XML file、ERP(SAP 等)等

对于 RDBMS、Excel 等数据源需要定义ODBC,通过ODBC 连接

Owner name is the schema name (database name).

按照图中标注操作,数据源结构就显示在 Source Analyzer 工作区

2、手工创建表结构

在 Source Analyzer 状态下,从菜单Sources->Create,弹出下面的界面:

在上面的界面中选择Database type,输入Table name,然后点击Create->Done,这样就

创建

了一个空的结构。双击或“Edit”,进入Column 定义界面,具体参见下图:

数据源表结构引入后,就需要保存。

7. Step4:引入目标结构

接下来引入目标结构。

在图Workspace_1 点击Warehouse Desinger,引入目标结构的过程同“引入数据源结构”。图

Workspace_2 的界面就由“Sources”变成了“Targets”。

【补充:】目标结构可以手动定义,然后进行创建。创建的方法参见“6 Step4:引入数据

源结构”的

第2 条说明。根据说明创建了一个目标表结构,然后通过菜单Targets->Generate/Execute SQL…,见

下图:

在此界面中,可以生成 SQL 文件,也可以通过连接数据库生成物理表(Generate and execute)

引入目标结构后,保存。

到此,数据源结构和目标结构都已经引入,接下来就可以设计Mapping 了。

Mapping 是ETL 设计的开始,是具体的ETL 规则设计,它包含三方面的信息:数据源信息、转换信

息、目标信息。在Mapping 中,主要工作就是转换。Informatica PowerCenter提供了20 多

种组件,100 多

个转换函数,基本上能够满足正常的需求;另外还可以调用外部的存储过程等。

此处举一个简单的例子,用来说明 Mapping 设计流程。

需求描述:

数据源是 Customer 表,字段有CUST_ID、CUST_NAME 等,目标是ODS_CUSTOMER_ACTIVE,结

构完全一样;转换的规则是将Customer.CUST_Name分别加一后缀“ _AA ”后赋给

ODS_Customer.CUST_Name,其它数据原样加载。

设计思路:

从需求看,转换部分需要使用表达式组件,负责CUST_Name字符串处理。在表达式组件中增加一新

的字段,用来作为存储转换后的表达式结果,新的字段是CUST_Name_OUT,这个字段作为输出字段,输

入字段就是CUST_Name(可以直接用鼠标从Source Qualifier 将字段拖入表达式组件),转换的表达式即

CUST_Name||’_AA’。

1)点击 Mapping Designer,将数据源和目标拖入工作区

2)创建表达式组件,方法有二:

①在工具栏处点击表达式组件,图标见下,直接拖入 Mapping Designer 工作区

②或者在菜单 Transformation->Create,出现下面的界面

9. Step6::设计Workflow

首先要连接资料库和打开Folder,具体参加Step1 和Step2

设计Workflow 有三个主要环节:

1) 生成Session(对应一个Mapping)

2) 建立数据源和目标的连接

3) 修改Session 对应Mapping

首先介绍一下工作区,见下图:

Task Developer: 设置当前工作区为 Task Developer

有三种类型的任务(Tasks):

Session - 对应Mapping 的实际的数据抽取任务

Command - 在Workflow 中调用操作系统的命令

Email - 在Workflow 中发送email

Worklet Designer: 设置当前工作区为Worklet Designer

Worklet是一组任务的组合,它可以作为复用逻辑在多个Workflow 中调用。

Workflow Designer: 设置当前工作区为 Workflow Designer

Workflow 是一组任务的指令,存储在知识库中,告诉Informatica Server 如何执行抽取任务。1)点击 Workflow Designer,进入Wokflow设计工作区

2)利用向导创建 Workflow,从菜单Workflow->Wizard,分三步:

Workflow:第一步输入 Workflow 名字和选择Informatica Server

workflow-->edit task : mapping-->file writer(TD的load是Mload的), 需要file writer 然后再选择loader.“Relational writer" ODBC连接.

Workflow:第二步选择已经做好的Mapping

Workflow:第三步设置调度信息

最后形成一个简单的工作流,见下图:

3)配置数据源和目标连接

具体参见“Informatica_Training_Chinese”

4)配置Session 对应的数据源和目标连接信息

在Workflow Designer 工作区选中2)创建的Session:s_m_test1,双击或者右键编辑(Edit),见下

图:

打开后,所见如图 Workspace_6,选择Mapping,此时就需要配置Source 和Target 的信息。按照图中

标注的数字顺序操作配置数据源连接信息:在2 处选择已经配置的数据连接,此处的例子连接是sql_sdbu。

目标连接信息的操作同数据源配置过程,选择3,然后也是在2 处选择已经配置好的目标连接。

5)确定,保存

到此一个简单的工作流设计就完成了。一个完整而复杂的工作流涉及到并行与串行,任务分支与连线

状态的判断,时间和事件触发并存。工作流中Task 的具体说明可以参见

“Informatica_Training_Chinese”。

10. Step7:运行Workflow在工作区右键,出现下面的菜单,点击“Start Workflow”

工作开始运行,此时会打开作业监控界面,见 Step8

11. Step8:查看作业运行情况

作业运行界面见下:

在 workflow monitor 中有两种视图:一是Gantt Chart:甘特图的方式显示;一是Task View:以任务列

表的方式显示,图 Workspace_8 显示的就是Task_View方式。

监控的信息包括任务名称、开始时间、结束时间、进程状态、处理的记录数、吞吐量等。

双击s_m_test1

查看详细信息,见下图:

可以看到数据处理的相关信息

如果还想看到具体的信息,可以查看Session Log,右键s_m_test1,在弹出的菜单中,选

择“Get Session

Log”。如果任务失败,Session Log 显得更重要了,它详细记录了每一个环节,包括错误

信息。

Informatica-Powercenter基础开发实例

Informatica-Powercenter基础开发实例

Infa开发实例1实例:客户维表抽取(dim_customer)1.1数据库配置信息 1.1.1数据源 数据库类型oracle 服务器 IP 10.1.0.112 访问 IP 访问用户 系统性 质 xxx系统 数据库数据库名 称(SID) 用户名密码Oracle dev Abc Abc 1.1.2目标库 数据库类型oracle 服务器 IP 10.1.0.113 访问 IP 访问用户系统性数据仓库

质 数据库数据库名 称(SID) 用户名密码Oracle dev DW DW 1.2详细设计 1.2.1基础信息 目标位置:数据仓库 实现目标:抽取客户维表数据进入数据仓库供BIEE平台展现 功能要求: 目标表名:dim_customer 来源表:Hz_Parties、hz_cust_accounts 数据筛选条件: 数据更新频率:每月 1.2.2口径说明 字段名字段类型字段描述数据源字段转换规则备注row_id number 序号 market_cod e varchar2(50 ) 市场编码 market_nam e varchar2(10 0) 市场名称 customer_c ode varchar2(50 ) 客户编码hz_cust_accou nts account_n umber customer_n ame varchar2(20 0) 客户名称 Hz_Parties party_nam e 取数规则: select rownum,'','',hca.account_number,ap.party_name from Hz_Parties ap, hz_cust_accounts hca where ap.party_id = hca.party_id

Informatica快速入门

1Informatica概述 (3) 2安装Informatica8.6.1 (3) 2.1服务端安装 (3) 2.2客户端安装 (7) 3配置管理服务器 (9) 3.1创建知识库和集成服务 (9) 3.2客户端到集成服务端的连接 (12) 4PowerCenter Designer学习 (13) 4.1概念和基本定义 (13) 4.2Mapping设计和组件的使用 (15) 4.2.1实例一:聚合抽取 (15) 4.2.2实例二:取TOP前三条记录 (16) 4.2.3实例三:抽取XML源 (19) 4.3WorkFlow的设计和使用 (20) 4.3.1创建Session (20) 4.3.2设计WorkFlow (22) 4.4Repository Manager (23)

1 Informatica概述 Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。 详见文档: 2 安装Informatica8.6.1 这里以Informatica8.6.1为例: 2.1 服务端安装 找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下 点击安装

Informatica学习以及遇到的问题总结陈朋

深航Informatica学习总结 修改记录 编写2016/3/9 框架: 一、总体概述 ETL 包括 Extract 、 Transform 、 Cleaning 和 Load ,它是用于从生产库中提取数据到数据仓库中,再由具体的报表、统计、分析工具对数据仓库的内容进行分析,分析出自己所需要的数据。 其中 ETL 培训的内容是如何利用 Informatic PowerCenter 把源数据库的内容提取存放到目标数据库中,四部分 Client , Reposity Server , Reposity Database 和 Informatic Server 每个部分实现自己的功能。

二、系统体系结构 此部分介绍了 Informatic ETL 工具包括的主要内容。 1.Client Informatic Client 主要有五个部分。 Client 可以和 Reposity 分离,通过 TCP/IP 连接,连接到远程的 Reposity Server 。 2. Reposity Manager 主要用于进行一个 Reposity 库的管理,当用户使用 Client 工具登录一个 Reposity 服务器之后,进行文件夹权限的创建,用户权限、密码的管理等。 3. Designer 主要是进行数据抽取的转换工具的设计,主要是 mapping 的设计、设计源数据库的结构,目标数据库的结构,然后设计把源数据导入到目标数据库中,所需要进行的转换操作( Transformation )。 同一个 Reposity 的 folder 之间可以建立 shortcut 方式,多个 reposity 的 folder 之间只能做拷贝。 4. Workflow Manager 主要用于流程任务( workflow Task )的设计。 进行任务流程的设计、每一个 Tast 针对一个 Session ,一个 session 针对一个 mapping ,其中 workflow 中的 Folder 和 Designer 中的 folder 相对应的关系。一版来说,用户都是建立自己的 Folder 。 5. Workflow Monitor 主要进行流程运行、及任务运行时的流程运行情况跟踪。可以跟踪日志。包括 Session 日志和 Workflow 日志,可以设置生成日志的循环个数。分析 session 运行是对源数据库的数据抽出信息和对目标数据库的更新信息。 6. Reposity Server Application Console 主要进行 Reposity 的管理,包括 Reposity Server 的 start , shutdown 操作。进行 Reposity 库的 backup 、 restore 等操作,进行 Reposity 库级别的管理,级别较高。 7. Reposity Server Reposity server 是为客户端服务的,客户端可以和各种 client 不在一台服务器上。关于数据抽取的设计成果转换成为 XML 格式的源数据,都是通过 Reposity Server 存放到 Reposity Database Server 上的。 8. Reposity Database Server 用于存放的是进行 ETL 设计的元数据。可以支持各类的数据库。方式为数据库中用户的一个表目录和用户关系即可。 Reposity Database 可以和 Reposity server 不安装在一台服务器。如果在一台机器上, server 通过 native 方式连接到 database ,如果不在一台及其上,需要在 database 上安装一个 reposity agent ,用户通过 agent ,以 native 方式连接到 reposity 数据库,然后 reposity agent 再以 tcp/ip 方式连接到 reposity server 。 https://www.360docs.net/doc/913990303.html,rmatic Server Informatic server 是实际执行数据抽取任务的运行环境。即 workflows 、 task 、 sessions 等。它是根据定义的 workflow 元数据库,然后在自己的实际环境中,执行数据抽取操作。 三、系统组件功能 Informatic 的功能主要体现在 Designer 和 Workflow Manager 上,其中 Designer 实现的是

Informatica PowerCenter平台ETL开发规范

January 12, 2010 广州安正软件科技有限公司BusinessMatrix Information System Corporation.

文档历史记录变更历史 审阅 分发

文档目录 1.文档介绍 (5) 1.1文档目的 (5) 1.2适用范围 (5) 1.3文档读者 (5) 1.4参考文献 (5) 1.5术语与缩写解释 (5) 2.POWERCENTER平台介绍 (6) 3.环境介绍 (7) 3.1概述 (7) 3.2开发环境 (7) 3.3测试环境 (7) 3.4生产环境 (7) 3.5数据库账号 (7) 3.6数据连接 (8) 3.7参数文件 (8) 4.通用规范 (14) 4.1I NFORMATICA文件夹配置 (14) 4.2操作系统文件夹配置 (14) 4.3S ESSION配置项 (15) 4.4I NFORMATICA用户配置 (15) 4.5ETL转换规则说明 (15) 4.6从平面文件导入数据 (15) 4.7从数据库导入数据 (16) 4.8从数据库导入数据结构 (16) 4.9注释 (16) 4.10日志文件 (16) 4.11出错处理与通知 (17) 5.命名规范 (18) 5.1概述 (18) 5.2F OLDER (18) 5.3M APPING (18) 5.4S ESSION (19) 5.5W ORKFLOW (19) 5.6S OURCE D EFINITION (19) 5.7T ARGET D EFINITION (20) 5.8A GGREGATOR (20) 5.9E XPRESSION (21) 5.10F ILTER (21) 5.11J OINER (21) 5.12L OOKUP (21) 5.13N ORMALIZER (22) 5.14R ANK (22) 5.15R OUTER (22) 5.16S EQUENCE G ENERATOR (22) 5.17S ORTER (23) 5.18S OURCE Q UALIFIER (23)

Informatica PowerCenter 7.1 简易使用手册

Informatica PowerCenter 7.1 简易使用手册 原:神州数码 改:海联讯软件和集成中心 编辑人:张旭 2008 年11 月

目录 1. 使用Informatica PowerCenter 的准备工作 (3) 1.1 启动Informatica Repository Server 和Informatica Server (3) 1.2 创建资料库 (3) 1.3 创建Folder (3) 2. Informatica 客户端介绍 (3) 3. Informatica PowerCenter 工作流程 (5) 4. Step1:在Designer 中连接资料库 (5) 5. Step2:打开Folder (7) 6. Step3:引入数据源结构 (7) 7. Step4:引入目标结构 (10) 8. Step5:设计Mapping (11) 9. Step6::设计Workflow (16) 10. Step7:运行Workflow (20) 11. Step8:查看作业运行情况 (21)

1. 使用Informatica PowerCenter 的准备工作 配合本手册使用的有两个文档:一个是安装手册;一个是中文的培训资料(介绍各客户端工具的用法)。 具体的可以参照使用,此处不再赘述 1.1 启动Informatica Repository Server 和Informatica Server 安装配置完后,就可以启动Informatica Repository Server: 1、Windows 平台:控制面板-> 服务->启动Informatica Repository Server 和Informatica Server 2、UNIX 平台:启动Repository Server 在安装目录RepServer 下,运行pmrepserver 启动Informatica Server 在安装目录Server 下,运行pmserver 1.2 创建资料库 通过客户端Repository Server Administration Console 创建资料库 具体参见安装手册相关章节 1.3 创建Folder 通过客户端Repository Manager 创建Folder 具体参见安装手册相关章节 2. Informatica 客户端介绍 Informatica 提供基于对象的,无需编码的全图形化开发环境,最大地提高开发生产力,有5 个客户端工具: 3. Informatica PowerCenter 工作流程

informatica开发基本过程ETL

1、打开informatica设计器 2、点击映射,——>再点击“创建”,即可创建新映射 输入映射名称,再确定,完成创建 3、由于一个完整的映射应该包含源表、转换、目标表,所以我先确定源表,导入到工具里 面。方法如下:点击放大镜图标 再点击工具栏上的源(没有点击上面的放大镜图标就无法找到“源”) 在“源”下拉列表点击“从数据库到入”,出现以下界面(图上有操作方法)

导入目标表,先点击三角形图标,如下图 再点击“目标”,在“目标”下拉列表点击“从数据库到入”,出现以下界面(操作方法同导入源表) 4、点击下面红色框内的小图标,加入映射编辑对话 拖入源表和目标表 拖入表入下,(其中源表表结构不可编辑,转换组件可从工具栏中拖入)

5、双击上述源表取数组建加入SQL语句,双击后,点击属性 找到“SQL Query”行 如下加入SQL语句

注意:如的sql语句字段的顺序一点要与组件数据流入的的字段顺序一直,字段名也要一致编辑目标表的,方法:双击目标表,点击属性,就行编辑,如下 6、保存,完成映射编辑 7、点击,“W”图标,打开工作流编辑器 8、找到上述映射所在的文件夹,右击——>打开(或双击) 9新建会话,点击下列红框内的图标 再点击“任务” 在任务下拉框中,选择“创建”,出现以下对话框,输入任务名称,再点击创建 选择映射

最后点击完成 10、编辑会话 双击进入会话编辑界面,在点击“映射” 编辑完成后,保存即完成编辑。 11、创建工作流,点击下列红框内图标, 点击,“工作流”, 再选择“工作流”下拉列表中的“创建”

出现下列对话框,就行编辑或配置相关属性 点击确定,有 选择会话,拖入到编辑框中,如下示,

Informatica+PowerCenter开发配置手册

Informatica PowerCenter Developer Platform 开发配置手册 编写: 冷鹏 版本: 1.1 状态:初稿 日期:2008年5月29日 该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤,针对开发调试中出现的错误信息提出解决办法。 版权信息:? Copyright DigitalChina 2008. 本文档未经许可,任何单位及个人不得传播、涉露本文档信息,违者必究

编写历史

目录 1介绍 (4) 1.1背景 (4) 2开发平台安装 (5) 2.1安装准备 (5) 2.2安装步骤 (5) 2.3配置说明 (7) 2.3.1 环境变量 (7) 2.3.2 相关文件拷贝 (8) 2.3.3 端口号配置 (8) 2.3.4 样本脚本修改 (9) 3样例介绍 (10) 3.1JAVA应用程序样例 (11) 3.2Web JSP应用样例 (14) 4参考 (19) 4.1示例参考 (19) 4.2示例参考 (19)

1 介绍 1.1 背景 由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中,如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。而目前向 Informatica Service发送任务请求的途径有3种方式,一种是常用的Informatica Client方式,如PowerCenter Workflow Manager执行任务调度;一种是命令行方式,如通过PMCMD方式执行StartWorkflow;还有一种就是通过Developer Platform API接口方式来执行任务调用,可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用,这样可将ETL功能与企业原应用系统整合起来。因此该文档是基于第3种方式,力求给这些用户在安装配置Informatica PowerCenter Developer Platform时一些帮助,文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍,针对开发调试中出现的错误信息提出析疑。

利用informatica向导开发Mapping

利用informatica向导开发Mapping 作者:杨波 QQ:414792994 利用Informatica PowerCenter的Designer开发mapping的方式有多种,最常用的方式是直接create;另外一种方式是利用Designer提供的向导功能。informatica内置了完成几种最常用的功能的向导模式,利用向导模式,可以很快的开发一个mapping,这样,可以大大提高开发的效率。在这儿,我将对这几种向导做一个介绍。 Informatica一共提供了两种方法的向导:Getting started 和Slowly changing dimensions (缓慢变化维),其中第一个方法又提供了两种类型:Single Pass Through Mapping和Slow Growing Target;而Slowly changing dimensions类型提供了3种类型,下面,我对每一种类型做具体的介绍 方式一:Getting started 一.Single Pass Through Mapping(单个穿过的Maping) Getting started类型的向导提供的Single Pass Through Mapping方法是一种最简单的方式,翻译过来的意思是简单的单个穿过的Maping,它的作用能完成一个最基本的功能,也就是一个最简单mapping的功能,将源表的数据直接抽取到目标表中,它一共用了4个控件,在向导过程中,只要指定源,目标就可以了。 制作过程: 第一步:鼠标单击菜单mappings—wizards—Getting Started

Informatica快速入门

1Informatica概述 (3) 2安装Informatica8.6.1 (3) 2.1服务端安装 (3) 2.2客户端安装 (7) 3配置管理服务器 (9) 3.1创建知识库和集成服务 (9) 3.2客户端到集成服务端的连接 (11) 4PowerCenter Designer学习 (13) 4.1概念和基本定义 (13) 4.2Mapping设计和组件的使用 (15) 4.2.1实例一:聚合抽取 (15) 4.2.2实例二:取TOP前三条记录 (16) 4.2.3实例三:抽取XML源 (19) 4.3WorkFlow的设计和使用 (20) 4.3.1创建Session (20) 4.3.2设计WorkFlow (22) 4.4Repository Manager (23)

1 Informatica概述 Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。 详见文档: 2 安装Informatica8.6.1 这里以Informatica8.6.1为例: 2.1 服务端安装 找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下 点击安装

Informatica开发规范

神州数码(中国)有限公司 Informatica项目开发规划 冷鹏 2006年9月

1.引言 以前看到过whyu小记写过Informatica的一个开发规范,觉得不错,也碰到外面一些项目组在参考他写的规范,非常好!我也碰到很多公司的项目组有非常不错的DW项目规范文档,只是很少有拿出来给大家参考共享的,觉得非常的遗憾!反观自己当时做JA V A、C、Web时,项目标准和规范都是成套的有下载。所以在这里我呼吁大家可以将项目里敏感的内容去掉,将文档的骨头拿出来,让大家做项目吸取更多的经验,少走弯路,走更正规的路,毕竟大家都在这个圈子里混,都是做技术的,这个圈子如果长久都停留在这个水平,自己也不会走出圈子里这个水平。 我扒拉的这篇规范也算不上是什么规范,结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。 2.命名约定 在进行Informatica开发规划时,对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则,官方的样例也有一些命名规划,我认为可以分个级别如Mapping、Session、Task这样的分为一个级别,统一以1个小写字母加下划线为规范,转换组件可以也可以为分为一个级别,以3个小写字母加下划线为规范。如果不用命名规范也没多大关系,因为这些内容各自都有对应的Folder进行管理,比较好辨认。 2.1.组件命名

2.2.其它命名

3.主题说明 往往在一个数据仓库项目内ETL都占了很大的开发量,在一个ETL过程中会涉及到多个操作步骤,如从不同数据源中提取出到本地,通过网络发送数据到目标域,装入Staging Area,再转换到ODS Area,进入数据仓库,通过层层汇总,再刷进Cube,因此在ETL开发时分主题就有很多方法,可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER,也可以按照各数据源中数据类型,也可从目标事实表出发以完成一个目标主题为主,或者多种方法综合使用来进行ETL主题划分。 在划分好主题后,每个主题都画出工作流程图来,对其流程结点进行操作描述。一个主题可以由一个Workflow和多个Mapping组成。对主题的Workflow和Mapping可以按照下面的表格进行描述。

informatica元数据解析(1)

Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。 Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。 Informatica通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。基于这些东西,我们即可以根据不同的需求查出自己需要的数据,也可以开发一些辅助的Infa应用程序。 .... FIRST_ERROR_MSG: No errors encountered. 用途:这是在查Session运行情况的最终要的表之一,可以最简便的得到Session是否运行正常及当初错时的首个错误简要信息,以及日志文件的位置 OPB_SRC: INFORMATICA DESIGNER中所定义的所有源 例如: SRC_ID: 12 SUBJ_ID: 27 FILE_NAME: AM_EQP_ASSESS SOURCE_NAME: AM_EQP_ASSESS 用途:通过Subj_Id的关联,可以查出每个Folder中所有定义了的源

OPB_SRC_FLD: INFORMATICA中源表的所有字段的定义 例如: FLDID: 82 SRC_ID: 12 SRC_NAME: FLAG_ID 用途:关联上表,得出该源表的所有字段,及其定义和相关属性值 OPB_SRV_LOC_VARS: INFORMATICA系统服务器配置中,所有的系统变量及变量的当前值例如: VAR_ID: 13 VAR_NAME: $PMRootDir VAR_VALUE: D:Program FilesInformatica PowerCenter 用途:查看当前服务器的所有系统变量及其当前值 OPB_SUBJECT: INFORMATICA中所有主题定义,即所有Folder的定义及相关属性例如: SUBJ_NAME: OAM SUBJ_ID: 2

Informatica配置与开发警告邮件解决方法

Informatica 警告邮件解决方案 (通过查询后台表监控 Session 运行情况) 作者:赵飞云 一、项目背景 (2) A.项目背景 (2) 二、Session 监控 (3) A.通常做法 (3) B.项目做法 (4) C.查询后台表 (5) D.查询出错任务 (6) E.判断是否有出错任务 (7) F.发送邮件 (8) G.邮件内容 (9) 三、Apache Ant (10) A.工具介绍 (10) B.环境配置 (10) C.环境配置 (11) D.主文件 (12) E.主文件 (13)

一、项目背景 A. 项目背景 本次项目是一个很小的BI 项目,数据源包括几个Oracle 数据库,数据仓库也建在Oracle 中,然后抽取到Essbase 11.1.1.3 ,然后提供给OBIEE 10 做报表展现。 本次项目的ETL 工具是Informatica 8.6.1 ,涉及到的数据源表和数据仓库表也不多,加起来也不过是一百多张表而已。 ETL 的顺序是:数据源表–> 落地表–> EDW 表–> DM 表–> Essbase 。

二、Session 监控 A. 通常做法 项目在开发测试阶段,每个Workflow 对应一个Session ,通过Monitor 监控运行结果。实际上线时,会在一个Workflow 中串联或并联多个Session ,而且一般管理员很少去Monitor 查看每天的运行情况。这就需要另外加上监控的功能。 如下图,通常的做法,是利用每个Session 配置中的Components 属性页来实现事后失败(或成功)时做某项操作,比如发送邮件,或者执行某个命令行(来发邮件或做其他动作)。我嫌这样做太麻烦,需要更改每一个Session ,改动太多,而且下次单个调试时还麻烦。 另外,如下图,按照Informatica 的官方文档,要使用Email 控件也有一大堆的麻烦,尤其如果要配置MAPI 的话,需要安装Microsoft Office Outlook ,还涉及到License 等问题。

Informatica开发手册

部门集市以及客服集市Informatica开发手册 更新历史:

目录 部门集市以及客服集市Informatica开发手册 (1) 一、Mapping开发 (3) 1.源表(文件)结构导入 (3) 2.目标表(文件)结构导入 (6) 3.Mapping开发 (8) 3.1.命名规则 (8) 3.2.源表 (8) 3.3.目标表 (8) 3.4.参数定义 (8) 3.5.表达式转换器(客服) (9) 3.6.调度存储过程(客服) (10) 二、Workflow/Session开发 (11) 1.Workflow/Seesion命名规则 (11) 2.Workflow参数设定 (11) 3.Session源文件设置 (12) 3.1.源文件名称设置 (12) 3.2.源文件路径设置 (12) 3.3.核实源文件分隔符、语言环境设置 (12) 4.Session目标表设置 (14) 4.1.目标表名称 (14) 4.2.目标表数据装载方式设置 (14) 4.3.拒绝文件名设置 (14) 4.4.目标文件名以及下发路径设置(客服) (15) 5.存储过程设置(客服) (15) 6.Lookup组件设置 (15) 7.Session日志存储数量设置 (15) 8.Session一次提交的数据量的设置 (16) 三、Workflow导出/导入 (17)

一、Mapping开发 1.源表(文件)结构导入 1.1.常用的数据源类型介绍 目前在传统行业中,使用Informatica进行ETL作业的源有两种,一种是数据库 中的表,一种是指定分隔符存储的平面文件。源数据类型可以在创建源表的时 候,可以进行选择,包括DB2/ORACL/File等,如下图: DB2数据库 文件 1.2.常用的创建源表方式 路径>>Designer->工具->Source Analyzer->源 1)手工创建:在没有现成测试文件、数据库表的情况下,进行手工创建,设置字段名称,字段类型,源数据类型。 Step 1手工创建源表,点击“编辑”就可以进入创建源表的相关页面。

相关主题
相关文档
最新文档