Informatica PowerCenter平台ETL开发规范

合集下载

ETL抽取工具Informatica介绍-1

ETL抽取工具Informatica介绍-1

VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica主要特点
• 1) 图形化设计,无需编码,快速开发和部署。 PowerCenter提供了一个可视化的、拥有丰富转换库的设计 工具,这个转换库使数据转换变成一个简单的“拖拽”过程 。使用PowerCenter,转换组件能够被合并到mapping对象中 ,独立于他们的数据源和目标,有近20种数据转换组件和近 百个函数可以调用,同时可以调用外部的过程和程序,实现 复杂的转化逻辑。 Informatica PowerCenter是完全图形化的开发,不需要有 语言基础也可上手,内部完全是图形化设置,不需在组件是 编写脚本语言。可通过简单的操作,完成此需求:
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
5个Client 个
• • • • • PowerCenter Designer:设计开发环境,定义源及目标数据结构;设计 转换规则,生成ETL映射 Workflow Manager:合理地实现复杂的ETL工作流,基于时间、事件的 作业调度 Workflow Monitor:监控Workflow和Session运行情况,生成日志和报 告 Repository Manager:资料库管理,包括安全性管理等,元数据维护和 安全操作,如:元数据查找,用户、组、权限管理等。 Repository Server Administrator Console:对知识库的操作,如: 知识库的创建、备份、恢复等。
ETL抽取工具Informatica介绍 ETL抽取工具Informatica介绍 抽取工具Informatica
VANDA CHINA VAS

INFORMATIC 开发规范

INFORMATIC 开发规范

Informatica项目开发规划冷鹏2006年9月1.引言以前看到过whyu小记写过Informatica的一个开发规范,觉得不错,也碰到外面一些项目组在参考他写的规范,非常好!我也碰到很多公司的项目组有非常不错的DW项目规范文档,只是很少有拿出来给大家参考共享的,觉得非常的遗憾!反观自己当时做JA V A、C、Web时,项目标准和规范都是成套的有下载。

所以在这里我呼吁大家可以将项目里敏感的内容去掉,将文档的骨头拿出来,让大家做项目吸取更多的经验,少走弯路,走更正规的路,毕竟大家都在这个圈子里混,都是做技术的,这个圈子如果长久都停留在这个水平,自己也不会走出圈子里这个水平。

我扒拉的这篇规范也算不上是什么规范,结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。

希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。

2.命名约定在进行Informatica开发规划时,对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则,官方的样例也有一些命名规划,我认为可以分个级别如Mapping、Session、Task这样的分为一个级别,统一以1个小写字母加下划线为规范,转换组件可以也可以为分为一个级别,以3个小写字母加下划线为规范。

如果不用命名规范也没多大关系,因为这些内容各自都有对应的Folder进行管理,比较好辨认。

2.1.组件命名2.2.其它命名3.主题说明往往在一个数据仓库项目内ETL都占了很大的开发量,在一个ETL过程中会涉及到多个操作步骤,如从不同数据源中提取出到本地,通过网络发送数据到目标域,装入Staging Area,再转换到ODS Area,进入数据仓库,通过层层汇总,再刷进Cube,因此在ETL开发时分主题就有很多方法,可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER,也可以按照各数据源中数据类型,也可从目标事实表出发以完成一个目标主题为主,或者多种方法综合使用来进行ETL主题划分。

Informatica 产品 PowerCenter介绍

Informatica 产品 PowerCenter介绍

集成技术
Data Integration Platform
实现方法
Integration Competency Center (ICC)
企业数据类型
Applications Databases Messages Flat files XML
Unstructured Data Mainframe
15
Informatica主要特点4 高开发效率
Provide UI information in template XML file
Template XML
Step 3
DI Developer
Meaningful use case specific wizard
Visio Mapping Template
Slowly Changing Dimension Wizard
Integrate Customer Analytics Data
Consolidate Customer Systems
Upgrade Sales Comp Systems
Integrate with Hewitt
数据获取形式
Enterprise Data Integration
体系架构
Service Oriented Architecture (SOA)
Server 2 Nodห้องสมุดไป่ตู้ 2
HA File System Shared Directory
Domain
Gateway
B
Log
B
HA Database
Integration P Repository B
? DB and shared directory are highly available

informatica开发基本过程ETL

informatica开发基本过程ETL

1、打开informatica设计器2、点击映射,——>再点击“创建”,即可创建新映射输入映射名称,再确定,完成创建3、由于一个完整的映射应该包含源表、转换、目标表,所以我先确定源表,导入到工具里面。

方法如下:点击放大镜图标再点击工具栏上的源(没有点击上面的放大镜图标就无法找到“源”)在“源”下拉列表点击“从数据库到入”,出现以下界面(图上有操作方法)导入目标表,先点击三角形图标,如下图再点击“目标”,在“目标”下拉列表点击“从数据库到入”,出现以下界面(操作方法同导入源表)4、点击下面红色框内的小图标,加入映射编辑对话拖入源表和目标表拖入表入下,(其中源表表结构不可编辑,转换组件可从工具栏中拖入)5、双击上述源表取数组建加入SQL语句,双击后,点击属性找到“SQL Query”行如下加入SQL语句注意:如的sql语句字段的顺序一点要与组件数据流入的的字段顺序一直,字段名也要一致编辑目标表的,方法:双击目标表,点击属性,就行编辑,如下6、保存,完成映射编辑7、点击,“W”图标,打开工作流编辑器8、找到上述映射所在的文件夹,右击——>打开(或双击)9新建会话,点击下列红框内的图标再点击“任务”在任务下拉框中,选择“创建”,出现以下对话框,输入任务名称,再点击创建选择映射最后点击完成10、编辑会话双击进入会话编辑界面,在点击“映射”编辑完成后,保存即完成编辑。

11、创建工作流,点击下列红框内图标,点击,“工作流”,再选择“工作流”下拉列表中的“创建”出现下列对话框,就行编辑或配置相关属性点击确定,有选择会话,拖入到编辑框中,如下示,拖入后如下,完成连接保存,即完成整个工作流12,运行右击编辑界面,或选择工作流右击,点击“启动工作流”。

etl开发流程和规范 (3)

etl开发流程和规范 (3)

etl开发流程和规范ETL(Extract, Transform, Load)是一种常见的数据处理方式,用于将数据从原始数据源提取、转换和加载到目标数据仓库或目标系统中。

下面是一般的ETL开发流程和规范:1. 需求分析阶段:- 确定数据源:确定原始数据的来源和格式,包括数据库、文件、API等。

- 确定需求:明确提取、转换和加载的具体需求,包括数据清洗、数据转换和数据加载的步骤。

2. 数据提取阶段:- 选择合适的提取工具:例如使用SQL语句、使用ETL工具(如Informatica、SSIS等)或使用编程语言(如Python、Java等)来提取数据。

- 提取数据:根据需求从数据源中提取数据,并进行必要的数据过滤和排序。

3. 数据转换阶段:- 数据清洗和预处理:清洗和处理数据中的异常值、缺失值、重复值等。

- 数据转换:将数据进行必要的转换和映射,包括数据类型转换、数据格式转换和数据字段补充等。

- 属性计算和聚合:根据需求进行属性计算和数据聚合,生成目标数据。

4. 数据加载阶段:- 目标表设计和创建:根据需求设计目标表结构,并在数据库中创建目标表。

- 数据加载:将转换后的数据加载到目标表中,可以使用插入语句、更新语句或者使用ETL工具来加载数据。

5. 数据验证和测试阶段:- 运行数据验证脚本:编写数据验证脚本,检查目标表中的数据是否符合预期。

- 进行测试:对ETL流程进行测试,包括单元测试、集成测试和性能测试等。

6. 调度和监控阶段:- 调度ETL作业:使用调度工具(如Control-M、rflow 等)配置ETL作业的调度时间和频率。

- 监控ETL作业:监控ETL作业的运行情况,包括运行状态、运行时间和错误日志等。

7. 文档和维护阶段:- 编写文档:记录ETL开发的流程、规范和配置信息,并编写相关的用户手册。

- 维护ETL作业:定期检查和维护ETL作业,包括数据字典的更新、作业调度的调整和性能的优化等。

InformaticaPowercenter基础开发实例

InformaticaPowercenter基础开发实例

Infa开发实例1实例:客户维表抽取(dim_customer)1.1数据库配置信息1.1.1数据源1.1.2目标库1.2详细设计1.2.1基础信息1.2.2口径说明1.3抽取步骤1.3.1定义源1.打开Designer,选择“源->从数据库导入”,导入源表结构2.选择“源->从数据库导入”后出现如下提示框,若未配置源数据库的odbc,则需要先配置,可点击如下图的“…”进行配置3.在弹出的ODBC中,选择系统DSN,添加按钮,选择想为其安装数据源的驱动程序4.这里我们选择oracle in oraclient10g_home1,弹出如下框,进行配置,tns service name为本机配置的tns连接,这里不再详述5.配置完我们可以点击测试,看是否能连通数据库6.配置完odbc,我们选择相应的odbc连接,输入用户名密码连接erp数据库,也可以在搜索栏填入指定的表,然后选择导入7.用同样的方式,我们将Hz_Parties表导入designer1.3.2定义目标1.导入目标表的方式与导入源的方式基本一致,首先选择“目标->从数据库导入”2.选择我们配置好的odbc,输入目标库的用户名,密码1.3.3创建映射1.选择“映射->创建”,输入映射的名称,映射命名建议以“M_目标表名_Inc”方式来创建2.创建完映射,将刚才导入的两张源表拖入映射工作区中3.将我们需要的字段拖入join组件中,并join组件设置两张表的关联条件4.双击source qualifier组件,在“属性”的sql query中点击“生成sql”,这样在任务抽取的时候,直接根据sql获取源表相应字段的数据,而不是将整张表的所有字段全部加载的informatica中4.生成的sql或者开发人员修改了sql后,可以点击“验证”,看sql的语法是否正确5.将序列号组件和目标表拖入到工作区中,并将我们通过join组件关联后需要的字段与目标表关联,序列号组件中的序列也与目标表中的rowid字段关联,与目标表关联后,整个映射工作也就完成了1.3.4定义任务1.打开workflow工具,选择“工作流->创建”,输入工作流名称,工作流命名建议以“WF_目标表名_Inc”的方式2.点击确定后,工作流创建成功,如下图所示1.3.5创建会话任务1.点击工具栏上的“session”组件按钮进行创建会话任务2.弹出如下选框,选择我们刚刚做好的映射,点击确定3.点击工具栏的“链接”组件,将“启动”与会话任务进行连接4.点击“连接->关系”进行数据库连接的配置5.点击“新建”,选择oracle然后选择确定6.在弹出的如下框中进行配置,连接字符串中的oracle_crp为服务器上对应的tns连接串7.双击会话任务,在映射选项中进行数据源和目标的配置8.在连接类型中选择我们配置好的数据源,源和目标的数据源都要一一配置,如下图9.目标表配置中,target load type属性中我们一般选择normal选项,bulk有时候会报错,对于维表的抽取,我们一般采用全量的方式抽取,所以勾选truncate target table属性1.3.6监控工作流1.工作流及会话任务创建完成后,在工作流空白工作区右键->启动工作流2.启动workflow monitor,可以监控工作流的执行情况2实例:收入分析事实表抽取(ft_income_structure)2.1数据库配置信息2.1.1数据源2.1.2目标库2.2详细设计2.2.1基础信息2.2.2口径说明HZ_CUST_ACCOUNTS RAC,gl_code_combinations gcc,FND_FLEX_VALUE_SETS FFS,FND_FLEX_VALUES_VL FFV,mtl_system_items_b msiwhere ct.customer_trx_id = ctl.customer_trx_idand gd.customer_trx_id = ct.customer_trx_idand gd.customer_trx_line_id = ctl.customer_trx_line_idand hp.party_id = rac.party_idand ct.bill_to_customer_id = rac.cust_account_idand gd.account_class = 'REV'and gd.amount isnotnulland gd.amount <>0and gcc.code_combination_id = gd.code_combination_idAND gcc.chart_of_accounts_id = 50368and FFS.FLEX_VALUE_SET_ID = 1014869and FFV.FLEX_VALUE_SET_ID = FFS.FLEX_VALUE_SET_ID and FFV.Flex_Value = gcc.segment3and substr(ffv.FLEX_VALUE, 1, 1) = '6'and anization_id = 81and msi.inventory_item_id = ctl.inventory_item_idgroupby rac.account_number,2.3抽取步骤2.3.1定义源1.由于抽取任务涉及源表过多,关联关系复杂,并且已经写出数据的sql口径,我们直接获取sql语句生成的数据即可,点击“源->创建”,输入创建表的名称2.双击我们创建出来的表,添加表字段2.3.2定义目标参照1.3.2,导入后如图所示2.3.3创建映射1.参照1.3.3的方式创建映射2.在source qualifier中的写入我们写好的sql口径2.3.4定义任务参照1.3.42.3.5创建会话任务参照1.3.52.3.6监控工作流参照1.3.6。

Informatica+PowerCenter开发配置手册

Informatica+PowerCenter开发配置手册

Informatica PowerCenter Developer Platform开发配置手册编写: 冷鹏版本: 1.1状态:初稿日期:2008年5月29日该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤,针对开发调试中出现的错误信息提出解决办法。

版权信息:© Copyright DigitalChina 2008.本文档未经许可,任何单位及个人不得传播、涉露本文档信息,违者必究编写历史目录1介绍 (4)1.1背景 (4)2开发平台安装 (5)2.1安装准备 (5)2.2安装步骤 (5)2.3配置说明 (7)2.3.1 环境变量 (7)2.3.2 相关文件拷贝 (8)2.3.3 端口号配置 (8)2.3.4 样本脚本修改 (9)3样例介绍 (10)3.1JAVA应用程序样例 (11)3.2Web JSP应用样例 (14)4参考 (19)4.1示例参考 (19)4.2示例参考 (19)1 介绍1.1 背景由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中,如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。

而目前向Informatica Service发送任务请求的途径有3种方式,一种是常用的Informatica Client方式,如PowerCenter Workflow Manager执行任务调度;一种是命令行方式,如通过PMCMD方式执行StartWorkflow;还有一种就是通过Developer Platform API接口方式来执行任务调用,可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用,这样可将ETL功能与企业原应用系统整合起来。

因此该文档是基于第3种方式,力求给这些用户在安装配置InformaticaPowerCenter Developer Platform时一些帮助,文档是基于Informatica PowerCenter DeveloperPlatform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍,针对开发调试中出现的错误信息提出析疑。

informatica+powercenter8.6简易使用手册

informatica+powercenter8.6简易使用手册

informatica powercenter8.6 简易使用手册(Windows)2009年9月27日目录第1章简介 (3)1.1概念 (3)1.2作用 (3)第2章安装配置 (5)2.1下载 (5)2.2服务器安装 (6)2.3客户端安装 (17)2.4服务器配置 (22)2.5客户端介绍 (27)第1章简介1.1 概念Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台,也是业界领先的ETL工具。

Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据,用来建立、部署、管理企业的数据仓库,从而帮助企业做出快速、正确的决策。

此产品为满足企业级要求而设计,可以提供企业部门的数据和电子商务数据源之间的集成,如XML,网站日志,关系型数据,主机和遗留系统等数据源。

此平台性能可以满足企业分析最严格的要求。

Informatica PowerCenter 是建立可伸缩和可扩展的Informatica数据集成平台的核心和基础。

与Informatica PowerConnect产品一起使用,Informatica PowerCenter 可以提供对广泛的应用和数据源的支持,包括对ERP系统的支持(Oracle, PeopleSoft, SAP),对CRM系统的支持(Siebel),对电子商务数据的支持(XML, MQ Series),遗留系统,及主机数据。

Informatica PowerCenter 是最突出的分析性数据集成平台。

Informatica PowerCenter 是一个可以使大的企业或组织能够按其复杂的业务信息需求,读取、转换、集成遗留系统、关系型ERP,CRM,消息信息和电子商务数据的数据集成平台。

1.2 作用数据整合引擎Informatica PowerCenter拥有一个功能强大的数据整合引擎,所有的数据抽取转换、整合、装载的功能都是在内存中执行的,不需要开发者手工编写这些过程的代码。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Informatica PowerCenter平台ETL开发规范January 12, 2010广州安正软件科技有限公司BusinessMatrix Information System Corporation.文档历史记录变更历史审阅分发文档目录1.文档介绍 (5)1.1文档目的 (5)1.2适用范围 (5)1.3文档读者 (5)1.4参考文献 (5)1.5术语与缩写解释 (5)2.POWERCENTER平台介绍 (6)3.环境介绍 (7)3.1概述 (7)3.2开发环境 (7)3.3测试环境 (7)3.4生产环境 (7)3.5数据库账号 (7)3.6数据连接 (8)3.7参数文件 (8)4.通用规范 (14)4.1I NFORMATICA文件夹配置 (14)4.2操作系统文件夹配置 (14)4.3S ESSION配置项 (15)4.4I NFORMATICA用户配置 (15)4.5ETL转换规则说明 (15)4.6从平面文件导入数据 (15)4.7从数据库导入数据 (16)4.8从数据库导入数据结构 (16)4.9注释 (16)4.10日志文件 (16)4.11出错处理与通知 (17)5.命名规范 (18)5.1概述 (18)5.2F OLDER (18)5.3M APPING (18)5.4S ESSION (19)5.5W ORKFLOW (19)5.6S OURCE D EFINITION (19)5.7T ARGET D EFINITION (20)5.8A GGREGATOR (20)5.9E XPRESSION (21)5.10F ILTER (21)5.11J OINER (21)5.12L OOKUP (21)5.13N ORMALIZER (22)5.14R ANK (22)5.15R OUTER (22)5.16S EQUENCE G ENERATOR (22)5.17S ORTER (23)5.18S OURCE Q UALIFIER (23)5.19S TORED P ROCEDURE (23)5.20U PDATE S TRATEGY (23)5.21M APPLET (24)5.22I NPUT T RANFORMATION (M APPLET O NLY) (24)5.23O UTPUT T RANFORMATION (M APPLET O NLY) (25)5.24D ATABASE C ONNECTIONS (25)5.25FTP C ONNECTIONS (25)6.常用SQL知识介绍 (25)6.1NOT IN与MINUS (25)6.2多表连接中的条件限制(WHERE AND ON) (25)6.3游标尽量少使用 (27)6.4异常捕捉 (27)7.SQL编写规范 (27)7.1原则定义 (27)7.2大小写规则 (28)7.3缩进与换行 (28)7.4别名 (29)7.5运算符前后间隔要求 (29)7.6变量引用 (30)7.7注释 (30)7.8其它 (31)8.脚本编写规范 (31)8.1U LTRA E DIT (31)8.2SHELL (32)9.ETL开发流程 (32)9.1ETL开发流程 (32)9.2文档编写要求 (32)10.版本控制 (33)11.ETL程序迁移 (34)12.环境准备过程 (34)12.1创建用户 (34)12.2开发环境准备 (34)12.3测试环境准备 (35)12.4生产环境资准备 (35)13.性能调优 (35)13.1I NFORMATICA性能调优步骤 (35)13.2聚合 (35)13.3其他 (36)1. 文档介绍1.1 文档目的本文档主要描述了ETL开发人员在Informatica PowerCenter平台开发Mapping、Session和Workflow需要遵循的统一标准,使得不同项目不同开发人员在Informatica PowerCenter平台交付的ETL程序符合同一标准。

1.2 适用范围本规范适用于所有使用Informatica PowerCenter工具开发的项目。

1.3 文档读者本规范面向ETL设计人员、ETL开发人员。

1.4 参考文献1. 《Informatica PowerCenter官方命名规范》2. 《Informatica_Standards.doc》1.5 术语与缩写解释无。

2. PowerCenter平台介绍Informatica PowerCenter产品是Informatica公司推出的ETL开发工具,主要包括服务器端和客户端两部分组件:●服务器端✧Informatica Service:PowerCenter服务引擎,是PowerCenter的核心服务,其他服务依赖于此服务。

✧Integration Service:数据抽取、转换、加载服务,是PowerCenter ETL程序运行必不可少的服务。

✧Repository Service:元数据资料库服务,提供对PowerCenter所有元数据的存取管理支持。

●客户端✧PowerCenter Designer:Mapping设计开发环境,定义源及目标数据结构,设计转换规则,生成ETL映射✧Workflow Manager:实现ETL工作流(包括Session、Task、Worklet、Workflow的开发),基于时间与事件的作业调度✧Workflow Monitor:监控Workflow和Session运行情况,生成日志和报告✧Repository Manager:资料库管理,包括文件夹创建与删除、Mapping等ETL程序的导入和导出、用户安全性管理等✧Repository Server Administrator Console:资料库的建立与维护,提供B/S访问方式说明:在实际项目中,仅使用Workflow Manager实现简单工作流的开发,而把Workflow之间的调度管理依靠iMatrix调度平台实现。

BusinessMatrix Information System Corporation 2006 April 27, 20223. 环境介绍3.1 概述Informatica PowerCenter在项目中按用途划分,可以包括开发、测试、生产三套环境,每套环境都是按Client/Server方式部署的。

在每套环境都有独立的Informatica Service、Integration Service、Repository Service服务,并且资料库也分别部署,并且三套环境之间的网络是隔离的,互相不能访问。

说明:如非项目特别要求,需要遵循上述约定。

3.2 开发环境Informatica PowerCenter开发环境主要用于ETL开发人员在项目开发阶段实现Mapping、Session、Workflow的开发、单元测试和联调测试。

对于开发环境的所有开发成果要求每天工作结束后对资料库所有文件夹做一次全备份。

3.3 测试环境Informatica PowerCenter测试环境主要用于项目用户测试用途,其中的所有ETL程序均都需要从开发环境导入。

此环境的ETL程序变更是受控的,不允许ETL开发人员在此环境直接修改ETL程序,特殊情况下可以在此环境调试程序,但也是严格受控的。

3.4 生产环境Informatica PowerCenter生产环境主要用于支持投产系统的ETL运行,其中所有的ETL程序均需要从开发环境导入。

此环境的ETL程序是不允许ETL开发人员直接修改的,必须由管理员和操作员导入。

3.5 数据库账号数据库账号在Informatica环境中有两个地方会用到,一是在PowerCenter Designer开发mapping 时需要连接到数据库读取源和目标表的结构定义,二是Workflow Manager中测试时需要定义数据连接,这写数据连接必须由管理员添加和修改。

3.6 数据连接在Workflow Manager要运行Workflow,必须为session指定其引用到的源和目标对应的数据库连接,而这些数据库连接需要预先由管理员在Workflow Manager中添加。

对于Session引用的源与目标库数据连接,严禁直接写数据连接名称,必须采用连接变量的方式,连接变量在参数文件中定义,连接变量的命名必须符合“$DBConnection_xxx”格式(其中xxx为要连接到的系统简称)。

3.7 参数文件在PowerCenter Mapping、Task、Workflow通过参数变量的支持可以实现动态参数值的注入,但这些参数变量的取值必须在参数文件中定义,运行时Informatica会从指定的参数文件读取参数变量的值。

严格禁止在设计阶段为参数变量设置默认值,参数变量的取值需要从参数文件获得,参数文件禁止将参数值指定到session级别(首次存量的参数文件不限制),如果同一workflow的两个session的参数需要使用不同的参数值,应该使用不同的参数名。

参数文件包括一个初始参数文件、多个首次全量加载参数文件、多个增量加载动态参数文件三种:✧初始参数文件用于定义全局参数,需在上线前确定,其命名为“param_init.cfg”✧全量加载参数文件主要用于首次全量加载,需在上线前手工编制,按“param_xxx_batch_a.cfg”命名(xxx为数据处理批次简称,例如:subta表示分TA批量处理批次)✧动态参数文件包括在增量加载程序运行阶段可能会改变的变量定义,在增量加载过程ETL程序会自动更新文件数据,按“param_xxx_batch.cfg”(xxx为数据处理批次简称,例如:subta表示分TA批量处理批次)命名。

附:1. param_init.cfg文件的示例:[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142 $DBConnection_ods=ods2_ods_ods3_172_16_3_190 $DBConnection_dw=ods2_ods_dw3_172_16_3_190 $DBConnection_downfile=ods2_ods_down3_172_16_3_190 $DBConnection_subta=htfcrm_hsta_ods_172_16_4_142 $DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142 $DBConnection_ec=htfcrm_ec_ods_172_16_4_142 $DBConnection_hec=htfcrm_hec_ods_172_16_4_142 $DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142 $DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142 $DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142 $DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142 $DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile$$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3mplt_transform_tradetype_subta.$$schema_ods=ods_ods3mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247[ods.WF:wf_precond_crm_call]$$srcsys=CC$$dwnframe=3$$condtype=CALL2. 全量加载参数文件示例:[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142$DBConnection_ods=ods2_ods_ods3_172_16_3_190$DBConnection_dw=ods2_ods_dw3_172_16_3_190$DBConnection_downfile=ods2_ods_down3_172_16_3_190 $DBConnection_subta=htfcrm_hsta_ods_172_16_4_142$DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142$DBConnection_ec=htfcrm_ec_ods_172_16_4_142 $DBConnection_hec=htfcrm_hec_ods_172_16_4_142 $DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142 $DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142 $DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142 $DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142 $DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile$$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3mplt_transform_tradetype_subta.$$schema_ods=ods_ods3mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247$$batchno=10$$startdate=20090101$$enddate=20100820$$pubtheme=DC[crmdwn.WF:wf_dwn_crm_tcustomerinfochange]$$srcsys=CC$$dwnframe=4$$preserialno=03. 增量加载动态参数文件示例:[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142$DBConnection_ods=ods2_ods_ods3_172_16_3_190$DBConnection_dw=ods2_ods_dw3_172_16_3_190$DBConnection_downfile=ods2_ods_down3_172_16_3_190$DBConnection_subta=htfcrm_hsta_ods_172_16_4_142$DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142$DBConnection_ec=htfcrm_ec_ods_172_16_4_142$DBConnection_hec=htfcrm_hec_ods_172_16_4_142$DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142$DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142$DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142$DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142$DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile $$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3 mplt_transform_tradetype_subta.$$schema_ods=ods_ods3 mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247$$batchno=100$$startdate=20100821$$enddate=20100823$$tano=47$$pubtheme=SELFTA[dw.WF:wf_dim_ration_sa_selfta]$$tablename=DIM_RATION_SA[dw.WF:wf_fact_ration_agrmntcount_m_selfta] $$startdate=201006$$enddate=2010084. 通用规范4.1 Informatica文件夹配置登录Informatica Administration Console主页面,在Integration Service服务节点下的“Processes”页配置Informatica文件夹:$PMRootDir: G:\Informatica\PowerCenter8.6.1\server\infa_shared$PMSessionLogDir: $PMRootDir/SessLogs$PMBadFileDir: $PMRootDir/BadFiles$PMCacheDir: $PMRootDir/Cache$PMTargetFileDir: $PMRootDir/TgFiles$PMSourceFileDir: $PMRootDir/SrcFiles$PMExtProcDir: ./ExtProc$PMTempDir: $PMRootDir/Temp$PMWorkflowLogDir: $PMRootDir/WorkflowLogs$PMLookupFileDir: $PMRootDir/LkpFiles$PMStorageDir: $PMRootDir/Storage上述变量中:✧$PMRootDir:Informatica工作文件的根目录,建议将此目录调整到用户自定义目录下✧$PMSessionLogDir:Informatica Session运行日志存储目录✧$PMBadFileDir:Informatica Session运行被拒绝错误数据存储目录✧$PMCacheDir:Informatica缓存文件目录✧$PMTargetFileDir:Informatica 目标文件存储目录✧$PMSourceFileDir:Informatica源文件存储目录✧$PMTempDir:Informatica临时文件存储目录✧$PMWorkflowLogDir:Informatica workflow运行日志文件存储目录✧$PMLookupFileDir:Informatica Lookup生成文件存储目录4.2 操作系统文件夹配置对于用到的Unix/Windows文件夹(备份文件夹、源文本下载文件夹、数据库数据文件存储文件夹等),需要向管理员申请开立。

相关文档
最新文档