Informatica元数据管理..
主数据管理和数据迁移-Informatica
白皮书主数据管理和数据迁移本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息（“机密信息”），事先未经Informatica 的书面同意，不得进行拷贝、散发、复印或以任何其它方式复制。
尽管我们尽最大努力确保本文档中信息的准确性和完整性，但仍可能存在一些印刷错误或技术误差。
如因使用本文档所含信息而造成任何损失，Informatica 概不负责。
本文档中包含的信息随时可能更改，恕不另行通知。
Informatica 自行决定将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中，并自行决定任何此类发布或升级的时间安排。
受下列一项或多项美国专利保护：6,032,158；5,794,246；6,014,670；6,339,775；6,044,374；6,208,990；6,850,947；6,895,471；或受下列正在申请的美国专利保护：09/644,280；10/966,046；10/727,700。
此版本发布于 2014 年 11 月白皮书目录MDM 对数据迁移为何至关重要 (2)第 1 个问题：进行苹果与苹果的比较 (2)按时启动：中间步骤 (3)案例：若干产品 (4)第 2 个问题：质量至关重要 (4)案例：整合公司总部系统和本地系统 (5)数据迁移是提升 MDM 价值的途径 (5)主数据管理和数据迁移1本白皮书描述主数据管理对数据迁移项目日益增长的重要性、有用之处和最佳部署选项，其中包括相关案例研究。
MDM 对数据迁移为何至关重要每个新系统均需要数据来促进活动的启动。
大多数新系统需要若干数据。
如今，除了通过邮局地址文件等外部源丰富新系统以外，我们正在将大量遗留源中的数据迁移至新系统。
Informatica 数据迁移工具套件将部署一整套技术和最佳实践流程，旨在解决当今数据迁移场景中涌现的一系列挑战。
但首先，我们一起来看看市场背景。
尽管目标系统可能会涵盖各种功能，但数据源就好比是烟囱式解决方案，每一款解决方案均围绕不同的业务流程、不同的业务领域而设计。
Informatica元数据管理..
7
CWM元模型的包结构
管理
仓库过程
分析
仓库操作 数据 挖掘
转换
资源
OLAP 分析
信息可视化
业务术语
对象 (UML) 关系型资源
数据 类型
记录型
键 索引
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础，行为元素，模型管理)
8
元数据基础知识
MM软件架构
MM软件特点 元数据应用案例
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
20
可扩展的Web-Based体系结构--灵活的开发和部署
• • •
百分之百基于Web J2EE兼容平台 内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
9
Informatica Metadata Manager 体系结构
Data Modeling
Metadata
Custom Metadata Metadata
Business Intelligence
Metadata Manager
Sources
Metadata Metadata
Targets
Metadata
ETL BI
- PowerCenter 6.x, 7.x*
- PowerMart 6.x, 7.x*
INFORMATICA总结
Informatica总结rmatica中关键词：(一)源表：即源表来自于数据库的表，例如在job100下面的源表是一些PRPCmain、CD码表、ODS表等一些表主要是来自于核心生产库中的表；job200下面的源表是些CD、ODS、MID表；job300下面的源表主要是CD、ODS、MID、olap表。
(二)元数据:元数据就是来自于数据库的基本表,起初的表(三)目标表：在执行完一个job后最终将数据存储在的表即目标表。
(四)映射：简单来讲将源表的数据导入目标表的过程就是一个映射。
(五)工作集：在一个job中执行的转化其中的每一个过程就相当于一个工作集。
(六)工作流：相当于在kettle中执行一个job的过程。
2.designer界面主要是定义源表和目标表生成映射的过程。
3.workflow界面编辑工作集执行工作流的过程。
4.monitor界面主要是为了执行完工作流之后查看工作日志的过程。
关于数据库方面(1).在Informatica中创建源和目标表的时候：在designer中创建源:来自于核心生产库在本地的配置文件中进行配置创建目标表:来自MIS生产库或者是测试库在本地的配置文件中进行配置根据这个路径E:\oracle\product\10.2.0\db_1\network\admin\tnsnames.ora找出.ora文件(2)创建工作流和工作集的时候:在workflow中,在进行启动的时候：在进行刷数参数配置在C:\Windows\System32\drivers\etc添加88.22.34.188 zj-misetl路径：/home/info_param data_param_test.txt文件是在windows32相对应的文件夹的下面在启动工作流的时候:配置数据库的文件不在本地文件中而是在Linux系统下面所以需要和Linux系统相连，通过xftp连接Linux系统，找到配置数据库的时候需要的文件。
Informatica 产品 PowerCenter介绍
集成技术
Data Integration Platform
实现方法
Integration Competency Center (ICC)
企业数据类型
Applications Databases Messages Flat files XML
Unstructured Data Mainframe
15
Informatica主要特点4 高开发效率
Provide UI information in template XML file
Template XML
Step 3
DI Developer
Meaningful use case specific wizard
Visio Mapping Template
Slowly Changing Dimension Wizard
Integrate Customer Analytics Data
Consolidate Customer Systems
Upgrade Sales Comp Systems
Integrate with Hewitt
数据获取形式
Enterprise Data Integration
体系架构
Service Oriented Architecture (SOA)
Server 2 Nodห้องสมุดไป่ตู้ 2
HA File System Shared Directory
Domain
Gateway
B
Log
B
HA Database
Integration P Repository B
? DB and shared directory are highly available
Informatica数据集成产品介绍
元数据共享
• Informatica的局部和全局的元数据库 （Local and global metadata repository） 可以注册各部门级数据市场的信息并可动 态将部门级数据市场与其它分布式信息存 储连接起来，从而可以得到全企业的统一 的数据仓库元数据视角。
PowerCenter与数据仓库系统
产品结构
• • • • • Informatica Server Workflow Manager , monitor Informatica Repository Server Repository Manager Designer
Informatica Server
• 数据集成引擎 • 支持各种操作平台，各种源、目标数据库
Designer
• • • • • • • 可视化设计环境 版本管理 丰富的转换函数 支持复杂条件选择 支持数据驱动的合并 直接支持SCD（慢速变化维） 调试工具
– 提供数据采样、断点、查询中间结果等功能
世界级客户
金融/服务业 制造业/高科技 通信业 保险业 医药
使用Informatica系统的企业
收入增长
200 160
2000 – 2001 的增长率: 30% $152
$197
120
80
$62.4 $30.3
40
$2.1
0 1996
$12.7
1997 1998 1999 2000 2001
Informatica的客户状况
• 100强的60%是Informatica的客户 • 道琼斯工业平均指数的63% • 世界500强
– – – – – 所有顶尖的娱乐集团 15家最大的电信集团，有12家是Informatica的客户 10家最大的金融服务/银行集团，有8家是Informatica的客户 15家顶级的公用事业/能源集团，有11家是Informatica的客户 10家最大的保险集团，有8家是Informatica的客户
Informatica数据隐私管理说明书
Key Benefits• Protection and monitoring of personal and sensitive data to fuel data-driven digital transformation and support for privacy and compliance efforts• Centralized visibility across data platforms and types, providing the support needed for today’s complex environments• Continuous risk analysis of personal and sensitive data,to prioritize resources and investments across functional, geographic, and line of business views• AI-driven detection to uncover high-risk, anomalous data usage • A single view of data subjects’ information to provide identity capabilities (rights and consents requests) required for GDPR, CCPA and other privacy legislation• Automated orchestration and protection with sensitive data intelligence remediates privacy and security risks Metadata-driven Intelligence and Automation to Operationalize PrivacyInformatica® Data Privacy Management helps you discover, classify, analyze, protect and monitor personal and sensitive data across your organization. It leverages artificial intelligence (AI) to deliver actionable data discovery and classification, risk scoring, data subject identity capabilities, behavioral analytics, and automated protection in a single solution. It supports structured, semi-structured and unstructured data in the cloud, on premises, in big data stores, and in relational and mainframe systems.Informatica Data Privacy Management helps you prioritize data protection and privacy investments, policies, processes, and programs:• Discover and classify your sensitive data: Gain global visibility into personal and sensitive data across the enterprise with data classification, discovery, proliferation and process analysis, user access, and activity correlation.• Map individual identities to sensitive data: Understand sensitive data by individual identities and quickly locate an individual’s sensitive data to support privacy requests.• Analyze and monitor privacy risk: Track data risk and remediation of misuse and privacy violations based on multiple factors, customize to your organization’s needs, and identify top risk areas based on privacy regulation requirements. Risk simulation helps you understand the impact of data controls before implementation.• Continuously monitor data movement, access, and user activity: Leverage analytics to detect suspicious or unauthorized data access by continuously correlating, baselining, analyzing, and alerting on high-risk conditions and potential anomalous behaviors that threaten sensitive data.• Protect personal and sensitive data and remediate risk: Automate the orchestration of data security controls to protect data at rest and in use, prevent unauthorized access, and de-identify/anonymize/pseudonymize sensitive data. Initiate remediation workflows with custom scripting, automated email notifications of security policy violations, ServiceNow integration, andout-of-the-box third-party protection integration.Data SheetKey FeaturesDiscover and Classify Sensitive Data• Discover, classify and analyze the risk of sensitive and personal data across the enterprise—in structured data across traditional relational databases, including mainframes; semi-structured and unstructured data in environments such as Hadoop repositories, Amazon S3; file mounts (e.g., CIFS); and SharePoint.• Attain complete sensitive data visibility with dashboards and drill-downs to identify functional and organizational information such as department, application, user, and data storage types.• Gain a complete understanding of data, its movement, and its usage in business processes with proliferation tracking and interactive visualizations—both inside and outside the enterprise and between partner and client organizations.Figure 1. Informatica Data Privacy Management provides 360-degree visibility of sensitive data through its dashboard.Support Regulatory Compliance• Accelerate and continuously measure regulated privacy data compliance with risk scoring based on customizable factors, including data sensitivity, volume, protection, proliferation, location, and user activity.• Apply a combination of data domains to define GDPR, CCPA, PII, PHI, and PCI risks relevantto policies, laws, and regulations.• Leverage subject registry for a single view of data subjects across structured and unstructured data. Provide automated matching and linking of data subjects’ records for privacy legislation compliance and to support the execution and management of subject rights and consent requests.• Enforce compliance with automated remediation, stakeholder notification, continuous monitoring of user behavior and sensitive data proliferation across data stores and geographic locations.About InformaticaDigital transformationchanges expectations: betterservice, faster delivery, withless cost. Businesses musttransform to stay relevantand data holds the answers.As the world’s leader inEnterprise Cloud DataManagement, we’re preparedto help you intelligently lead—in any sector, category, orniche. Informatica providesyou with the foresight tobecome more agile, realizenew growth opportunities, orcreate new inventions. With100% focus on everythingdata, we offer the versatilityneeded to succeed.We invite you to exploreall that Informatica hasto offer—and unleash thepower of data to drive your next intelligent disruption.Worldwide Headquarters 2100 Seaport Blvd., Redwood City, CA 94063, USA Phone: 650.385.5000, Toll-free in the US: 1.800.653.3871IN06_1120_03836© Copyright Informatica LLC 2020. Informatica and the Informatica logo are trademarks or registered trademarks of Informatica LLC in the United States and other countries. A current list of Informatica Protect Personal and Sensitive Data • Identify critical data protection priorities and create plans to support privacy by design objectives.• Protect sensitive data with automated remediation that leverages integrated Informatica Dynamic Data Masking, Persistent Data Masking, and third-party protection methods such as Hortonworks Ranger and Cloudera Sentry.• Integrate with custom scripts, email notifications, system log messages, or ServiceNow tickets. Configure these actions to run when triggered by security policy violations or run them manually when potential risks are detected.For more information, visit the Data Privacy Management Product Page。
INFORMATICA关于WORKFLOWManager系统的元数据解析
INFORMATICA关于WORKFLOWManager系统的元数据解析INFORMATICA关于WORKFLOW Manager系统的元数据解析关键词：INFORMATICA,WOR Manager,元数据informaica是一个很强大的ETL工具。
其WORKFLOW MANAGER负责对ETL调度流程进行设计与管理和执行！informatica在在资料库中提供以下表来存储调动流程的相关信息。
以便WORKFLOW MANAGER对用户所设计的调动流程进行管理和执行。
opb_wflow_dep:描述workflow执行步骤相关信息和每个步骤执行的条件信息opb_wflow_dep_run：描述workflow执行步骤运行时相关信息opb_wflow_expr ：描述workflow中相关的表达式或条件的相关信息opb_wflow_perval：描述workflow可持续性变量相关信息opb_wflow_run:描述workflow运行日志相关信息opb_wflow_var:描述workflow变量相关信息opb_task:描述任务对象的基本信息opb_task_attr:描述任务对象相关的属性的信息opb_task_inst:描述任务对象实例的基本信息opb_task_inst_run:描述任务对象实例运行日志相关信息opb_task_val_list:描述任务对象实例中command信息WORKFLOW MANAGER系统中常用的有这几个模块，Command模块，Session模块，Waiting_Event模块，Raising_Event模块，Assignment模块，Worklet模块WORKFLOW MANAGER系统中上述的这些模块统称为任务(Task).如果你对一个模块进行了复制后新的模块就称作该任务的任务实例（Task_Inst）.WORKFLOW MANAGER系统中Worklet模块可以有其他非Worklet模块组成。
Informatica主数据管理解决方案
11
平台需要的能力
5
数据发布
为应用和数据仓库交付可信的数 据
4
数据管理
管理统一、可信、真实的主数据
3
数据清洗
数据清洗和标准化
2
数据探索
剖析、发现数据内容、一致性、数据结构
1
数据获取
从不同的应用和数据源访问、获取数据
Content Embargo Until June 4th, 2013 at 5:00pm PST
Du重pli复ca性tio: n: Fuz模zy糊m匹at配ching 完整合性法: 性: 丢失关非键法数格值式
一致性: 数据C是on格si式ste正n确cy并: 完整，
In但co不rre符ct合F业orm务a逻t 辑
值域划分: 界定数值范围
准关确联性性: : 须利识用别其记他录数关据系来 验证其准确程度
跨越多行业的客户解决方案 (25+ solutions)
部署情况
大量案例证明在多域主数据部署的 能力
快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主
记录数的成功案例
可验证的多域主数据 几乎一半的客 户都在统一平台上部署了客户和产品域
Content Embargo Until June 4th, 2013 at 5:00pm PST
完整的主数据视图
不同主数据是业务的 不同视角： • 客户角度
• 产品、服务 • 机构 • 资源 • 产品角度 • 客户 • 资源 • 机构 • 供应商角度 • 产品 • 机构角度 • 产品 • 客户 • 资源 • 资源角度 • 机构 • 产品 • 客户
金融客户
意外
储蓄
机票
积分
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
同一实体与本系统或其他系统对象是否存在依赖关系？
具体的依赖关系描述是怎么样的？ 实体所有者是谁？谁作过修改或变更？ 一旦对象定义发生变化，其他开发团队会不会有影响？ 老板问，这张报表A指标值怎么算出来的？原始数据从哪得到的？ 公司要上市，要审计公司信息化建设的健康程度，以什么为依据？总不能给人家看像山 一样高的word或excel 文档吧？
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Role based dashboards and Metadata Reports
Win 2000,2003, XP
SERVERS
PC 8.5.1 Integration Server DA 8.5.1 Apps Server [Browser IE 6.0 using : iPlanet 6.1, IIS 6.0 OR Apache 1.3, 2.0]
9
Informatica Metadata Manager 体系结构
Data Modeling
Metadata
Custom Metadata Metadata
Business Intelligence
Metadata Manager
Sources
Metadata Metadata
Targets
Metadata
10
元数据体系结构
11
Metadata Manager Repository
GA 9/2/05
Metadata XConnects
Metadata Object Browser and Graphical Reports
PowerCenter Integration Server Metadata Manager Warehouse Presentation Server
Design Tools
Custom
- CSV Files
(using Custom Metadata Configurator) * (on Oracle 8.1.7 and above, SQL Server 2000 SP3 and DB2 8.x EE/EEE and above)
14
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Role based dashboards and Metadata Reports
Win 2000,2003, XP
XCONNECTS
Databases
- Oracle 8.1.7, 9i, 10g - SQL Server 2000 - Sybase 12.x - TERADATA V2 R5 - DB2 UDB 8.1.x, 8.2 EE/EEE - IBM Informix 9.2 - ERwin 3.0 to 3.5.2, 4.0 SP1 to 4.1 - Oracle Designer 1.3.2, 2.1.2, 6.0, 6i, 9i - Sybase PowerDesigner PDM 6.1.x, 7.5 to 9.5 - IBM Rational ER 98(I) to 2000,2000e to 2002 - Microsoft VISIO Database (ERX) - Embarcadero ERStudio 5.1 to 6.6
• •
在分析型项目中，元数据可以帮助DW管理员和DW开发人员非常方便地找到 他们所关心的数据 元数据是描述分析型应用内数据的结构、建立方法及流程的数据，可将其 按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数 据（Business Metadata）。
3
这些问题真是头痛
•
17
智能数据体系--提供了审计索引的功能 • 功能丰富的 可视化 图形化 回溯信息 直到数据源 • 精确的、最新的 元数据模型 驱动 • 当数据源 改变时 关联信息 被刷新
18
直观的分析和报表功能--近在咫尺的洞察力
•
“信息供应链”的 全面质量管理 数据质量, 使用, 冲突分析, 冗余分析 仪表盘驱动 监控和 信息公告
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
20
可扩展的Web-Based体系结构--灵活的开发和部署
• • •
百分之百基于Web J2EE兼容平台 内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
元数据管理工具介绍 Metadata Manger（MM）
1
元数据基础知识
MM软件架构 MM软件特点 元数据应用案例
2
元数据(Metadata) 定义
• •
元数据是描述数据的数据(Data about Data)。 可理解为比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类 型、名称、值等信息，进一步提供了数据的上下文描述信息，比如数据的 所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。
ETL BI
- PowerCenter 6.x, 7.x*
- PowerMart 6.x, 7.x*
- PowerAnalyzer 4.1.1, 5.0.2
- BOBJ 5.1.x, 6.1.x - COGN Impromptu 7.0.x, 7.1.x - COGN ReportNet 1.0, 1.1 - MSTR Designer 7.0, 7.5.x - DB2 CubeViews 8.1 - Hyperion Essbase OLAP 7.x
许多政策法规范要求数据透明（例如美国的萨班斯-奥克斯莱法案）以及专业行业协会 （例如监督环境保护、食品与药物安全、劳动行为以及运输安全的行业协会）
．．．
4
元数据的使命
是企业智能化信息建设的DNA
提供一份数据定义和元素的详细示意图, 有利于发现冗余的定义和元素
企业元数据标准: 减少数据冗余性,增加数据共享,使应用开发过程更有效\费用更低、避免 异构结构定义、提高不同工具之间定义的重复利用率 帮助用户理解数据来龙去脉、关系及相关属性 企业集成所必需的:：参照性、引用性、血缘分析、影响分析、变化分析。。。 质量审计 ： 血缘分析 支持需求变化 ： 变更报告
数据集成工具 PowerCenter DataStage SAS Sagent
元数据管理
BI 工具： BO Cognos MSTR …
元数据源 RDBMS EXCEL CWM XML …
6
元数据(Metadata) 标准化
• OMG (Object Management Group)是一个拥有500多会员的国际标 准化组织，著名的CORBA标准即出自该组织。 • 公共仓库元模型（Common Warehouse Metamodel）的主要目的 是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库 进行元数据交换。
21
• •
集成Oracle ,Erwin, PowerCenter等多种工具的元数据 PowerCenter 内Cobol 结构的显示
22
灵活的元数据抽取调度
23
业务元数据 － 基本定义
对象版本控制 反应历史变化
元数据基础知识
MM软件架构
MM软件特点
元数据应用案例
15
Metadata Manager 特性
私有目录
智能数据体系
直观的分析和报表
内嵌的数据整合引擎
可扩展的Web-Based体系结构
16
私有元数据目录
•
跨系统、 跨项目 通用搜索 考究的 knowledge base 角色, 系统, 基于流程的视图
Integration Repo
12
Metadata Manager Server
GA 9/2/05
Metadata XConnects
Metadata Object Browser and Graphical Reports
PowerCenter Integration Server Metadata Manager Warehouse Presentation Server
•
19
内嵌的数据整合引擎--访问到任何位置、任何元数据
•
任何数据源 元数据 知识库, 平面文件, 关系型数据库, 应用程序, XML, CWM-XMI 易于使用 完全可视化的 开发 环境用于 元数据整合
元数据整合 XConnects SDK
•
<Symbol>List</Symbol> <Function> <Symbol>List</Symbol> <Symbol>Automatic</Symbol> <Number>4.</Number> </Function> <Function> <Symbol>List</Symbol>
Websphere 5.1.1.1 ND
- Win 2000, Win 2003