公司及产品概述_Informatica

®技术交流数据集成产品介绍Informatica华南.西南区销售总监XX 1日程¡数据集成之领域挑战¡Informatica 公司及产品定位¡企业数据管理−数据集成平台–PowerCenter 介绍−数据质量控制–Data Quality−实时数据交换–PowerExchange−数据审计管理–Metadata Manager¡Informatica PowerCenter&元数据案例演示¡解决方案特点及主要收益¡案例介绍23挑战是什么？市场趋势加速数据分散状况•TDWI 调查：•不好的数据质量导致美国商业市场每年花费6千亿美金•超过55%公司必须投资高水平的人员与预算来进行数据集成工作•Ventana Research•超过60%的IT 预算花费在“集成”工作上•为了集成而集成•Gartner ：•“缺乏全面性的策略…”使得“集成”所付出的成本相当高4编码定义完全不同Other Xerox DivisionsOther Contacts Buying Organization Xerox Imaging Contacts Jon HartCorporation Xerox渠道销售OA人事Xerox Imaging ID -992231Xerox Image ID R1187XXeroxID R1221R1221A8839TT23244123财务OA 渠道人事John Hart ID TT232Jon Heart ID 44123财务企业编码关系图人事销售渠道人事Legacy 992231R1187X97735-14429Y9KN222112Jon Hart ID A88395客户数据问题实例完整性COMPLETENESS合法性CONFORMITY一致性CONSISTENCY 重复性DUPLICATION 关联性INTEGRITY 准确性\ACCURACY 值域划分RANGE完整性:丢失关键数值合法性:非法格式Consistency:Incorrect Format 一致性:数据是格式正确并完整，但不符合业务逻辑Duplication:Fuzzy matching 重复性:模糊匹配关联性:识别记录关系准确性:须利用其他数据来验证其准确程度值域划分:界定数值范围6糟糕数据质量的业务风险¡无法得到360度统一客户视图¡延迟CRM 项目的实施过程¡降低客户满意度¡降低用户生产效率和利用率¡增加客户的交互(通讯、市场)成本¡无法准确理解客户的利润度¡无法广泛、合理定义客户营销策略，限制了收入的增长机会¡结果丢失收入(例如: 计费错误)PricewaterhouseCoopers 全球数据管理调查结果表明:¡75%的被调查公司认为缺损的数据可导致严重问题¡50%以上的公司因内部对帐而产生了额外的成本¡33%的公司不得不延迟或放弃使用新系统的计划，而有20%无法满足合同或服务水平协议。

¡截至2007年，由于忽略数据质量问题（0.8的概率），将有50%以上的数据仓库项目无法得到客户的认同，甚至完全失败。

¡新的合规性程序也在推动机构重新审视其数据质量。

美国的Sarbanes-Oxley 法案和欧洲的Basel II 等会计改革法要求企业信息准确、透明。

高质量数据对企业满足这些要求至关重要。

数据类项目的工作重心来源OLTP系统s数据集市•需求•设计•映射•提取•转换•改造•加载•检索•汇总•复制•数据分发•访问和分析•资源规划和发布元数据统一系统和用户管理DataWarehouse78数据集成之主流技术论述Case 'Y ’col2=col2*10-2if col3=2 then col4=lkp(col1,col2)else col4=0endifCase ‘N ’col2=10col4=lkp(col3,col5)Ø脚本级驱动Ø以元数据为驱动、引擎式的工具, Informatica为代表9数据整合之主流技术论述Ø以元数据为驱动、引擎式的工具, Informatica为代表企业一般的数据整合工作和技术¡主机端−Control M + JCL + Cobol ¡开放系统端−PL-SQL−JAVA−Shell−….Hand Coding !!人工编写10图形化工具平台vs 人工编写程序采用工具和人工编写程序的成本，在一定的时间后，成本产生了反转的结果初期成本：•软件费用•培训•硬件维护费用•因商业需求的变化导致复杂度的上升•程序的继续维护的费用•重新构建的费用采用工具:•ETL人工编写程序：•Hand-coded ETL •Home-grown EII, EAI •Low-end replication时间成本Source: Forrester Research分析师说：数据整合的成本只在于付出的时间点而已11日程¡数据集成之领域挑战¡Informatica 产品定位¡企业数据管理−数据集成平台–PowerCenter 介绍−数据质量控制–Data Quality−实时数据交换–PowerExchange−数据审计管理–Metadata Manager¡Informatica PowerCenter&元数据案例演示¡解决方案特点及主要收益¡案例介绍1213Informatica 公司简介•成立于: 1993•总部: Redwood City, California •员工:1,300+•公司分布:North and South America,Europe, Asia Pacific,中国•收入:$367 million (2006)•市占率第一(Gartner Dataquest)•Customers:3,000+•金融100大中79家公司•80%道琼斯工业指标上市公司•全球超过20个国家的政府部门公司使命Help enterprise customers implement a data services architecture to gain the most business value from their data assets帮助客户建立统一数据服务平台架构并从数据资产中获得最大的商业价值公司目标Data Integration Products and Services 数据集成产品及服务14Informatica 解决方案产品构成M e t a d a t a M a n a g e rRemote DataReal-time dataBAM, Real-time BICorporate dataTraditional BI, CPMIT dataMetadata, quality, profilingMainframe Real-time File Formats DatabasesDataAnalyzer PowerCenterPowerExchange元数据报表工具核心产品：数据集成平台企业级元数据管理用于连接主机数据/AS400、Oracle 、DB2、SQL 数据源的CDC 、Real Time;ERP （SAP 等）、EAI （MQ 、WebService 等）Data Quality数据质量管理15元数据管理层数据仓库系统管理层企业数据仓库/数据中心数据转换、聚合、加载多维立方设计& 加载数据集市数据挖掘服务器数据展现数据抽取、清洗、调度数据模型设计MOLAPROLAP报表服务器ODSEISMIS 应用外部数据运营系统DSS 应用随机查询管理报表联机分析预测、建模决策支持门户LDAP数据中转区生产报表数据源数据准备数据管理/信息加工信息交付数据中转区详细记录存储运营系统财务资产管理第三方接口直接查询虚拟（集成）查询性能监控，系统安全用户管理，备份/存储管理数据标准定义，接口规范，ETL 规则数据展现规则，接口规范，访问权限，日志DW/数据中心系统总体结构我们的目标可审计、可交换、可监控、高质量的统一数据服务平台(Universal Data Services, UDS)16日程¡数据集成之领域挑战¡Informatica 公司及产品定位¡企业数据管理−数据集成平台–PowerCenter 介绍−数据质量控制–Data Quality−实时数据交换–PowerExchange−数据审计管理–Metadata Manager¡Informatica PowerCenter&元数据案例演示¡解决方案特点及主要收益¡案例介绍17®数据集成平台PowerCenter 介绍1819企业管控The set of processes, customs, policies, laws and institutions affecting the way acorporation is directed, administered or controlled.IT 管控The leadership and organizational structures and processes that ensure that the organization ’s IT sustains and extends the organization ’s strategies and objectives.数据管控数据集成和管控的总架构标准和规范政策和策略企业级数据管理Data Accessibility Data Availability Data Auditability Data Consistency Data Quality Data Security 企业级数据模型数据定义和元数据主数据角色和责任差错管理研发与布署计划与优先权监控与衡量研发标准和技术平台标准DeliverDiscoverCleanseTransformAccessMonitor20Informatica PowerCenter 体系结构UNIX (AIX, HPUX, Solaris, Linux) Windows21Data Profiling Data Quality监督,观察,报告确保数据一致,提供影响分析与持续的数据质量监控PowerCenterPowerExchange访问Any system in batch or real-time分发集成Provide right data, at the right time, in the right formatTransform and reconcile all data types清洗探查Validate, correct and standardize all data typesSearch and profile any data from any sourceInformatica 产品平台及贯穿整个数据生命周期的完整方法论开发与管理以开放的元数据储存库与共享元数据为协同开发的基础22PowerCenter 图形化界面完全图形化操作、易使用、易开发、易维护23Web Services MQSeries JMS TIBCOwebMethods SAPNetWeaver XI Encyrypted streamPeoplesoft Oracle Apps Siebel SAS …SAPNetWeaver SAP IDOC SAP BCI SAP DMI SAP BWOracle DB2 UDB DB2/400SQL Server Sybase Informix Teradata ODBC Flat Files Web Logs …XMLIndustry FormatsFlat Files FTPComplex Files TapeFormats …Informatica 数据集成连接性ERPDatabases XML Flat files Mainframe Unstructured Data Messages ADABAS Datacom DB2IDMS IMS VSAM C-ISAMTape Formats.PDF .DOC .XLS Email广泛的数据源支持，包括结构化、半结构化、非结构化数据24企业范围的部署•HighAvailability •网格计算•动态分区•Push-down ••CDC•完全开放的中立体系架构元数据管理n 影响分析n 目录级浏览n 数据库管理统计n 模型工具管理统计n 自定义CWM 元模型Informatica 企业数据集成平台价值可重用的数据服务•元数据的可复用性•基于组件的体系结构•内置data profiling, data quality & data governance, 包括审计、跟踪•开放式标准的数据交付广泛的数据源支持•所有数据源：主机、RDBMS 、XML 、文本•所有数据格式:：结构化、半结构化&非结构化•所有数据访问方式：批量、实时、联邦、CDC高生产力•“无脚本”图形化开发•跨整个生命周期的团队协同开发•易维护•Mapping 模板丰富的ETL功能§异构数据源，异构目标§实现多种缓慢变化维§全局变量及参数，支持参数文件§局部变量，前后记录比较§条件汇总§异构数据源关联§行/列转换§静态、动态Lookup支持§ETL事务处理§自定义SQL§Pre SQL和Post SQL§复用组件§复用Mapping§调用存储过程§调用外部用户自定义过程§可视化Debug§强大的函数支持、功能丰富的转换语言……§数据源为文件列表§Session Recovery§基于多目标表约束装载§错误数量控制§FTP 源和FTP目标§ETL任务分区§增量汇总§测试装载§Bulk Loading§External Loader (Oracle、DB2、SYBASE…)§复用Workflow§功能丰富的Workflow控制§任务串行、并行控制§基于时间、事件和指示文件触发任务§Workflow中调用操作系统外部命令§Workflow中调用Email§多ETL Server协同工作…….2526数据有效性、完整性、准确性A 区源结构B 区判断无效数据区见需求文档1.1.2.1中第3、4点，生成flag_invalid 标识位，当flag_invalid=1,为无效数据当flag_invalid=0,为有效数据C 区将数据进行分组D 区无效数据写入目标表UNT_ATMTXN 此表结构与源的唯一差别：最后多了一个字段error_desc.并将B 区中生成的error_desc 字段，写入此表最后字段。