ETL 设计实现
专用ETL模式设计与实现
Ｋｅ ｒ ｓ ｙ ｗｏ ｄ ：Ｗｅ ｐ ｎ Ｔ ｒ ｅ Ａｄ ｐｅ ｃｓ ｎｍａ ｉｇ Ｓ ｐ ｏ ｔＳ ｓ ｍ（ ＡＤ Ｓ ； ｔ ｘｒｃｉ ， ｒｎ ｆｒ ａ ｏ ｎ ｏ ｄ ｇ ａ ｏ — ａ ｔ ａ ｔ Ｄｅ ｉ ｏ — ｋｎ ｕ ｐ ｒ ｙ ｔ ＷＴ Ｓ ） Ｄａ Ｅ ｔ ｔ ｎ Ｔ ａ ｓｏ ｔ ｎ ａ ｄ Ｌ ａ ｉ ｇ ｄ ｉ ｅ ａ ａ ｏ ｍ ｉ ｎ
１ 概 述
传 统 的信 息系统 是一个 由不兼 容数 据源 、 数据 库 与应 用 所 共 同构 成 的复 杂 数据 集 合 ， 各部 分 问 不能 彼 此 交流 。而 ＤＳ （ ｃｓ ｎｍ ｋｎ ｕ ｐ ｒ Ｓ ｓ ｍ） 目的就 是要 通过 数 Ｓ Ｄｅｉ ｏ — ａ ｉｇ Ｓ ｐ ｏ ｙｔ 的 ｉ ｔ ｅ
ｔｍ ｉ ｅ ｈｅ ｉ ｚ ｔ ｍ ｅ ａ ａ ａ ｘｔａ ｔｏｎ ｔ ｄ ｔ ｅ ｒ ｃ ｉ ｏｆ ＥＴＬ ａ ｒ ｄ ｅ ｎｄ ｅ ｕｃ ｄｅ ｌ ｐｍ ｅ ｔ ｙ ｌ ｓＤ ａａ ｒ ｎｓ ｒ ａ ｉｎ ｗｈｉｈ ｖｅｏ ｎ ｃ ｃ ｅ ． ｔ ｔａ ｆ ｍ ｔｏ ｏ ｃ ｂａ ｅ ｏｎ ｓｄ ｄｏ ａｎ ｍ ｉ ｋｎ ｏｗ １ ． ｅ ｅ ｎ ｉ ｔ ｒ ｃｉ ｄｇ ａ ｄ ｎ ｅ ａ ｔｖｅ． ｘ ｅ ｓｂｌ ｅ ｖｉｏｎ ｅ ｉ ａ ｖａ ａ ｅ ｔ ａ ｎ ｒ ａ ｅ ｆ ｃｅ ｙ ｆ ｒ ａ ａ ｒｎｓ ｏ ｍ ａ ｉｎ ｎｄ ｅ ｌｚ ｃ ｅ ｔ ｎ ｉ ｅ ｎ ｒ ｍ ｎｔｂｒｎｇｓ ｄ ｎｔ ｇ ｓ，ｈ ｔ ｉ ｃ ｅ ｓ ｅｆ ｉｎｃ ｉ ｏ ｄ ｔ ｔａ ｆ ｒ ｔｏ ａ ｒ ａｉ ｅ ｏｍ ． ｐｌｃ ｔｄ ｒｎｓ ｏ ａｉ ｎ ｌｇｉ ｔ ｎ ｔ ａｌ ｖ ｅ ｅ ｅ ｅ ｆ ｒ ｈｅ Ｄ ＳＳ ｏ ｏ ｔｕ ｔ ｈ ｉ ｏ ｎ ｉ ａｅ ｔａ ｆ ｒ ｔｏ ｍ ｏ ｃ．ｈｅ ｊ ｃ ｒ ｇｉ ｅ ｒ ｆｒ ｎｃ ｓ ｏ ｏｔ ｒ ｔ ｃ ｎｓｒ ｃ ｔ ｅｒ ｗ ＥＴＬ ｓ ｂａ ｓ ｍ ｂ ｙ ｕ ｓｅ ｌ．
ETL技术设计规范方案(通用)
ETL技术规第1章.ETL设计规ETL设计规主要应用于ETL编码的前期工作。
由于ETL全过程是面向数据的，主要工作为数据的抽取（Extract ）、转换（Transform ）、装载（Loading），正确界定所涉及到的数据围和应当应用的转换逻辑对于后续的编码工作非常重要，这些数据关系的确定，我们称之为Mapping （数据映射）。
正确定义数据映射关系是ETL成功实施的前提，一个完善的Mapping应该包含以下几个部分：1.1源数据集属性此部分应该详细描述数据源的相关属性，包括：实体名称一一含数据来源名称（DSN、所有者等信息；字段名称--- 英文名称；字段简述--- 中文名称，如为参数信息应该有相关取值解释，如性别字段（1: 男；2:女；0:不详）类型一一字段类型，含长度和精度信息；非空属性一一字段是否可以为空；1.2目标数据集属性此部分应该详细描述目标数据集的相关属性，包括：实体名称一一含数据来源名称（DSN、所有者等信息；字段名称英文名称，建议根据字段含义来命名，而不是简单用拼音来定义字段（此部分由负责设计数据集的人员控制）；字段简述中文名称，对于保留字段应该给出默认值；类型一一字段类型，含长度和精度信息；非空属性一一字段是否可以为空；1.3 ETL规则主要描述ETL各个环节的转换规则，包括：数据源过滤规则——描述从源数据集获取数据过程中过滤掉记录的规则；关联规则——当源数据集为多个时，描述相互之间的关联关系；列转换规则一一描述源数据集到目标数据集的字段间的转换规则；此规则非常重要，要清晰描述字段间的逻辑关系，包括业务逻辑；目标数据集更新规则一一描述目标数据集的更新策略，包括更新机制和更新频度，如“每日全量更新”、“每周增量更新”等；ETL作业列表一一由于ETL所开发的作业之间包含一定的业务逻辑和编码逻辑，所以调度过程中应遵循一定的逻辑顺序，此部分主要用来明确调度的顺序，包括：作业名称实现Mapping的作业名称，包括该作业功能描述；调度顺序一一用序号或者是流程图模式描述作业的调度顺序，需要综合考虑业务逻辑、编码逻辑以及系统资源等多方面情况，在保证业务逻辑和编码逻辑的基础上，通过控制调度，最大限度地合理利用系统资源；参数列表——列举每个作业中所使用的参数，不同作业中的相同参数最好使用相同的名称，便于调度时进行控制。
数据仓库的ETL设计与实现
数据仓库的ETL设计与实现随着数据管理和处理技术的不断发展，数据仓库的应用越来越广泛。
数据仓库是一个面向主题的、集成的、稳定的、历史数据导向的数据集合，它可以为企业决策提供支持和参考。
而ETL （Extract-Transform-Load）是数据仓库建设中至关重要的一环，本文将从ETL的定义、设计和实现三个方面讨论数据仓库ETL的相关内容。
一、ETL的定义ETL是数据仓库中的三个核心过程之一，其作用是将来源系统的数据提取出来、进行清洗和转换、最终加载到数据仓库中。
该过程包括了多个环节，例如数据抽取、转换、质量验证等。
数据抽取主要是从数据源系统中提取需要的数据，转换则是对数据进行处理，如合并、拆分、计算、汇总等操作。
而在数据转换的过程中，也需要对数据的质量进行验证，包括数据完整性、准确性、一致性等多方面的要求。
最后通过数据加载的过程，将清洗后的数据存储到数据仓库中，以供后续的查询和分析使用。
二、ETL的设计1. 数据源分析在进行ETL设计之前，需要对数据源进行充分、全面的分析。
这个过程可以帮助我们了解源数据的组织方式、数据格式以及数据量，进而为后续的数据抽取和转换设计提供有力的支持。
此外，还需要考虑数据源的连接方式和可靠性。
2. 抽取和清洗在数据抽取方面，需要针对不同来源系统选择不同的抽取方式。
例如，可以使用增量抽取方式来避免对全部数据的重复抽取；也可以选择周期性全量抽取的方式，提高数据抽取的准确性和及时性。
而在数据清洗方面，则需要对数据进行结构化、规整、控制数据质量，如去除重复记录、删除无效数据、纠正数据错误等操作。
清洗之后的数据能够满足数据仓库的要求，保证后续数据处理的有效性。
3. 转换和装载在数据转换方面，主要采用ETL工具对数据进行处理。
ETL工具能够提供大量的内置函数、命令和工具，帮助我们完成加工数据的过程，如对数据进行汇总、拆分、格式转换等操作，让数据达到更好的可用性和易读性。
而在数据装载方面，主要考虑数据的加载方式和处理速度。
ETL流程调度设计
1.1 ET L流程及调度设计（E TL Sc hedul e）(PS P)ETL调度的目标快速见效系统要抽取39家分行四个系统的数据进行加工处理，数据从下传文件到ODS库，ODS库到LDM，再计算PI值和汇总PI，整个ET L处理过程需按一定步骤和满足某些条件进行，某些关键的文件如汇率数据、机构表等都会影响整个E TL 的处理，因此，快速见效的E TL处理流程将是一个比较复杂的过程。
考虑到将来E TL处理的多样性和复杂性，引入了Job的概念，将E TL处理过程分为一个一个的Jo b，Job可能是清洗\加载\转换，也可能是PI加工。
为了对复杂的ETL处理过程更好的调度和监控，专门设计一个E TL调度系统。
通过E TL调度系统的开发使用，将清晰、高效地通过Job调度的方式处理快速见效的ETL过程。
.ETL调度功能说明调度维护1) 调度系统参数维护，对调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。
2)下传文件信息维护，维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。
3)作业步定义与维护，定义作业对应的实际ET L处理过程，生成作业编号，定义作业类型和作业的驱动关系，作业的运行所需要的条件。
4) 调度异常处理，对调度过程中出现的异常情况进行处理，提供错误查找、出错重跑功能。
日志管理1) 调度过程日志，管理记录调度中的主要过程和异常信息，如调度开始、调度完成、数据库操作异常和读写文件异常的日志。
2) Job执行日志，管理记录Jo b执行信息的日志，提供该日志的查询、删除和执行状态重置功能。
面向工业大数据的分布式etl系统的设计与实现
面向工业大数据的分布式etl系统的设计与实现随着工业生产数据的快速增长，如何高效地处理和分析这些数据成为一个重要的问题。
为了解决这个问题，面向工业大数据的分布式ETL（Extract, Transform, Load）系统应运而生。
分布式ETL系统是一种用于从各种数据源中提取、转换和加载数据的系统。
它的设计和实现旨在处理大规模的数据，能够并行地执行数据提取、转换和加载任务，以实现高效的数据处理。
该系统的设计和实现需要考虑以下几个关键因素：1.数据提取：系统可以从各种数据源中提取数据，包括传感器、设备、日志文件等。
为了实现高效的数据提取，可以使用多个提取节点并行地从不同的数据源中提取数据。
2.数据转换：提取的原始数据需要进行转换以满足进一步分析的需求。
这些转换可以包括数据清洗、数据过滤、数据聚合等。
为了实现高效的数据转换，可以使用多个转换节点并行地对数据进行转换。
3.数据加载：转换后的数据需要加载到目标数据存储中，如数据库、数据仓库等。
为了实现高效的数据加载，可以使用多个加载节点并行地将数据加载到目标数据存储中。
这些加载节点需要具备高可用性，以确保数据的可靠性和一致性。
4.可扩展性：面向工业大数据的ETL系统需要具备良好的可扩展性，能够根据数据负载的增加灵活地扩展资源。
这可以通过使用云计算技术、容器技术等来实现。
5.容错性：由于数据处理过程中可能出现各种故障，如节点故障、网络故障等，因此系统需要具备良好的容错性。
可以使用数据备份、故障恢复、自动重启等机制来实现。
6.监控与管理：为了确保系统的健康运行，ETL系统需要具备良好的监控和管理功能。
可以使用监控工具、日志分析工具等对系统进行实时监测和分析，及时发现和解决问题。
在实际的实现中，可以选择合适的技术框架和工具来支持工业大数据的分布式ETL系统。
例如，使用Hadoop作为数据处理框架，使用Apache Spark作为数据处理引擎，使用Kafka作为消息队列来支持数据交换等。
高校数据集成系统的ETL设计与实现
图 ２ Ｅ Ｌ模 块 任 务 结 构 图 Ｔ
数据抽 取组件 从异 构数 据源 （ 如数 据库 、 ＭＬ文 Ｘ
件、 文本文件等 ） 中定时抽取 数据 ， 数据抽 取组件 执行 结束后 ， 调用 Ｃ ｃｅＡ Ｉ ａｈ Ｐ 将数据存人 Ｃ ｃｅ ａｈ 组件 ，ａｈ Ｃ ｃｅ 组件将二进制和大 文本存人 文件 ， 根据数据 抽取 组件
３ ｈｎ ａｇＡ ｒ ｕｔｒｌ ｎｖｒ ｔ Ｓ ｅ ｙｎ １１２， ｈ ａ ．Ｓ ｅｙｎ ｇｉ ｌ ａ Ｕ ｅｓｙ， ｈｎ ａ ｇ１０ １ Ｃ ｉ ） ｃ ｕ ｉ ｉ ｎ
Ａｂ ｔａ ｔ Ｄｉ ｉ ｌｃ ｍｐｕ ｏ ｓｒ ｃ ｏ ｉ ｌ ｍｐ ｒ ｎ ａ ｋ ｆ ｒｔ ｅ ｈ ｇ ｅ ｄ ｕ ｔ ｎｉ ｆ ｒ ｔ ｎ ｄ ｖ ｌ ｐ ｎ ．Ｄｕ ｔ ｔ ｅ ｄ ｆｅ ｅ ｔｄ ｔ － ｓｒ ｃ ： ｇｔ ａ ａ ｓ ｃ ｎ ｔｕ ｔ ｎ ｓ ａｌｉ ｏ ｔ ｔｔｓ ｏ ｈ ｉ ｈ ｒｅ ｃ ｉ ｉ ａ ｏ ｎ ｏ ｍａ ｏ ｅ ｅ ｏ ｍｅ ｔ ｉ ｅ ｏ ｈ ｉ ｒ ｎ ａａ
ｂ ｓ ｄ ｏ ＥＴＬ ｃ ｎ ｓ ｌｅｔｉ ｏ ｌｍ ．Ｔａ ｉ ｈｅｕ ｉｅｓｔ ｎ ｇ ａｅ ｄｇｔｌｃ ｐ ｓｐｌｔｏ ｓｔｅｂａｋｇｏ ｎ ａｅ ｎ ａ ｏｖ ｈ ｓｐｒｂｅ ｋｎｇｔ ｎｖ ｒｉ ｙｉｔ ｒｔｄ ｉ ｉ ａ ｕ ｅ ａ ｍ ａｆｒ ａ ｈ ｍ ｃ ｒ ｕ ｄ．ｔｅｃ ｎ ｔｕ ｔ ｎ ｐｏ ｈ ｏ ｓｒ ｃ ｏ ｉ ｒ－
ETL架构设计说明书V04
密级：ETL架构设计说明书XXXXXXXX公司目录1前言 (1)背景 (1)目的 (1)内容提要 (1)读者 (1)2ETL设计的目标和原则 (1)系统目标 (1)数据目标 (1)功能目标 (2)设计原则 (2)3ETL开发流程设计 (3)数据分析 (3)分析方法 (3)分析内容 (3)开发流程 (4)测试流程 (5)上线流程 (6)4DATASTAGE元数据管理 (6)元数据定义 (6)DATASTAGE元数据管理 (7)数据库元数据导入 (8)文件元数据导入 (8)5ETL架构 (9)ETL总体结构 (9)ETL关键任务设计 (11)数据加载 (11)Pre-Load (11)Load (11)Post-Load (12)数据清洗/变换 (12)数据转换 (13)ETL调度控制设计 (13)实现目标 (14)触发动作 (14)检查运行环境 (14)日志记录 (15)系统参数 (15)部署设计 (16)数据源到统一模型层之间 (16)统一模型层到数据集市之间 (16)ETL的备份与恢复 (17)ETL质量控制与错误处理 (17)ETL质量控制的主要手段 (17)拒绝数据库及拒绝处理策略 (18)已入库源数据发生错误的应对策略 (19)ETL主要流程设计 (19)数据抽取过程 (21)数据清洗过程 (21)数据转换过程 (22)数据装载过程 (22)ETL测试设计 (23)ETL功能测试 (23)模块功能 (23)调度功能 (23)数据准确性测试 (24)准确性测试的原则 (24)准确性测试的方法 (24)性能测试 (24)测试方法 (24)调优原则 (24)1前言1.1背景本文主要是为了明确系统中ETL的主要使用环境及使用方法而建，主要定义了在不同的环境中使用ETL的时候应该注意的配置及操作。
1.2目的本文档是为明确XXXX数据仓库的ETL架构设计而编制的，为项目的ETL系统开发后续工作提供指南。
数据仓库ETL工程与分层设计
数据仓库ETL工程与分层设计数据仓库（Data Warehouse）已经成为现代企业在数据管理和分析方面必不可少的一项技术和解决方案。
ETL（Extract, Transform, Load）工程在数据仓库中起着重要的作用，它负责从源系统中提取数据，进行转换和清洗，然后加载到数据仓库中。
同时，分层设计是数据仓库架构中的另一个核心概念。
分层设计将数据仓库划分为多个层次，每个层次都有特定的功能和目的，以支持不同层次的数据分析和决策需求。
本文将详细探讨数据仓库ETL工程与分层设计的重要性和具体实施方案。
一、数据仓库ETL工程的重要性数据仓库ETL工程的主要目标是将分散、异构、杂乱的数据整合到一个统一、一致、可信的数据仓库中。
它具有以下几个重要的作用：1. 数据提取：ETL工程负责从源系统中提取数据。
不同的源系统可能存储着不同格式、不同结构的数据，ETL工程需要通过适当的方式解析和提取数据。
2. 数据转换：源系统中的数据通常需要进行清洗、转换和整合，以满足数据仓库的需求。
ETL工程通过应用各种转换规则和业务逻辑，将原始数据转换为数据仓库能够理解和处理的形式。
3. 数据加载：ETL工程将经过转换的数据加载到数据仓库中。
数据加载可以遵循不同的策略和方式，如全量加载和增量加载，以保证数据的完整性和一致性。
二、数据仓库分层设计的重要性数据仓库分层设计是将数据仓库划分为多个层次，每个层次都有不同的功能和目的。
常见的层次包括原始数据层、清洗数据层、集成数据层、维度模型层等。
分层设计具有以下几个重要的优点：1. 提高可维护性：通过将数据仓库划分为多个层次，可以使每个层次的数据和逻辑相对独立，减少了数据变更对其他层次的影响。
这样可以降低系统的复杂性，提高系统的可维护性。
2. 支持灵活的分析需求：不同层次的数据可以满足不同层次的分析需求。
原始数据层保存了源系统的数据，可以满足对细节数据的分析需求；而维度模型层则提供了高度聚集的数据，可以满足跨维度的分析需求。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据集成（ETL）工具的设计与构建
陈小菲
经过几十年来快速不断的IT创新造就了大批综合性的、分布式的且不断变化的应用系统，这些系统跨越了从大型机到Web的多种平台，因此不同系统的互连成了亟待解决的问题。
如何发挥这些系统中各种数据的作用，将不同应用系统的数据进行提炼、整合，并充分利用已有的技术及应用资源，建成一个完整的、可持续发展的集成系统，数据集成工具成为一种重要的技术，面对多种技术环境开发的基础业务系统，把业务数据迁移到综合业务系统和决策分析系统，并进行有效整合。
数据集成工具主要包括以下几个过程：抽取、清洗、转换和加载等，本文中数据集成工具简称为ETL工具。
在实际项目中，本ETL工具已开始实现研发和试用，本文将对ETL工具的设计思想与功能实现等内容进行讨论。
一、ETL工具的功能目标
本ETL工具以各种技术环境开发的基础业务系统为基础，把业务数据迁移到综合业务系统和决策分析系统，并进行有效整合，建成一个完整的集成数据库系统，因此在企业应用集成（EAI）系统中，ETL工具扮演着相当关键的角色，以下是EAI数据集成模型图，箭头表示的数据迁移过程需要通过ETL工具实现。
图 1 数据集成模型
1、主要功能
ETL工具主要功能可分为两部分：数据集成配置和数据集成服务，具体如下：
（1）数据集成配置：提供一个GUI界面，使得用户能够通过界面的互动，比较容易地实现数据集成的流程、规则的定义；同时提供相应的解析功能，实现将配置规则进行解析，
并对数据进行集成。
最后能够定义并执行相应的抽取计划。
（2）数据集成服务：提供相应的解析功能，实现对集成规则的解析，服务读取这些规则，生成集成任务，在后台进行运行数据集成。
并且把这些集成信息发布出来，可以让其它集成工具进行信息共享。
2、特点
（1）易用性：数据集成工具进行抽取任务配置时，比较繁锁，而本ETL工具在进行抽取任务配置时可以做到简单易学，易用；同时配置操作也流程化，易于理解。
（2）稳定性：本ETL工具进行任务执行，保证抽取任务的正常进行。
运行稳定，不轻易发生系统错误，不轻易发生程序死机。
（3）可靠性：本ETL工具进行任务抽取时，能可靠地完成抽取，源数据到目标数据的抽取误差低于0.01％，对于因特殊情况无法进行抽取的，或中途停止无法抽取的系统将记录详细信息。
（4）执行效率：本ETL工具对大数据量进行数据抽取，可以保证对大数据量的抽取在正常情况下能较好地执行，在一定时间内完成对大数据量的抽取。
二、ETL工具的总体架构设计
图 2 ETL工具总体架构
如图2所示，ETL工具主要包括配置工具和抽取服务两个部分内容。
1、配置工具
配置工具的开发工具选择E++。
其主要实现以下功能：
●数据集成工具的抽取任务规则配置
将提供一个GUI界面的配置工具，实现对抽取任务的配置。
用户可以通过界面的互动，比较容易实现数据集成工具抽取规则的配置。
●抽取任务规则解析
对配置后的抽取规则进行解析，服务读取这些规则，生成抽取任务。
根据以下流程进行主要的设计工作：
●数据集成（抽取）：提供GUI界面由用户录入源数据源、目的数据源、抽取规则。
●数据源定义：实现数据源信息的录入，并对数据源进行连接测试。
●抽取方案定义：配置数据抽取的信息及规则。
●抽取任务定义：在数据抽取方案定义完成后，定义数据抽取方案的执行规则。
抽取执行定义为“执行任务”，每个“执行任务”包含有一个或者多个抽取方案及子任务。
每个“执行任务”具有相同的执行规则，方案执行也具有一定的顺序。
●资源共享：解决异地抽取的问题，对某些表的结构进行共享。
2、抽取服务
抽取服务的开发工具选择JAVA。
主要实现以下功能：
●抽取服务
抽取服务读取抽取配置规则将包含：库到库、表到表、多表到单表、文件到表、表到文件的各种规则抽取。
根据抽取规则执行抽取任务，实现数据抽取。
抽取信息进行数据共享
集成工具将对配置好的抽取信息进行发布，让其它的集成工具进行共享。
并要对集成工具实现抽取的数据进行互通。
根据以下流程进行主要的设计工作：
●系统参数定义
系统参数在“系统配置参数表”中定义，包括参数名、参数值及说明等。
数据集成工具系统参数定义，如表1：
表1 参数定义表
●系统配置接口引擎
数据集成工具的配置工具为C＋＋开发的，同时又要做到数据集成工具可以支持多种平台。
所以数据集成工具服务端和配置工具将可能分布在两台机子上，数据集成工具的配置文件又必须和服务端一起部署，配置工具对抽取配置文件的读、写就调用系统的配置接口引擎进行操作。
●系统初始化
在数据集成工具服务器启动时，必须事先进行初始化。
提高程序的整体运行效率，系统初始化包含3个部分，分别对通用信息初始化、Xml配置文件初始化、抽取调度器初始化。
●抽取器配置规则信息解析
配置工具完成配置后，系统启动将对配置完成的信息读入，解析出抽取规则。
解析抽取规则是在抽取方案定义完成后，对抽取方案的规则进行解析。
抽取器解析配置信息必须在抽取配置方案定义完成后进行解析。
●抽取规则定义
在实际抽取中必须满足多种规则进行定义，然后抽取器读取解析规则。
启动抽取任务实现抽取。
抽取方案根据已定义好的模型定义，抽取定义规则主要包括：多表到单表抽取；组合抽取；表到文件；文件到表；与数据交换平台紧耦合。
抽取数据规则定义后，可以设定是否建立目标表，目标表也可以由用户自行建立。
●抽取任务查看控制
抽取任务启动后，用户可以登录到抽取器服务器进行查看抽取任务的运行情况。
●数据共享信息接口
数据共享信息接口，可以共享在本抽取器中所有配置出来的数据对象。
其它抽取器在取得统一的通信录后，根据通信录任意选择一个网点抽取器，下载这个网点抽取器的数据对象列表。
得到数据对象列表后，选择合意的数据对象对这个抽取服务器发出请求，抽取服务器
在接收到请求数据对象后，通过数据共享信息接口发布出这个数据对象的详细信息和数据，但考虑到数据的庞大，对于每次请求会限制源数据量，如每次只请求100～1000条，得到数据处理后继续请求下一批的数据。
●抽取器统一通讯录分发
抽取器进行数据共享将统一通讯地址，通讯地址记录在这个中心抽取服务器下的所有节点抽取服务器的地址。
对于这些地址由中心抽取服务器统一收集，发布给属于这个中心服务器的所有节点中心服务器。
●抽取器抽取核心服务
抽取器核心服务将分为抽取和填充模块，抽取器抽取模块根据抽取规则定义，解析抽取源对象和抽取目标对象，组织抽取源匹配表达式。
完成抽取源数据流。
填充模块将完成对根据抽取规则抽取到的源数据，按照设定填充到目标表中。
三、目前国内外类似工具的技术发展比较
目前主要是国外五大公司已设计出类似的数据库工具，其功能及优缺点等比较表2：表2 类似的数据库比较表
四、结语
本数据集成工具各项子模块已完成，处于试运行阶段，从运行效果看，本ETL工具各项功能均能满足设计要求，具有易用、稳定、可靠、执行效率高等特点，达到预期目标，且比国外类似产品的功能性价比更高。