ETL构建企业级数据仓库五步法
数据仓库的构建和数据分析方法
数据仓库的构建和数据分析方法随着互联网技术的飞速发展，如今各个行业都在不断积累着大量的数据。
如何进行这些数据的有效分析，已经成为各个公司和组织不可或缺的一部分。
数据仓库的构建和数据分析方法，是帮助企业和组织有效处理大数据，解决业务问题的关键。
一、数据仓库的构建在数据仓库的构建中，最为关键的一步是数据清洗。
这一步是为了在将数据存入数据仓库之前，对数据进行清理和标准化，以确保数据的正确性和一致性。
在此过程中，重要的工具包括ETL （抽取，转换，加载）工具，数据质量管理工具以及元数据管理工具等。
在数据清洗完成之后，数据就可以被存入数据仓库中。
数据仓库的构建过程中，可以选择不同的技术和架构来实现。
例如，企业数据仓库技术（EDW）可以用于大规模的企业级数据仓库，而Hadoop生态系统则可以用于构建大规模的分布式数据仓库。
不同的组织和企业，将面临着不同的数据仓库构建需求。
通过了解数据仓库的构建流程和不同的技术架构，可以帮助企业和组织有效地将数据存储到数据仓库中，并确保数据的质量和易于管理。
二、数据分析方法在数据仓库构建完成后，数据分析的过程也变得更加容易。
下面介绍几种广泛使用的数据分析方法：1. 大数据分析大数据分析是利用大量的数据进行分析、开发和总结的过程。
大数据分析可以帮助企业和组织挖掘出隐藏在海量数据中的价值和潜力，驱动业务增长和创新。
大数据分析常用的技术包括Hadoop MapReduce、Apache Spark、Hive等技术。
2. BI分析BI（Business Intelligence）分析是指利用数据仓库中的数据，通过分析和可视化工具帮助企业和组织更好地理解企业和市场信息，分析趋势和模式，并制定出改进策略。
BI分析包括的主要技术及工具包括ETL、OLAP（联机分析处理）、数据挖掘、报表及仪表板。
3. 预测分析预测分析是利用数据仓库中的历史数据，查找趋势并预测未来的事件。
预测分析可以帮助企业和组织制订出长期的业务策略。
数据仓库开发设计流程
数据仓库开发设计流程
数据仓库开发设计流程如下：
１．分析业务需求，确定数据仓库主题：需要全面了解企业业务和数据。
２，构建逻辑模型：通常使用维度建模技术，包括维度表和事实表来描述数据。
３．数据仓库技术选型。
４．逻辑模型转换为物理模型。
５．数据源分析：识别和分析所有可用的数据源，包括内部和外部系统。
６．数据抽取、转换和加载（ETL）：确定如何从不同的数据源中提取数据，并将其转换为适合数据仓库的格式。
包括数据清洗、数据集成和数据转换等过程。
７．数据仓库架构设计：确定数据仓库的整体架构，考虑到数据仓库的可伸缩性、性能和可用性等方面。
８．数据仓库实施：根据设计的数据模型和架构来实施数据仓库。
包括创建数据库表、索引、视图等。
９．数据质量管理。
１０．开发数据仓库的分析应用。
１１．数据仓库管理和维护。
数据仓库中的ETL技术
数据仓库中的ETL技术数据仓库已经成为当今企业和组织在数据管理和决策支持方面的重要基础设施。
通过将分散的、杂乱的和不一致的数据汇集到一个统一的、结构化的数据集合中，数据仓库可以提供一种综合的数据视图，为企业管理层和分析师提供决策支持。
在构建和维护数据仓库时，ETL（Extract, Transform, Load）技术扮演着重要的角色。
ETL技术是指从源系统中提取数据，并对数据进行转换和加载到目标数据仓库中的一系列过程。
下面将逐一介绍ETL技术的三个主要步骤。
首先，ETL过程的第一步是数据提取（Extract）。
数据可以来自各种不同的源系统，如关系数据库、平面文件、Web服务等。
数据提取可以根据需求使用不同的方法，如增量提取和全量提取。
增量提取仅提取自上次提取以来发生更改或新增的数据，而全量提取则完全提取源系统中的所有数据。
可靠的数据提取策略既需要保证数据的准确性，又需要保证提取过程的效率。
第二，ETL过程的第二个步骤是数据转换（Transform）。
数据从源系统中提取出来可能存在许多问题，如数据格式不一致、数据类型错误等。
在数据转换阶段，数据会经过清洗（Cleansing）、校验（Validation）、转换（Transformation）等一系列操作。
清洗操作可以删除无效的、冗余的或者重复的数据。
校验可以确保数据的完整性，包括必填字段、有效性验证等。
转换操作可以将数据从源系统的模型转换为目标数据仓库的模型，如将关系数据库的表结构映射为星型模型或雪花模型。
数据转换是ETL过程中最为重要的一步，它确保了数据在目标数据仓库中的一致性和准确性。
最后，ETL过程的最后一步是数据加载（Load）。
在这一步骤中，数据会按照目标数据仓库的模型被加载到仓库中。
根据加载方式的不同，可以将数据加载为全量加载或增量加载。
全量加载是指将所有数据一次性加载到仓库中，而增量加载是指只将自上次加载以来更改或新增的数据加载到仓库中。
ETL和数据建模
ETL和数据建模一、什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。
简而言之ETL是完成从OLTP系统到OLAP系统的过程。
二、数据仓库的架构数据仓库（Data Warehouse \ DW）是基于OLTP系统的数据源，为了便于多维分析和多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的，集成的，数据仓库是面向主题的，是以OLAP系统为分析目的。
它包括星型架构与雪花型架构，其中星型架构中间为事实表，四周为维度表，类似星星；雪花型架构中间为事实表，两边的维度表可以再有其关联子表，而在星型中只允许一张表作为维度表与事实表关联，雪花型一维度可以有多张表，而星型不可以。
考虑到效率时，星型聚合快，效率高，不过雪花型结构明确，便于与OLTP系统交互。
在实际项目中，我们将综合运用星型架构与雪花型架构。
三、ETL构建企业级数据仓库五步法的流程（一）确定主题即确定数据分析或前端展现的某一方面的分析主题，例如我们分析某年某月某一地区的啤酒销售情况，就是一个主题。
主题要体现某一方面的各分析角度（维度）和统计数值型数据（量度），确定主题时要综合考虑，一个主题在数据仓库中即为一个数据集市，数据集市体现了某一方面的信息，多个数据集市构成了数据仓库。
（二）确定量度在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额此类，一般为数值型数据，或者将该数据汇总，或者将该数据取次数，独立次数或取最大最小值等，这样的数据称之为量度。
量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标（KPI）等的计算。
（三）确定事实数据粒度在确定了量度之后我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况，考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小，例如我们将按照时间对销售额进行汇总，目前的数据最小记录到天，即数据库中记录了每天的交易额，那么我们不能在ETL时将数据进行按月或年汇总，需要保持到天，以便于后续对天进行分析。
数据仓库建立的步骤
数据仓库建立的步骤
数据仓库的建立可以分为以下步骤：
1. 需求分析和规划：首先需要明确数据仓库的目标和需求，了解业务需求、数据来源和数据量等信息。
根据需求制定数据仓库的规划和架构设计。
2. 数据采集和清洗：确定需要采集的数据源，并进行数据抽取、转换和加载（ETL）工作。
在这一步骤中，需要进行数据清洗、格式转换、数据集成等操作，确保数据的准确性和一致性。
3. 数据存储和管理：选择适当的存储技术和数据库，将清洗后的数据存储到数据仓库中。
常用的存储技术包括关系型数据库、列存数据库、分布式文件系统等，选择合适的存储技术可以提高数据的查询效率和处理能力。
4. 数据建模和设计：在数据仓库中进行数据建模，包括维度建模和事实建模。
维度建模主要是定义维度表和维度关系，事实建模则是建立与业务主题相关的事实表和维度表之间的关系。
5. 数据质量管理：建立数据质量管理机制，确保数据的准确性、完整性和一致性。
可以通过数据质量规则、数据审查和数据质量监控等手段来管理和优化数据质量。
6. 数据分析和报表：根据业务需求，设计和开发数据分析模型和报表。
通过数据仓库中的数据，进行数据挖掘和分析，帮助企业做出决策。
7. 数据安全和权限管理：保护数据的安全性，设置合适的数据权限和访问控制，确保只有授权的人员可以访问和操作数据仓库。
8. 持续优化和迭代：数据仓库建立后，需要进行持续的优化和迭代工作。
根据实际使用情况，不断改进数据仓库的性能和功能，提高数据仓库的价值。
以上是数据仓库建立的一般步骤，具体的步骤和流程可能会因不同的业务需求和技术选型而有所差异。
ETL简单介绍范文
ETL简单介绍范文ETL（Extract, Transform and Load）即数据的抽取、转换和加载，是在数据仓库建设和数据集成过程中的重要环节。
本文将从ETL的定义、流程、工具、优势和应用场景等方面进行详细介绍。
一、ETL的定义二、ETL的流程ETL流程一般包含以下几个步骤：1. 抽取（Extract）：从源系统中抽取出需要的数据。
这包括选择抽取的数据源、定义抽取规则和方式等。
2. 转换（Transform）：对抽取出的数据进行清洗、整合、转换等操作。
这是ETL过程中最为重要的一步，可以通过各种规则和算法来实现。
3. 加载（Load）：将转换后的数据加载到目标系统中。
这可以是一个数据仓库、数据湖或其他目标数据库等。
三、ETL的工具ETL过程中使用的工具和技术非常丰富，下面简单介绍几种常见的ETL工具：1. Informatica PowerCenter：一款功能强大的ETL工具，提供了丰富的数据抽取、转换和加载功能，支持大规模数据处理和复杂转换规则。
2. Talend：一种开源的ETL工具，具有良好的可扩展性和灵活性，支持各种数据源和目标系统，适用于中小型企业和项目。
3. IBM InfoSphere DataStage：IBM旗下的一款ETL工具，具有高性能和可靠性，可以处理大规模数据集成和转换。
4. SSIS（SQL Server Integration Services）：微软SQL Server 数据库中集成的ETL工具，用于数据仓库的建设和管理。
四、ETL的优势ETL在数据仓库建设和数据集成中具有以下优势：2.数据质量：ETL过程中可以进行数据的清洗、去重、校验等操作，提高数据的质量和准确性。
3.数据整合：ETL可以将来自多个源系统的数据进行整合和转换，构建一个统一的数据仓库或数据湖，方便数据分析和业务应用。
4.高效处理：ETL工具可以处理大规模的数据量，并提供高性能的数据转换和加载功能，提高数据处理的效率和速度。
建立大型数据仓库的ETL模型
建立大型数据仓库的ETL模型随着社会的发展，数据存储和处理的需求越来越高，因此，建立一个高效可靠的数据仓库是非常重要的。
ETL模型是建立数据仓库的重要组成部分，下面我们就来详细介绍。
一、ETL模型的定义ETL是指Extract、Transform、Load的缩写，它是数据仓库中的一个关键部分，用于从各个数据源抽取数据、清洗数据、转换数据、并最终将数据加载到数据仓库中。
二、ETL模型的优势1、提高数据质量ETL模型可以清洗数据，去除重复数据、不规范数据、格式错误的数据等，从而提高数据的质量。
2、保证数据一致性与准确性ETL模型还可以将来自不同数据源的数据进行整合，统一到相同的维度、格式、单位等，从而确保了数据的一致性和准确性。
3、提高数据处理效率ETL模型可以将从各个数据源提取的数据进行优化，如数据压缩、索引优化等，从而提高数据处理的效率。
4、提高数据可用性ETL模型可以将不同来源的数据整合到一个数据仓库中，从而提高数据的可用性、访问性和安全性。
三、构建ETL模型的步骤1、明确数据仓库需求，并制定ETL模型的目标和规划。
2、进行数据源的预处理，包括数据的清洗、去重、格式化等，以确保数据的质量和规范性。
3、进行ETL模型的设计，包括抽取源数据的方式、清洗、转换、并入库时的处理方式等。
4、测试和优化ETL模型，包括对数据的有效性进行检查和测试，调整并行处理参数、优化数据仓库、调整数据加工流程等。
5、监控和维护ETL模型，包括持续监控数据质量和数据流、保持数据仓库的正确性、及时更新数据仓库结构等。
四、ETL模型的设计ETL模型的设计是一个重要的环节，下面简单介绍几个重要的要点。
1、明确ETL模型的数据源和数据目标确定ETL模型的数据源和数据目标是建立一个ETL模型的第一步，必须清楚由哪些源系统提供数据，以及数据加载到什么位置。
2、预处理数据源数据对数据进行清洗、整合、规范化处理，在保证数据质量和数据一致性的前提下，减轻数据仓库的负担和工作量，提高数据处理效率和数据可用性。
ETL学习笔记
onenote一：为什么企业需要数据仓库？二：数据仓库的特点:1：面向主题的2：集成的（来自不同数据库）3：相当稳定的（不是面向事务）：隔一段时间更新一次，是由频率的，不像数据库是实时4：反应历史变化：用来分析和决策的三：数据仓库有哪些模型？有什么区别？所有的雪花模型都可以转化为星形模型星形模型雪花模型四：构建数据仓库的步骤五步法：1:确定主题2:确定量度（量值（梳子类型），KPI指标）3:确定事务粒度4:确定纬度5:创建事务表五：ETLETL：即数据抽取（EXTRACT extract）、转换（TRANSFORM transform）、清洗（CLEANSING cleansing）、装载（LOAD load）的过程，它是构建数据仓库的重要环节。
ETL负责将分布的，异构数据源中的数据如关系数据（普通的数据库：mysql，oracle等）、平面数据文件（txt、word等）取到临时中间层后（ODS）进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL的设计分为三个部分：数据抽取、数据的清洗转换，数据的加载1：数据的抽取：1>.数据从哪几个业务系统中来的？如：接口：不同数据库之间怎么转化：在SSIS中连接mysql。
需要驱动，链接数据清洗和数据过滤需要客户进行确认和修改存储过程六：SSIS界面：实例名包就相当于一个容器：相当于java中得类，类里有方法，方法里有属性任务Oracle attunity七：ETL 中，不同数据源控件转化的使用1：从平面文件到数据库。
建好之后，点击映射，会自动关联，不点击映射，是不关联的，映射是很重要的：Txt文件到数据库，excel文件到数据库：解决方法，修改后，点击容器—执行容器3:从sqlServer到oracle：1）.首先建立到oracle的连接：4.mysql 到sqlserver 时，要安装mysql 驱动，并且连接使用odbc然后在ODBC 数据源管理器配置在SSIS里面选择ODBC Data Provider八：ETL事实表增量抽取：抽取数据，首先判断数据源中是否有数据，如果有数据，就是增量抽取(删除前一个月的数据，再抽取源库前一个月的数据)，如果没有数据，就是全量抽取，判断count（*）是否为0。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ETL构建企业级数据仓库五步法在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大厦，那么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。
所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位置。
一、什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，它是将OLTP 系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。
简而言之ETL是完成从OLTP系统到OLAP系统的过程（图一：pic1.jpg）。
二、数据仓库的架构数据仓库（Data Warehouse \ DW）是基于OLTP系统的数据源，为了便于多维分析和多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的，集成的，数据仓库是面向主题的，是以OLAP系统为分析目的。
它包括星型架构（图二：pic2.jpg）与雪花型架构（图三：pic3.jpg），其中星型架构中间为事实表，四周为维度表，类似星星；雪花型架构中间为事实表，两边的维度表可以再有其关联子表，而在星型中只允许一张表作为维度表与事实表关联，雪花型一维度可以有多张表，而星型不可以。
考虑到效率时，星型聚合快，效率高，不过雪花型结构明确，便于与OLTP系统交互。
在实际项目中，我们将综合运用星型架构与雪花型架构。
三、ETL构建企业级数据仓库五步法的流程（一）、确定主题即确定数据分析或前端展现的某一方面的分析主题，例如我们分析某年某月某一地区的啤酒销售情况，就是一个主题。
主题要体现某一方面的各分析角度（维度）和统计数值型数据（量度），确定主题时要综合考虑，一个主题在数据仓库中即为一个数据集市，数据集市体现了某一方面的信息，多个数据集市构成了数据仓库。
（二）、确定量度在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额此类，一般为数值型数据，或者将该数据汇总，或者将该数据取次数，独立次数或取最大最小值等，这样的数据称之为量度。
量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标（KPI）等的计算。
（三）、确定事实数据粒度在确定了量度之后我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况，考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小，例如我们将按照时间对销售额进行汇总，目前的数据最小记录到天，即数据库中记录了每天的交易额，那么我们不能在ETL时将数据进行按月或年汇总，需要保持到天，以便于后续对天进行分析。
而且我们不必担心数据量和数据没有提前汇总带来的问题，因为在后续的建立CUBE时已经将数据提前汇总了。
（四）、确定维度维度是要分析的各个角度，例如我们希望按照时间，或者按照地区，或者按照产品进行分析，那么这里的时间、地区、产品就是相应的维度，基于不同的维度我们可以看到各量度的汇总情况，我们可以基于所有的维度进行交叉分析。
这里我们首先要确定维度的层次（Hierarchy）和级别（Level）（图四：pic4.jpg），维度的层次是指该维度的所有级别，包括各级别的属性；维度的级别是指该维度下的成员，例如当建立地区维度时我们将地区维度作为一个级别，层次为省、市、县三层，考虑到维度表要包含尽量多的信息，所以建立维度时要符合“矮胖原则”，即维度表要尽量宽，尽量包含所有的描述性信息，而不是统计性的数据信息。
还有一种常见的情况，就是父子型维度（图五：pic5.jpg），该维度一般用于非叶子节点含有成员等情况，例如公司员工的维度，在统计员工的工资时，部门主管的工资不能等于下属成员工资的简单相加，必须对该主管的工资单独统计，然后该主管部门的工资等于下属员工工资加部门主管的工资，那么在建立员工维度时，我们需要将员工维度建立成父子型维度，这样在统计时，主管的工资会自动加上，避免了都是叶子节点才有数据的情况。
另外，在建立维度表时要充分使用代理键，代理键是数值型的ID号码，好处是代理键唯一标识了每一维度成员信息，便于区分，更重要的是在聚合时由于数值型匹配，JOIN效率高，便于聚合，而且代理键对缓慢变化维度有更重要的意义，它起到了标识历史数据与新数据的作用，在原数据主键相同的情况下，代理键起到了对新数据与历史数据非常重要的标识作用。
有时我们也会遇到维度缓慢变化的情况，比如增加了新的产品，或者产品的ID号码修改了，或者产品增加了一个新的属性，此时某一维度的成员会随着新的数据的加入而增加新的维度成员，这样我们要考虑到缓慢变化维度的处理，对于缓慢变化维度，有三种情况：1、缓慢变化维度第一种类型：历史数据需要修改。
这样新来的数据要改写历史数据，这时我们要使用UPDATE，例如产品的ID号码为123，后来发现ID号码错误了，需要改写成456，那么在修改好的新数据插入时，维度表中原来的ID号码会相应改为456，这样在维度加载时要使用第一种类型，做法是完全更改。
2、缓慢变化维度第二种类型：历史数据保留，新增数据也要保留。
这时要将原数据更新，将新数据插入，需要使用UPDATE / INSERT，比如某一员工2005年在A部门，2006年时他调到了B部门。
那么在统计2005年的数据时就应该将该员工定位到A部门；而在统计2006年数据时就应该定位到B部门，然后再有新的数据插入时，将按照新部门（B部门）进行处理，这样我们的做法是将该维度成员列表加入标识列，将历史的数据标识为“过期”，将目前的数据标识为“当前的”。
另一种方法是将该维度打上时间戳，即将历史数据生效的时间段作为它的一个属性，在与原始表匹配生成事实表时将按照时间段进行关联，这样的好处是该维度成员生效时间明确。
3、缓慢变化维度第三种类型：新增数据维度成员改变了属性。
例如某一维度成员新加入了一列，该列在历史数据中不能基于它浏览，而在目前数据和将来数据中可以按照它浏览，那么此时我们需要改变维度表属性，即加入新的列，那么我们将使用存储过程或程序生成新的维度属性，在后续的数据中将基于新的属性进行查看。
（五）、创建事实表在确定好事实数据和维度后，我们将考虑加载事实表。
在公司的大量数据堆积如山时，我们想看看里面究竟是什么，结果发现里面是一笔笔生产记录，一笔笔交易记录… 那么这些记录是我们将要建立的事实表的原始数据，即关于某一主题的事实记录表。
我们的做法是将原始表与维度表进行关联，生成事实表（图六：pic6.jpg）。
注意在关联时有为空的数据时（数据源脏），需要使用外连接，连接后我们将各维度的代理键取出放于事实表中，事实表除了各维度代理键外，还有各量度数据，这将来自原始表，事实表中将存在维度代理键和各量度，而不应该存在描述性信息，即符合“瘦高原则”，即要求事实表数据条数尽量多（粒度最小），而描述性信息尽量少。
如果考虑到扩展，可以将事实表加一唯一标识列，以为了以后扩展将该事实作为雪花型维度，不过不需要时一般建议不用这样做。
事实数据表是数据仓库的核心，需要精心维护，在JOIN后将得到事实数据表，一般记录条数都比较大，我们需要为其设置复合主键和索引，以为了数据的完整性和基于数据仓库的查询性能优化，事实数据表与维度表一起放于数据仓库中，如果前端需要连接数据仓库进行查询，我们还需要建立一些相关的中间汇总表或物化视图，以方便查询。
三、ETL中高级技巧的运用（一）、准备区的运用在构建数据仓库时，如果数据源位于一服务器上，数据仓库在另一服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库（图七：pic7.jpg）。
先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中中频繁访问，进行数据运算或排序等操作。
例如我们可以按照天将数据抽取到准备区中，基于数据准备区，我们将进行数据的转换，整合，将不同数据源的数据进行一致性处理。
数据准备区中将存在原始抽取表，一些转换中间表和临时表以及ETL日志表等。
（二）、时间戳的运用时间维度对于某一事实主题来说十分重要，因为不同的时间有不同的统计数据信息，那么按照时间记录的信息将发挥很重要的作用。
在ETL中，时间戳有其特殊的作用，在上面提到的缓慢变化维度中，我们可以使用时间戳标识维度成员；在记录数据库和数据仓库的操作时，我们也将使用时间戳标识信息，例如在进行数据抽取时，我们将按照时间戳对OLTP 系统中的数据进行抽取，比如在午夜0：00取前一天的数据，我们将按照OLTP系统中的时间戳取GETDATE到GETDATE减一天，这样得到前一天数据。
（三）、日志表的运用在对数据进行处理时，难免会发生数据处理错误，产生出错信息，那么我们如何获得出错信息并及时修正呢? 方法是我们使用一张或多张Log日志表，将出错信息记录下来，在日志表中我们将记录每次抽取的条数，处理成功的条数，处理失败的条数，处理失败的数据，处理时间等等，这样当数据发生错误时，我们很容易发现问题所在，然后对出错的数据进行修正或重新处理。
（四）、使用调度在对数据仓库进行增量更新时必须使用调度（图八：pic8.jpg），即对事实数据表进行增量更新处理，在使用调度前要考虑到事实数据量，需要多长时间更新一次，比如希望按天进行查看，那么我们最好按天进行抽取，如果数据量不大，可以按照月或半年对数据进行更新，如果有缓慢变化维度情况，调度时需要考虑到维度表更新情况，在更新事实数据表之前要先更新维度表。
调度是数据仓库的关键环节，要考虑缜密，在ETL的流程搭建好后，要定期对其运行，所以调度是执行ETL流程的关键步骤，每一次调度除了写入Log日志表的数据处理信息外，还要使用发送Email或报警信息等，这样也方便的技术人员对ETL流程的把握，增强了安全性和数据处理的准确性。
四、总结ETL构建数据仓库需要简单的五步，掌握了这五步的方法我们将构建一个强大的数据仓库，不过每一步都有很深的需要研究与挖掘，尤其在实际项目中，我们要综合考虑，例如如果数据源的脏数据很多，在搭建数据仓库之前我们首先要进行数据清洗，以剔除掉不需要的信息和脏数据。
总之，ETL是数据仓库的核心，掌握了ETL构建数据仓库的五步法，就掌握了搭建数据仓库的根本方法。
不过，我们不能教条，基于不同的项目，我们还将要进行具体分析，如父子型维度和缓慢变化维度的运用等。
在数据仓库构建中，ETL关系到整个项目的数据质量，所以马虎不得，必须将其摆到重要位置，将ETL这一大厦根基筑牢！。