大数据仓库项目大数据类测试流程
数据仓库的测试方法论

数据仓库的测试方法论数据仓库是一个用于存储和管理大量结构化和非结构化数据的系统,它对于组织和分析数据非常重要。
然而,数据仓库的正确性和稳定性对于数据分析的准确性和可靠性至关重要。
因此,对数据仓库进行全面的测试是必不可少的。
本文将介绍数据仓库的测试方法论,以确保数据仓库的质量和可靠性。
一、测试策略数据仓库的测试策略应该包括以下几个方面:1.功能测试:测试数据仓库的基本功能,如数据加载、数据转换、数据清洗、数据查询等。
2.性能测试:测试数据仓库在不同负载下的性能表现,包括数据加载速度、查询响应时间等。
3.可靠性测试:测试数据仓库的稳定性和可靠性,包括数据的完整性和一致性。
4.安全性测试:测试数据仓库的安全性,包括数据的保密性和访问控制。
5.容错性测试:测试数据仓库在出现故障或异常情况下的恢复能力。
6.兼容性测试:测试数据仓库与其他系统的兼容性,如ETL工具、数据可视化工具等。
二、测试环境为了有效地进行数据仓库的测试,需要建立一个合适的测试环境。
测试环境应该包括以下几个方面:1.硬件环境:包括服务器、存储设备等。
2.软件环境:包括操作系统、数据库管理系统、ETL工具等。
3.测试数据:需要准备一些合适的测试数据,以模拟真实的数据情况。
4.测试工具:可以使用一些专业的数据仓库测试工具,如QuerySurge、Talend等。
三、测试用例设计在进行数据仓库测试之前,需要设计一些合适的测试用例,以确保测试的全面性和有效性。
测试用例应该包括以下几个方面:1.数据加载测试:测试数据仓库的数据加载过程,包括数据的抽取、转换和加载。
2.数据查询测试:测试数据仓库的查询功能,包括查询语句的正确性和查询结果的准确性。
3.数据清洗测试:测试数据仓库的数据清洗过程,包括去重、校验、修复等。
4.性能测试:测试数据仓库在不同负载下的性能表现,包括数据加载速度、查询响应时间等。
5.安全性测试:测试数据仓库的安全性,包括数据的保密性和访问控制。
大数据性能测试方案

大数据性能测试方案随着大数据技术的快速发展,越来越多的企业开始使用大数据技术来处理和分析海量的数据。
然而,大数据技术的复杂性和庞大的规模也给性能测试带来了更大的挑战。
为了验证一个大数据系统的性能,并确保其在实际使用中能够满足用户需求,需要制定一套完整的大数据性能测试方案。
1.确定测试目标在进行大数据性能测试之前,首先要明确测试的目标。
例如,测试人员可能希望评估系统在处理特定大小和类型的数据集时的性能,或者测试系统在并发用户负载下的响应时间和吞吐量。
2.设计测试环境在进行大数据性能测试时,需要准备适合的测试环境。
测试环境应该与实际部署环境相似,包括硬件设备、操作系统、网络条件等。
同时,还需要配置适当的测试工具和监控系统,以便对系统进行性能和资源利用的监测和分析。
3.收集测试数据为了进行性能测试,需要准备和收集能够模拟真实使用场景的测试数据。
这些数据应该包括各种类型和规模的数据,以确保系统在处理不同情况下的性能表现。
4.设计性能测试用例性能测试用例的设计是性能测试方案的关键一步。
测试用例应该涵盖各种场景,例如并发用户的数量和负载特征,不同类型和大小的数据集处理,以及各种查询和分析操作等。
5.执行性能测试在执行性能测试时,需要根据预先设计的测试用例来模拟真实的使用场景。
测试人员应该记录关键性能指标,例如响应时间、吞吐量、系统利用率等,并进行监控和分析。
6.分析和优化性能在完成性能测试后,需要对测试结果进行分析,并根据分析结果进行性能优化。
可以使用各种性能优化技术,例如增加硬件资源、优化算法或查询计划等,以提高系统的性能表现。
7.重复测试性能测试是一个迭代过程,需要多次测试和优化。
重复测试的目的是验证性能优化的效果,并确保系统在各种情况下都能够稳定运行。
总结:大数据性能测试是一项复杂而重要的任务。
通过制定一个完整的测试方案,可以帮助测试人员评估大数据系统的性能,并发现潜在的问题。
通过持续的性能优化,可以确保大数据系统能够在实际使用中高效运行,并满足用户的需求。
数据库测试方案(完整版)

数据库测试方案(完整版)本文档将为数据库测试方案提供一个完整的概述。
数据库测试是为了验证数据库的正确性、完整性和可靠性而进行的一系列活动。
通过数据库测试,我们可以确保数据库在不同场景下的稳定性和性能。
数据库测试的主要目标包括:验证数据库的完整性:确认数据库中的数据不会遗失或损坏。
验证数据库的可靠性:确保数据库在面对各种异常情况时能够恢复正常运行。
验证数据库的性能:评估数据库在处理大量数据和并发操作时的性能表现。
下面是我们将采取的测试策略:集成测试:测试数据库与其他系统之间的集成,确保数据的正确传输和交互。
性能测试:模拟大量数据和并发操作,评估数据库的响应时间和吞吐量。
安全性测试:评估数据库的安全性,确保只有授权用户能够访问和修改数据。
容错测试:模拟数据库故障和异常情况,测试数据库的恢复能力。
我们将按照以下计划进行数据库测试:2.设计测试用例:基于测试策略,创建具体的测试用例,并明确测试的预期结果。
3.执行测试用例:按照测试计划,执行测试用例,并记录测试结果。
4.分析测试结果:对测试结果进行分析,确定是否符合预期结果。
5.修复问题:如果测试发现问题,与开发团队合作修复问题,并重新执行测试。
6.提供测试报告:整理测试结果,生成详细的测试报告,包括测试执行过程、问题列表和修复建议。
以下是一些常用的数据库测试工具:MySQL Enterprise Monitor:提供实时监控和性能优化。
Oracle SQL Developer:用于开发和测试___数据库。
Apache JMeter:用于性能和负载测试。
在进行数据库测试时,可能会面临以下风险:测试影响:测试可能会对生产环境造成采样。
安全问题:数据库测试可能暴露系统的安全风险。
定期备份测试环境中的数据,以防数据丢失。
与安全团队合作,确保测试过程不会破坏系统的安全性。
数据库测试是确保数据库功能和性能的重要步骤。
通过采用合适的测试策略和工具,我们可以确保数据库的正确性、完整性和可靠性。
简述大数据的工作流程

简述大数据的工作流程在当今数字化时代,大数据已经成为了企业和组织决策、创新和发展的重要驱动力。
大数据并非仅仅是大量的数据,而是通过一系列复杂而有序的工作流程,将海量的数据转化为有价值的信息和洞察。
接下来,让我们一起走进大数据的工作流程,了解其背后的奥秘。
大数据工作流程的第一步是数据收集。
这就像是为一场盛宴准备食材,需要从各种来源获取丰富的数据。
这些来源可以包括企业内部的业务系统,如销售记录、客户信息、库存数据等;也可以来自外部,比如社交媒体、网络爬虫抓取的数据、传感器数据等。
数据的形式也是多种多样的,有结构化的数据,如表格中的数字和文本;也有非结构化的数据,像图片、音频、视频等。
在收集数据时,要确保数据的准确性和完整性。
如果收集到的数据存在错误或缺失,就如同在烹饪时用了变质的食材,会影响最终的结果。
同时,还需要考虑数据的合法性和安全性,遵守相关的法律法规,保护用户的隐私和数据的安全。
收集到数据后,就进入了数据存储的环节。
这就像是把食材分类存放在合适的容器中,以便后续使用。
由于大数据的体量巨大,传统的数据库往往无法胜任,因此需要使用分布式存储系统,如 Hadoop 的HDFS 或者云存储服务。
这些存储系统能够将数据分布在多个节点上,实现横向扩展,从而能够存储海量的数据。
数据存储不仅要考虑容量,还要考虑数据的访问速度和效率。
为了提高数据的查询和处理速度,常常会对数据进行分区、索引等优化操作。
接下来是数据预处理。
这一步就像是对食材进行清洗、切割和初步加工,为后续的烹饪做好准备。
数据预处理包括数据清洗、数据转换和数据集成。
数据清洗是去除数据中的噪声和错误,比如重复的数据、缺失的值、异常的数据点等。
数据转换则是将数据转换为适合分析的格式,比如将字符串转换为数字,或者对数据进行标准化、归一化处理。
数据集成是将来自多个数据源的数据整合在一起,解决数据格式不一致、字段名称不同等问题。
经过预处理后,数据就可以进入数据分析阶段。
大数据平台测试标准

大数据平台测试标准一、背景介绍大数据平台是指用于处理和分析大规模数据集的技术和工具集合。
在大数据平台的开辟过程中,测试是确保平台功能和性能达到预期的关键环节。
本文将详细介绍大数据平台测试的标准格式,包括测试目标、测试环境、测试策略、测试用例设计、测试执行和测试报告等内容。
二、测试目标1. 功能测试:验证大数据平台的各项功能是否符合需求,包括数据采集、数据存储、数据处理和数据分析等功能。
2. 性能测试:评估大数据平台在处理大规模数据集时的性能表现,包括数据读写速度、响应时间和并发处理能力等指标。
3. 可靠性测试:验证大数据平台的稳定性和可靠性,包括错误处理、容错机制和故障恢复等方面。
4. 安全性测试:评估大数据平台的安全性能,包括数据隐私保护、权限控制和防止恶意攻击等方面。
三、测试环境1. 硬件环境:包括服务器、存储设备、网络设备等。
2. 软件环境:包括操作系统、数据库管理系统、大数据处理框架等。
3. 测试数据:包括真实数据和合成数据,用于测试各项功能和性能。
四、测试策略1. 需求分析:对大数据平台的需求进行详细分析,明确测试的重点和范围。
2. 测试计划:编制测试计划,包括测试资源、测试时间和测试人员的安排。
3. 测试设计:根据需求和功能设计测试用例,包括正常场景和异常场景的测试。
4. 测试执行:按照测试计划和测试用例执行测试,记录测试过程中的问题和缺陷。
5. 缺陷管理:对测试过程中发现的问题和缺陷进行管理和跟踪,确保问题得到及时解决。
6. 性能评估:使用性能测试工具对大数据平台进行负载测试和压力测试,评估其性能表现。
7. 安全评估:进行安全性测试,评估大数据平台的安全性能和防护能力。
五、测试用例设计1. 功能测试用例:根据需求设计各项功能的测试用例,包括输入数据、预期结果和执行步骤等。
2. 性能测试用例:设计针对性能的测试用例,包括数据量、并发用户和响应时间等参数。
3. 可靠性测试用例:设计各种故障场景的测试用例,验证平台的容错和恢复能力。
软件测试中的大数据与数据仓库测试

软件测试中的大数据与数据仓库测试在当今数字化时代,大数据和数据仓库已经成为各行各业的核心要素。
软件测试作为确保软件质量的关键环节之一,在面对大数据和数据仓库的测试时,也需要采取相应的策略和方法。
本文将探讨软件测试中的大数据与数据仓库测试,并介绍一些相关的技术和工具。
1. 大数据测试1.1 数据量的处理大数据测试的一个重要挑战是如何处理海量的数据。
传统的测试方法在处理大数据时可能会遇到性能瓶颈,因此需要采用分布式计算和存储技术,例如Hadoop和Spark。
这些技术可以将数据分割成小块,并在集群中并行处理,提高测试效率和准确性。
1.2 数据质量的验证大数据中的数据质量是一个关键问题。
在进行大数据测试时,需要对数据的准确性、完整性、一致性和及时性进行验证。
测试人员可以使用合适的数据质量工具,例如数据验证和数据清洗工具,来检测和修复数据中的错误和异常。
1.3 多样化的数据类型大数据包含多种数据类型,例如结构化数据、半结构化数据和非结构化数据。
为了确保测试的全面性,测试人员需要针对不同类型的数据进行测试,并选择适当的测试方法。
例如,可以使用数据分析工具和数据挖掘算法,以发现隐藏在非结构化数据中的潜在问题。
2. 数据仓库测试2.1 数据一致性的验证数据仓库通常用于集成和存储多个数据源的数据,因此数据一致性是一个重要的测试目标。
测试人员需要验证数据在不同数据源之间的一致性,以及与源系统之间的一致性。
为了实现数据一致性的验证,可以采用数据比对和数据校验等技术手段。
2.2 查询性能的测试数据仓库的一个主要功能是支持复杂的分析查询。
在测试数据仓库时,需要关注其查询性能。
可以模拟真实场景中的查询请求,并评估查询的响应时间和吞吐量。
同时,还需要注意数据仓库的扩展性和容量,以确保其能够处理未来的数据增长。
2.3 数据转换和清洗的测试在数据仓库建设过程中,数据转换和清洗是一个重要的步骤。
测试人员需要验证数据转换和清洗的准确性,并检查数据是否按照预期的方式转换和清洗。
大数据分析的流程及每一步的主要任务

大数据分析的流程及每一步的主要任务1.首先,我们需要明确业务目标,确定大数据分析的目的和范围。
Firstly, we need to clarify the business objectives, and determine the purpose and scope of big data analysis.2.然后,收集需要分析的大数据,包括结构化数据和非结构化数据。
Then, collect the big data to be analyzed, including structured and unstructured data.3.接着,对数据进行清洗和预处理,确保数据的质量和完整性。
Next, clean and preprocess the data to ensure its quality and integrity.4.进行数据挖掘和特征提取,以发现数据中的模式和规律。
Conduct data mining and feature extraction to discover patterns and rules in the data.5.利用统计分析和机器学习算法对数据进行建模和分析。
Utilize statistical analysis and machine learning algorithms to model and analyze the data.6.将数据可视化,以便更直观地理解数据分析的结果。
Visualize the data to more intuitively understand the results of data analysis.7.根据分析结果,提出相应的业务建议和决策支持。
Based on the analysis results, provide corresponding business recommendations and decision support.8.对数据分析的过程和结果进行评估和验证,确保分析的准确性和有效性。
大数据分析流程

大数据分析流程大数据分析是指通过收集、管理和分析大量的数据,以获得有价值的信息和洞察力。
它已经成为商业决策、市场营销、风险管理等各个领域中必不可少的工具。
针对大数据的分析流程可以分为以下几个步骤:1. 数据收集和清洗在进行大数据分析之前,首先需要收集相关的数据。
数据可以来自各种渠道,如企业内部的数据库、外部的公共数据、社交媒体等。
然后,对收集到的数据进行清洗和预处理,删除重复数据、缺失值以及错误数据,以确保数据的质量和准确性。
2. 数据存储和管理接下来,需要选择合适的方式来存储和管理大量的数据。
常见的方法包括使用关系型数据库、非关系型数据库、数据仓库等。
这些方法可以根据数据的类型、规模和使用需求来选择。
在存储和管理数据时,还需要考虑数据的安全性和隐私性。
3. 数据分析和建模在数据准备好之后,可以进行数据分析和建模。
这一步骤主要包括对数据进行统计分析、机器学习和数据挖掘等技术的应用。
通过使用合适的分析工具和算法,可以从数据中挖掘出有价值的信息、模式和关联规则,进而提供决策支持和业务洞察。
4. 结果解释和可视化数据分析的结果需要被解释和传达给相关的利益相关者和决策者。
在这一步骤中,可以使用可视化工具和技术,如图表、仪表板和报告,将复杂的数据分析结果以直观和易懂的方式展示出来。
这有助于利益相关者更好地理解数据分析的结果,并做出相应的决策。
5. 模型评估和优化在完成数据分析和建模后,需要对模型进行评估和优化。
评估模型的准确性、鲁棒性和稳定性,发现和修复可能存在的问题和偏差。
同时,还需要优化模型的性能,提高分析的效率和效果,以满足实际应用的需求。
6. 维护和持续改进数据分析是一个持续的过程,需要不断进行维护和改进。
随着时间和业务需求的变化,收集到的数据可能发生变化,需要及时更新和调整分析流程。
同时,还可以通过不断的反馈和改进,提高数据分析的能力和效果,更好地应对日益增长的数据挑战。
总结起来,大数据分析流程包括数据收集和清洗、数据存储和管理、数据分析和建模、结果解释和可视化、模型评估和优化,以及维护和持续改进。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1编写目的 (3)2角色与职责 (3)3过程活动描述 (4)3.1 单元测试 (4)3.1.1 单元测试活动流程图 (4)3.1.2 单元测试准备 (6)3.1.2.1 单元测试计划准备 (6)3.1.2.1.1 目的 (6)3.1.2.1.2 角色和职责 (6)3.1.2.1.3 进入条件 (6)3.1.2.1.4 输入 (6)3.1.2.1.5 任务描述 (6)3.1.2.1.6 输出 (6)3.1.2.1.7 退出条件 (7)3.1.2.2 单元测试数据和环境准备 (7)3.1.2.2.1 目的 (7)3.1.2.2.2 角色和职责 (7)3.1.2.2.3 进入条件 (7)3.1.2.2.4 输入 (7)3.1.2.2.5 任务描述 (7)3.1.2.2.6 输出 (8)3.1.2.2.7 退出条件 (8)3.1.3 单元测试 (8)3.1.3.1 目的 (8)3.1.3.2 角色和职责 (8)3.1.3.3 进入条件 (8)3.1.3.4 输入 (8)3.1.3.5 任务描述 (9)3.1.3.6 测试目标及测试方法 (9)3.1.3.6.1 模型脚本单元测试目标及测试方法 (9)3.1.3.6.2 应用脚本单元测试目标及测试方法 (11)3.1.3.7 输出 (11)3.1.3.8 退出条件 (12)3.2 集成测试 (13)3.2.1 集成测试活动流程图 (13)3.2.2 集成测试准备 (14)3.2.2.1 集成测试计划和方案准备 (14)3.2.2.1.1 目的 (14)3.2.2.1.2 角色和职责 (14)3.2.2.1.3 进入条件 (14)3.2.2.1.4 输入 (14)3.2.2.1.5 任务描述 (14)3.2.2.1.6 输出 (15)3.2.2.1.7 退出条件 (15)3.2.2.2 测试数据和环境准备 (15)3.2.2.2.1 目的 (15)3.2.2.2.2 角色和职责 (15)3.2.2.2.3 进入条件 (16)3.2.2.2.4 输入 (16)3.2.2.2.5 任务描述 (16)3.2.2.2.6 输出 (16)3.2.2.2.7 退出条件 (16)3.2.3 集成测试(模型脚本) (16)3.2.3.1 目的 (16)3.2.3.2 角色和职责 (17)3.2.3.3 进入条件 (17)3.2.3.4 输入 (17)3.2.3.5 任务描述 (17)3.2.3.6 测试目标及测试方法 (18)3.2.3.6.1 PDM、建表语句或导数语句测试目标 (18)3.2.3.6.2 脚本测试目标 (18)3.2.3.6.3 调度测试目标 (19)3.2.3.7 输出 (20)3.2.3.8 退出条件 (20)3.2.4 集成测试(应用脚本) (20)3.2.4.1 目的 (20)3.2.4.2 角色和职责 (20)3.2.4.3 进入条件 (20)3.2.4.4 输入 (21)3.2.4.5 任务描述 (21)3.2.4.6 输出 (21)3.2.4.7 退出条件 (22)3.3 业务测试(只适用于应用脚本) (22)3.3.1 业务测试活动流程图 (22)3.3.2 业务测试准备 (23)3.3.2.1 业务测试计划 (23)3.3.2.1.1 目的 (23)3.3.2.1.2 角色和职责 (23)3.3.2.1.3 进入条件 (23)3.3.2.1.4 输入 (23)3.3.2.1.5 任务描述 (23)3.3.2.1.6 输出 (23)3.3.2.1.7 退出条件 (24)3.3.2.2 测试数据和环境准备 (24)3.3.2.2.1 目的 (24)3.3.2.2.2 角色和职责 (24)3.3.2.2.3 进入条件 (24)3.3.2.2.4 输入 (24)3.3.2.2.5 任务描述 (24)3.3.2.2.6 输出 (24)3.3.2.2.7 退出条件 (25)3.3.3 业务测试 (25)3.3.3.1 目的 (25)3.3.3.2 角色和职责 (25)3.3.3.3 进入条件 (25)3.3.3.4 输入 (25)3.3.3.5 任务描述 (25)3.3.3.6 输出 (26)3.3.3.7 退出条件 (26)4变更控制 (26)5缺陷管理流程 (27)1编写目的为了规项目的测试工作,给测试组及其与相关组的组间协调提供工作指导。
数据仓库项目组成员可依照本细则开展与测试相关的工作。
2角色与职责本部分列出了项目组成员日常工作中与测试相关的部分职责:3过程活动描述3.1单元测试3.1.1单元测试活动流程图3.1.2单元测试准备3.1.2.1 单元测试计划准备3.1.2.1.1目的明确单元测试的围、测试方法、规则,指导单元测试工作的正确执行。
3.1.2.1.2角色和职责3.1.2.1.3进入条件➢《XM_DW_P_XX项目计划》已完成➢《XM_DW_R_XX项目需求分析说明书》和《XM_DW_T_XX项目数据映射文档》初稿已完成3.1.2.1.4输入➢《XM_DW_P_XX项目计划》➢《XM_DW_R_XX项目需求分析说明书》➢《XM_DW_T_XX项目数据映射文档》3.1.2.1.5任务描述➢开发组长根据项目计划,编写单元测试计划,包括测试相关方的工作安排和测试过程等;➢开发组长组织测试组和开发组对单元测试计划进行评审,并形成评审记录;3.1.2.1.6输出➢《XM_DW_P_XX项目单元测试计划》➢《XM_DW_M_XX项目单元测试计划评审记录》3.1.2.1.7退出条件《XM_DW_P_XX项目单元测试计划》评审通过3.1.2.2 单元测试数据和环境准备3.1.2.2.1目的确定测试环境,并获取测试数据,满足测试需要。
3.1.2.2.2角色和职责3.1.2.2.3进入条件《XM_DW_R_XX项目需求分析说明书》和《XM_DW_T_XX项目数据映射文档》初稿已完成3.1.2.2.4输入➢《XM_DW_R_XX项目需求分析说明书》➢《XM_DW_T_XX项目数据映射文档》3.1.2.2.5任务描述➢应用负责人在需求和映射文档通过评审时,提出测试环境(包括单元测试、集成测试和用户测试环境)申请;➢开发人员编写单元测试案例,包括所需要的测试数据;➢如测试数据需要其他组协助准备,则提出测试数据申请;➢系统组根据申请进行测试环境的搭建,并以形式将配置参数信息通知给开发组和测试组;➢开发组对已搭建的测试环境和准备好的测试数据进行确认;3.1.2.2.6输出➢测试环境➢《XM_DW_T_XX项目单元测试案例》➢《XM_DW_M_XX项目单元测试案例评审记录》3.1.2.2.7退出条件➢测试环境已准备就绪➢《XM_DW_T_XX项目单元测试案例》已通过评审3.1.3单元测试3.1.3.1 目的➢对软件各模块进行单元测试,寻找并改正缺陷,保证产品质量。
单元测试一般由开发人员来完成。
测试人员负责测试执行情况的检查和审计,确保单元测试执行,并满足进入Build和集成阶段条件。
根据业务不同,必要时也可以安排测试人员执行单元测试。
3.1.3.2 角色和职责3.1.3.3 进入条件➢按测试计划的安排,项目进行到单元测试阶段。
➢程序可进行测试。
3.1.3.4 输入➢《XM_DW_T_XX项目数据映射文档》➢《XM_DW_T_XX项目单元测试案例》➢待测试的脚本或代码3.1.3.5 任务描述➢根据总的测试计划明确和细化单元测试的测试计划;➢开发人员根据开发脚本的情况,完善单元测试案例;➢开发人员根据单元测试计划和相应的测试用例来测试同伴或自己的代码;➢在单元测试案例中记录测试结果,分析测试结果,对Bug进行纠正并记录;➢在单元测试结束时编写单元测试报告;➢将单元测试时使用的SQL整理成脚本,作为一个配置项,以便以后复用;➢测试组对单元测试进行抽样检查,并形成检查记录;3.1.3.6 测试目标及测试方法3.1.3.6.1模型脚本单元测试目标及测试方法➢脚本成功运行检查测试容:脚本能否成功运行,是否有错误测试方法:使用单元测试调度脚本(unit_checking.pl下同),脚本调度0200.pl脚本,随后解析生成的日志,将解析的结果(日志中的错误个数)插入单元测试结果表(dwptemp.checking_data_quality下同)。
存在缺陷:无➢脚本重运行检查测试容:判断同一个脚本加载相同的数据重复运行后结果是否一致测试方法:单元测试调度程序每次调度都重复调度任务两次,数据质量检查脚本也会运行两次,第一次运行后将目标表的数据进行备份,第二次判断备份表和源表整体数据是否一致,将不一致数据的记录数插入单元测试结果表。
存在缺陷:无➢脚本规性检查测试容:脚本是否符合项目组脚本规性要求测试方法:使用单元测试调度脚本,脚本调度脚本规性检查脚本,随后解析生成的日志,将解析的结果(不符合规性个数)插入单元测试结果表。
存在缺陷:无➢主键重复检查测试容:数据加载完成后目标表中是否存在主键重复的纪录测试方法:使用单元测试调度脚本,脚本调度数据质量检查9000.pl脚本(下同),数据质量检查脚本中的主键重复性检查语句查询目标表中主键重复的记录数并将该数值插入单元测试结果表。
存在缺陷:无➢主键中包含空格检查测试容:数据加载完成后目标表的主键键值中是否存在空格测试方法:数据质量检查脚本中的主键键值是否包含空格逻辑查询主键键值中包含空格(去除值尾空格)的记录数并将该数值插入单元测试结果表。
存在缺陷:无➢PI是否偏测试容:检查目标表数据分布情况测试方法:数据质量检查脚本查询Teradata数据字典,计算数据分布偏值,将计算值插入单元测试结果表。
存在缺陷:生产环境和测试环境的硬件差别导致数据分布情况也不一致,另外外测试的数据量不大的情况下测试也不充分,该结果作为参考。
➢源表目标表记录数一致性(不充分)测试容:源表和目标表记录数核对测试方法:数据质量检查脚本查询源表记录数和目标表记录数,将查询结果插入单元测试结果表。
存在缺陷:当目标表所对应的源表是一个表的情况下测试比较充分,但源表有多个或者源表的取数规则比较复杂时,DMM映射模版生成的审核语句不准确,需要手工进行脚本修改,建议目前还是有测试组进行测试,待单元测试的其他容执行顺利后再和测试组沟通将该测试容完整的纳入单元测试中。
➢标准代码转换是否正确测试容:对选择进行标准代码转换的字段判断目标表该字段值是否在标准代码表中测试方法:数据质量检查脚本查询目标表中进行标准代码转换的字段,取值不在标准代码表中记录个数插入单元测试结果表。
存在缺陷:无➢拉链表拉链逻辑检查测试容:历史拉链表的拉链逻辑是否存在问题,是否有开链、断链问题测试方法:数据质量检查脚本根据拉链表逻辑检查拉链表是否存在问题,将查询出存在拉链逻辑错误的记录数插入单元测试结果表。