第九章 非功能性测试
功能测试与非功能测试
功能测试与非功能测试在软件开发和测试的过程中，功能测试与非功能测试是两个重要的测试类型。
功能测试主要验证系统各个功能模块的功能是否符合需求规格说明书中的要求，而非功能测试则主要验证系统在性能、可靠性、安全性等方面的指标是否符合要求。
本文将对功能测试和非功能测试进行详细论述。
一、功能测试功能测试是指对软件系统的各个功能进行测试，以验证系统是否按照需求规格说明书中的要求正常运行。
在功能测试中，测试人员将根据需求规格说明书编写测试用例，并执行这些测试用例来验证系统的各个功能点。
功能测试主要包括以下几个方面：1. 功能正确性测试：测试系统各个功能点的正确性，包括输入、输出、计算、逻辑等方面。
2. 功能完整性测试：测试系统是否包含了所有规格说明书中规定的功能点，是否有遗漏或者多余的功能点。
3. 数据正确性测试：测试系统在不同输入数据下的处理是否正确，包括边界值测试、异常值测试等。
4. 用户界面测试：测试系统的用户界面是否符合用户的操作习惯和美观要求。
二、非功能测试非功能测试是指对软件系统在性能、可靠性、安全性、兼容性等方面的要求进行测试。
这些要求通常不明确地体现在需求规格说明书中，而是通过系统设计和软件开发过程中的约定来确定。
非功能测试主要包括以下几个方面：1. 性能测试：测试系统在并发用户数、响应时间、吞吐量等方面的性能指标是否符合要求。
2. 可靠性测试：测试系统在长时间运行、高负载、异常情况下是否可靠稳定。
3. 安全性测试：测试系统在信息安全、权限控制、数据加密等方面的安全性能是否符合要求。
4. 兼容性测试：测试系统在不同操作系统、不同网络环境、不同硬件平台下的兼容性是否良好。
三、功能测试与非功能测试的关系功能测试和非功能测试是相辅相成的，两者缺一不可。
功能测试主要关注系统的各个功能点是否符合需求，而非功能测试则关注系统在使用过程中的性能、可靠性和安全性等方面。
只有同时进行功能测试和非功能测试，才能全面评估系统的质量。
软件测试中的功能和非功能测试
软件测试中的功能和非功能测试软件测试是软件开发过程中不可或缺的一环，旨在评估软件系统的质量、稳定性和可靠性。
在软件测试中，功能测试和非功能测试是两个核心概念。
功能测试主要是验证软件系统是否按照需求规格说明书中所定义的功能进行工作，而非功能测试则关注软件系统的性能、安全性、可靠性等方面。
一、功能测试功能测试是指对软件系统功能的验证。
它主要关注软件系统是否按照需求规格说明书中所定义的功能进行正确的工作。
功能测试的目的是测试软件系统的功能是否满足用户的需求，并且是否符合设计和规范要求。
在功能测试中，可以通过以下几种方式来验证软件系统的功能是否正确：1. 单元测试：针对软件系统中的各个独立单元进行测试，以保证每个单元的功能都正确无误。
2. 集成测试：将各个独立单元组装起来进行测试，验证它们之间的接口和交互是否正常。
3. 系统测试：对整个软件系统进行测试，测试软件系统是否能够按照整体需求进行正确的工作。
4. 验收测试：在软件系统开发完成后，由用户对软件进行测试，以确认软件是否满足用户的需求和期望。
在功能测试中，需要编写测试用例来验证软件系统的各个功能是否按照预期进行工作，并记录测试结果以便分析和修复缺陷。
二、非功能测试非功能测试是指对软件系统的性能、安全性和可靠性等方面的验证。
它主要关注软件系统在各种条件下的表现和性能指标是否满足要求。
在非功能测试中，可以根据不同的测试目标，进行以下几种测试：1. 性能测试：验证软件系统在各种负载条件下的性能指标，包括响应时间、吞吐量、并发性等。
2. 安全性测试：验证软件系统的安全性，包括身份认证、数据加密、访问控制等方面的测试。
3. 可靠性测试：测试软件系统的可靠性和稳定性，包括故障处理、恢复能力、容错性等。
4. 兼容性测试：测试软件系统在不同操作系统、浏览器和设备上的兼容性，以保证软件系统能够在各种环境下正常工作。
非功能测试的目的是寻找软件系统的弱点和性能瓶颈，并为改进和优化软件系统提供依据。
软件测试中的非功能性测试
软件测试中的非功能性测试在软件开发过程中，测试是一个至关重要的环节。
除了对软件功能的验证外，测试人员还需要对软件的非功能性进行测试，以确保软件在各项非功能方面的表现达到用户的期望。
本文将就软件测试中的非功能性测试进行探讨。
一、什么是非功能性测试非功能性测试是指对软件系统在性能、稳定性、安全性、可用性、兼容性等方面进行的测试。
通过对软件的各种非功能需求进行验证和评估，可以帮助开发团队发现和解决潜在的问题，提升软件的质量和用户体验。
二、非功能性测试的分类1. 性能测试性能测试是指对软件系统在各种条件下的性能表现进行评估和验证。
其中包括负载测试、压力测试、性能稳定性测试等等。
性能测试旨在测试软件在不同负载和压力下的反应速度、吞吐量、资源利用率等性能指标。
2. 安全性测试安全性测试是对软件系统的安全性进行评估和验证。
通过模拟各种攻击手段，测试软件系统对于安全漏洞和风险的抵御能力，如输入验证、身份认证、访问控制等方面。
3. 可用性测试可用性测试是指对软件系统的易用性和用户体验进行评估和验证。
测试人员通过模拟真实用户的操作场景，测试软件在用户界面、操作流程、交互设计等方面的友好程度和易用性。
4. 兼容性测试兼容性测试是指对软件系统在不同平台、操作系统、浏览器等环境下的兼容性进行评估和验证。
测试人员通过验证软件在不同环境下的运行状态和功能表现，以确保软件的兼容性。
5. 可靠性测试可靠性测试是对软件系统的稳定性和可靠性进行评估和验证。
通过长时间运行、复杂操作等方式，测试软件系统在不同条件下的稳定性和容错能力，以确保软件的可靠性。
三、非功能性测试的流程1. 确定测试目标和需求：根据软件的非功能性需求和用户期望，确定测试的目标和范围。
2. 设计测试方案：制定详细的测试计划和测试用例，包括测试环境的搭建、测试数据的准备等。
3. 执行测试：按照测试方案进行测试，记录测试过程中出现的问题和缺陷。
4. 分析测试结果：对测试结果进行分析和评估，确定问题的严重性和优先级。
第九章 非功能性测试
明确性能测试目标和范围
测试的对象
应用系统的使用模式 其它
软件测试方法和应用》
9-13
第十三页，共63页
分析性能测试需求
明确性能测试目标和范围 用户需求不同，性能测试的目标也有所不同
依据性能目标，确定相应的性能测试活动和范围
包含系统要达到的性能指标，这些指标应该以可度量的形式给出并且统一性 能指标的含义
任务 规划性能测试的软硬件环境 制定测试环境的维护策略 1. 反复使用Ghost维护一些测试环境 2. 利用VMware在同台电脑上构建多个测试平台
3. 使用备份/恢复策略维护数据库中的内容等。
性能选择测试工具
软件测试方法和应用》
9-20
第二十页，共63页
规划性能测试环境
性能测试环境规划的内容
经验评估法
软件测试方法和应用》
9-28
第二十八页，共63页
性能测试设计和开发
步骤
1. 基于用户对系统的使用情况，分析出用户现实中的典型场景
2. 基于这些场景设计性能测试用例，确定测试中使用的具体数据
3. 借助性能测试工具或某种编程语言开发性能测试脚本实现性能测试用例 并发用户数需要逐步提高
软件测试方法和应用》
3. 服务器与客户端之间的通信方式 4. 中间件配置和应用程序服务器
5. 可能影响相应时间的其他网络组件
6. 通信设备的吞吐量
7. 每个设备可以处理的并发用户数。
软件测试方法和应用》
9-22
第二十二页，共63页
性能测试工具
为什么使用工具
性能测试要通过模拟大量用户行才能进行，如果使用纯手工测试的方法，性能测 试不仅在执行上异常困难另外成本也会变得难以让人接受。
软件测试中的功能与非功能测试
软件测试中的功能与非功能测试软件测试是软件开发过程中至关重要的一环，它通过检验软件系统的正确性、健壮性和性能等方面，帮助开发人员和用户确保软件质量。
在软件测试中，功能测试和非功能测试是两个重要的测试方向。
本文将介绍功能测试和非功能测试的概念、目的以及常用的测试方法。
一、功能测试功能测试是测试软件系统是否按照需求规格说明书或功能规范进行设计和实现的过程。
其目的是验证软件系统的各项功能是否符合预期，并发现并修复其中的缺陷。
常见的功能测试包括单元测试、集成测试和系统测试等。
1. 单元测试单元测试是对软件系统中最小可测的模块进行的测试，通常是测试一个函数或一个功能模块。
它的目的是验证单元是否按照设计要求正确运行，并检查是否满足预期的输入输出关系。
单元测试常用的方法包括黑盒测试和白盒测试。
2. 集成测试集成测试是测试软件系统中多个模块之间的接口和交互是否正确。
在集成测试中，各个模块被逐步集成，测试人员需要验证模块之间的协同工作是否正常，是否满足系统设计的要求。
3. 系统测试系统测试是对整个软件系统进行的测试，包括测试整体功能、性能、稳定性和可靠性等方面。
系统测试有助于发现系统整体上的问题，并提供对系统的综合评估。
二、非功能测试非功能测试是测试软件系统的性能、可靠性、安全性、易用性等非功能方面的特性。
它的目的是验证软件系统在特定的非功能要求下是否正常运行，并评估系统的性能和可靠性。
常见的非功能测试包括性能测试、安全性测试、兼容性测试和易用性测试等。
1. 性能测试性能测试是测试软件系统在不同负载和压力条件下的性能表现。
它可以检查系统的吞吐量、响应时间、并发性能等指标。
性能测试有助于发现系统在高负载情况下的瓶颈和性能问题。
2. 安全性测试安全性测试是测试软件系统在面对安全威胁时的表现。
它包括对系统的漏洞、弱点和安全隐患进行检查，并针对各种攻击手段进行测试。
安全性测试有助于保护软件系统的机密性、完整性和可用性。
3. 兼容性测试兼容性测试是测试软件系统在不同硬件、操作系统和浏览器等环境中的适配性和兼容性。
非功能性测试和性能优化工具
非功能性测试和性能优化工具非功能性测试是软件开发和测试过程中必不可少的一项任务。
它是指对软件系统的性能、安全性、可靠性等非功能性需求进行评估和验证的过程。
而在软件开发完成后，为了使系统能够更好地满足用户的需求，性能优化工具则扮演着重要的角色。
本文将介绍非功能性测试和性能优化工具的相关概念和作用，并讨论其在软件开发和测试领域的重要性。
一、非功能性测试非功能性测试是对软件系统进行评估和验证的过程，侧重于系统的性能、安全性、可靠性等非功能性需求。
它是在软件开发过程中的一项重要任务，旨在确保软件系统能够满足用户的期望和要求。
1. 性能测试性能测试是非功能性测试中的一种重要形式，旨在评估系统在不同负载下的性能表现。
它主要包括负载测试、压力测试和容量测试等。
负载测试是通过模拟用户访问量来评估系统在正常负载下的性能情况。
通过在系统中添加一定数量的并发用户并模拟用户行为，可以检测系统的响应时间、吞吐量、资源利用率等指标。
压力测试是对系统进行极限负载测试，以评估系统在超负荷条件下的性能表现。
通过逐渐增加并发用户数量，测试系统的极限负载能力，并观察系统在达到负载上限时的性能指标。
容量测试是根据用户需求以及计划使用的硬件和网络环境，评估系统的可扩展性和容量。
通过模拟预期的用户规模和负载，可以确保系统具备足够的容量来满足未来的增长需求。
2. 安全测试安全测试是对软件系统进行评估和验证的过程，主要关注系统的安全性。
它旨在发现系统中存在的安全漏洞和潜在的风险，并提供相应的安全防护措施。
在安全测试中，可以使用各种技术和方法来评估系统的安全性，包括黑盒测试、白盒测试、渗透测试等。
通过模拟各种攻击场景并进行测试，可以发现系统中存在的安全漏洞和弱点，并及时采取对应的修复和加固措施。
3. 可靠性测试可靠性测试是对软件系统进行评估和验证的过程，旨在检测系统的稳定性和可靠性。
它主要关注系统的错误处理、容错能力和故障恢复等方面。
在可靠性测试中，可以使用各种方法和技术来模拟系统运行过程中的各种异常情况和故障，以评估系统的可靠性。
非功能测试 国标定义
非功能测试国标定义
非功能测试定义为一种软件测试类型，用于检查软件应用程序的非功能性方面（性能，可用性，可靠性等）。
它旨在根据非功能参数测试系统的就绪状态，而功能测试永远不会解决这些参数。
非功能测试的一个很好的例子是检查可以同时登录软件的人数。
非功能测试与功能测试同等重要，并且会影响客户满意度。
非功能测试的目的
1.非功能测试应提高产品的可用性，效率，可维护性和可移植性。
2.帮助降低与产品非功能性方面相关的生产风险和成本。
3.优化产品的安装，设置，执行，管理和监视方式。
4.收集和产生用于内部研发的度量和指标。
5.改进和增强对使用产品行为和技术的了解。
非功能测试的特征
1.非功能测试应该是可测量的，因此没有地方进行主观表征，如好，更好，最好等。
2.在需求过程开始时不太可能知道确切的数字
3.优先考虑需求很重要
4.确保在软件工程中正确标识了质量属性。
非功能性测试如何评估软件的可靠性可维护性和可扩展性
非功能性测试如何评估软件的可靠性可维护性和可扩展性非功能性测试是软件测试中的一种重要测试方法，主要用于评估软件的可靠性、可维护性和可扩展性。
本文将介绍非功能性测试的概念、方法以及评估软件可靠性、可维护性和可扩展性的具体步骤。
一、非功能性测试的概念非功能性测试是指对软件系统的非功能性需求进行验证和评估的过程。
与功能性测试不同，非功能性测试关注的是软件系统在各种场景下的性能、可用性、安全性等方面的表现。
非功能性需求通常包括性能需求、可用性需求、可靠性需求、安全性需求等。
二、非功能性测试的方法非功能性测试主要包括负载测试、压力测试、容量测试、稳定性测试、安全性测试等多种测试方法。
下面将分别介绍这些测试方法的具体内容。
1. 负载测试负载测试是模拟实际用户使用软件系统的情况，通过增加并发用户数、事务数等来发现系统可能存在的性能问题。
负载测试可以评估系统在正常工作负载下的性能表现，包括响应时间、吞吐量等指标。
2. 压力测试压力测试是模拟软件系统在极限负载情况下的表现，通过大量并发用户或大数据量的处理来测试系统的性能极限，以评估系统在负载高峰时的表现。
压力测试可以帮助发现系统可能出现的性能瓶颈或崩溃情况。
3. 容量测试容量测试是测试系统在给定硬件和软件配置下所能承受的最大负载容量。
通过逐步增加负载，直到系统出现性能下降或崩溃，来确定系统的容量极限。
容量测试可以帮助确定系统的扩展性，以支持未来增加的用户或数据量。
4. 稳定性测试稳定性测试是测试系统在长时间运行过程中是否稳定的能力。
通过模拟系统长时间运行、大量数据处理等场景，观察系统是否会出现内存泄漏、资源耗尽等问题。
稳定性测试可以评估系统的可靠性和健壮性。
5. 安全性测试安全性测试是测试系统在安全威胁下的防御能力。
通过模拟黑客攻击、恶意软件等场景，测试系统的安全性和防御能力。
安全性测试可以发现系统可能存在的安全漏洞和风险，以提供相应的安全保护措施。
三、评估软件可靠性的步骤评估软件可靠性主要包括搜集可靠性数据、分析可靠性数据和计算可靠性指标三个步骤。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
性能
1. 2. 3.
与被测系统相关的一系列度量指标。 不同的系统关心不同的性能指标，例如 通信软件关心的性能指标有接通率、掉话率、接续容量等 证券系统关心下单速度、下单的数量、是否堵单等 嵌入式软件关心的性能指标中断响应、内存使用、实时性 站在用户角度，响应时间是所有系统都关心的指标性能
《软件测试方法和应用》
9-5
性能测试
常规的性能测试
在正常条件下进行的测试，主要测试正常使用时系统是否满足要求，同时可 能为了保留系统的扩展空间而进行一些稍稍超出“正常”范围的测试。
负载测试
通过逐步增加系统负载，测试系统性能的变化，并最终确定在满足性能指标
的情况下，系统所能承受的最大负载量的测试。
需要的信息包括
系统有多少类典型的用户、每类用户的大概数量、不同时间段各类用户 大概按照何种比例使用系统、用户的行为、系统的行为、这些行为发生 的时间和比率、在系统生命周期内用户数量的变化情况如何。
可以利用任务分布图法描述上述信息
《软件测试方法和应用》
9-17
任务分布图示例
任务图示例
《软件测试方法和应用》
1.
2.
并发数设计
开发和收集反应用户实际行为的测试数据
《软件测试方法和应用》
9-27
并发用户数设计
方法
极限法
取最大在线用户数作为最大并发数，可以通过日志分析，也可以 使用系统已经注册的用户数量作为系统的用户数量，然后按照经 验公式来估算最大并发用户数量。
用户趋势分析法
对软件生存周期内的用户未来趋势进行分析，预测系统可能达到
3.
执行测试用例
4.
5.
监控测试执行
保存测试结果
《软件测试方法和应用》
9-31
结果分析与系统调整
目标
分析测试结果，确定系统是否 存在性能问题
输出性能测试报告 如果发现存在性能问题，则由 相关责任人负责修改，修改完 毕后，可能引起另一个性能测 试周期用以验证问题是否解决
《软件测试方法和应用》
开源工具：Jmeter, Opensta. Grinder etc.
《软件测试方法和应用》
9-23
性能测试规划
步骤
1.
分析性能测试需求
2.
3.
规划性能测试环境
开发并评审性能测试计划
《软件测试方法和应用》
9-24
性能测试计划
内容
性能测试策略和测试范围 性能测试目标、方法、环境和工具 性能团队成员及其职责 测试进度安排 性能测试执行标准（开始、结束、挂起、恢复等）
性能选择测试工具
《软件测试方法和应用》
9-20
规划性能测试环境
性能测试环境规划的内容
1. 2. 3. 4.
一般的分布式处理系统其性能测试环境规划包括 网络环境设计：带宽和拓扑结构 操作系统环境规划 数据库环境规划 服务器环境规划
5.
6.
硬件资源环境设计规划
客户端环境规划
《软件测试方法和应用》
性能测试中的风险
相关的培训
《软件测试方法和应用》
9-25
性能测试设计和开发
目标
设计并评审性能测试用例 开发性能测试脚本 验证脚本功能的正确性
《软件测试方法和应用》
9-26
性能测试设计和开发
主要设计内容
1. 2. 3.
场景设计 不同业务模式下的场景 不同时间段内的场景 不同时期的场景 数据设计
9-7
性能测试
大数据量测试包
1.
含独立数据量测试和综合数据量测试。 独立数据量测试是针对某些系统存储、传输、统计查询等业务进行单用户 大数据量测试。
2.
综合数据量测试是与并发测试等相结合的在极限状态下的测试。
《软件测试方法和应用》
9-8
性能测试过程
性能测试过程
性能测试规划 性能测试设计与开发 性能测试执行与监控 测试结果分析和系统调整
9-32
结果分析
原则
1.
由外而内，由表及里，层层深入 从最终用户直接可以感受到的响应时间入手，如果测试结果显示满足用 户对性能的期望，则系统的性能满足要求，否则说明系统存在性能问题
2.
确定系统瓶颈是出现在网络环节还是服务器环节
CPU
内存
磁盘
3.
层层推进，判断相应环节的更细组件的响应时间，直到最后找到造成性
并发测试
要指测试多个用户同时访问同一个应用程序、同一个模块或者数据记录时 是否存在死锁或者其它性能问题。
1. 2.
并发一般分两种情况： 严格意义上的并发：所有的用户在同一时刻做同一件事情或者操作 广义范围上的并发：指用户对系统发出的请求或者进行的操作，可以是相
同的也可以是不同的。
《软件测试方法和应用》
能问题的根本原因
《软件测试方法和应用》
9-33
结果分析
CPU
1. 2.
Process Time≤ 85% Process Queue Length ≤ 2*处理器个数
内存
1. 2.
Available memory ≥ 0 Pages/秒（Page in/s+Page out/s）Page in的值需≤80
如果数据在程序间共享，应遵守相应的协议和标准数据格式 考虑文件存储和装载、输入输出、剪切、拷贝和粘贴 实时数据传输方法下的共享信息是否正确
分析系统的压力点
系统压力点多是用户使用比较频繁或者数据量较大的地方 分析系统压力点是指站在全局角度来分析系统可能产生瓶颈的功
能点，进而制定合适的测试方案。
《软件测试方法和应用》
9-16
用户对系统地使用情况
意义
确定用户对系统的使用情况是设计测试用例的基础
方法
用户现场调查 分析系统日志
为什么需要进行兼容性测试
硬件类型、品种多种多样 软件类型、品种多种多样 软硬件之间客观存在的差异，使得系统在运行时存在在某些环境中工作正 常但却在其它环境中出现问题的情况
内容
减少软硬件的组合数目
《软件测试方法和应用》
9-36
案例
案例
如果要执行一个完全的兼容性测试，配置组合将是一个巨大的数字，以窗 口在线游戏程序为例，假设游戏支持大约350个可能的显示卡，200个声卡， 800个调制解调器，1200个打印机，这样就有350×200×800×1200种 组合
7.
每个设备可以处理的并发用户数。
《软件测试方法和应用》
9-22
性能测试工具
为什么使用工具
性能测试要通过模拟大量用户行才能进行，如果使用纯手工测试的 方法，性能测试不仅在执行上异常困难另外成本也会变得难以让人 接受。
1.
有很多可以进行性能测试的工具，比如： LoadRunner
2.
3.
IBM Functional Tester
9-18
性能测试规划
步骤
1.
分析性能测试需求
2.
3.
规划性能测试环境
开发并评审性能测试计划
《软件测试方法和应用》
9-19
规划性能测试环境
任务
1. 2. 3.
规划性能测试的软硬件环境 制定测试环境的维护策略 反复使用Ghost维护一些测试环境 利用VMware在同台电脑上构建多个测试平台 使用备份/恢复策略维护数据库中的内容等。
需要考虑被测系统使用什么平台 系统设计时考虑兼容的应用程序 被测系统自身的向前向后兼容性
2.
标准：
概要标准用于指导产品的基本操作属性，如颜色、感官、支持的特性等
详细标准规定了产品的详细信息比如文件格式，通讯协议
9-38
《软件测试方法和应用》
兼容性测试步骤
对软件来说
3.
兼容性测试的软件环境通常，包括 数据共享：
《软件测试方法和应用》
9-4
性能测试
定义
是一个综合性的测试活动，通常包括一系列与被测系统性能相关的 互相关联互相包含的测试活动，如常规的性能测试、负载测试、压 力测试、并发测试、强度测试、大数据量测试等
目的
在于优化最重要的应用程序性能指标，提高用户体验的满意
测试思想
借助测试工具或手工开发测试脚本，模拟执行典型的用户行为，监 控关键性能测量结果以判断定义的性能指标是否达到期望的目标
3.
明确用户任务的分布情况
1. 2.
方法
分析被测系统的业务 用户对系统地使用情况
《软件测试方法和应用》
9-15
分析被测系统业务
测试对象
确定系统的核心模块
核心模块：业务比较复杂或者用户使用频率较高的模块
模块间的耦合关系
为了更加清晰地了解核心模块间数据的传输方式以便更真实地模 拟多用户并发时的情况
9-21
规划性能测试环境
如何规划性能测试环境
1. 2. 3.
了解终端用户的真实部署环境 确定系统组件及各个组件的配置，掌握如下信息： 连接到系统的用户数 客户端计算机的配置情况 服务器与客户端之间的通信方式