第5章 系统测试

3.2.5性能测试内容
性能测试数据的收集
客户机： 客户机：响应时间 服务器： CPU， 占全部处理器时间的百分比； 服务器 ： CPU ， 占全部处理器时间的百分比 ； 内存， 用字节数和每秒出现的页面错误率表示； 内存 ， 用字节数和每秒出现的页面错误率表示 ； 硬盘的I/O 硬盘的I/O WEB服务器 除了上述项目外， WEB服务器还包 服务器： WEB 服务器 ： 除了上述项目外 ， WEB 服务器还包 括最大的同时连接数目 数据库服务器： 数据库服务器 ： 所有数据库服务器都应当包含 交易/ 交易/秒和缓存命中率等数据 网络： 网络：监视每个服务器之间的带宽数据
(1)用户对软件性能的关注
发出请求 请求 应用服务器
用户
DB服务器
用户感受到 响应
返回数据
应用界面
呈现
呈现时间
系统响应时间
(2)管理人员对软件性能的关注
管理员关心的问题 服务器的资源使用状况合理吗 应用服务器和数据库的资源使用状况合理吗 系统是否能够实现扩展 软件性能描述 资源利用率 资源利用率 系统可扩展性
系统测试依据为系统的需求规格说明书 需求规格说明书、 系统测试依据为系统的需求规格说明书 、 概要设计说明书、各种规范。 概要设计说明书、各种规范。 通信产品与一般的软件产品不同，其系统 通信产品与一般的软件产品不同， 测试往往需要依据大量的既定规范， 测试往往需要依据大量的既定规范， 对于 海外产品， 海外产品，系统测试依据还包括各个国家 自定的规范。 自定的规范。
3.4配置测试
这类测试是要检查计算机系统内各个设备或 各种资源之间的相互联结和功能分配中的错 误。 它主要包括以下几种： 它主要包括以下几种： 配置命令测试： 配置命令测试 ： 验证全部配置命令的可 操作性（有效性） 操作性（有效性）；特别对最大配置和最 小配置要进行测试。 小配置要进行测试。软件配置和硬件配置 都要测试。 都要测试。
2.2应用层测试
应用层测试主要是针对产品工程稳定性的 测试， 测试，它考察一个产品在实际应用背景下 的功能实现、性能表现等情况， 的功能实现、性能表现等情况，它包括以 下几个测试方面： 下几个测试方面： 系统性能 系统可靠性、 系统可靠性、稳定性 版本兼容性 系统安装升级
2.3功能层测试
在设计功能层的系统测试方案时， 在设计功能层的系统测试方案时，需要考 虑以下几个步骤 : 根据市场调查或规格说明书输出产品的 功能概图， 功能概图 ， 概图提供产品的功能列表和 功能使用频度； 功能使用频度； 功能概图应该保证重要的产品功能的完 全覆盖； 全覆盖； 产品功能测试可根据功能概图提供的测 试优先次序进行进度和资源的调配； 试优先次序进行进度和资源的调配；
3系统测试的方法
系统测试主要分为静态测试和动态测试。 系统功能测试
功能测试是系统测试中最基本的测试， 功能测试是系统测试中最基本的测试 ， 它 不管软件内部的实现逻辑， 不管软件内部的实现逻辑，主要根据产品 的需求规格说明书和测试需求列表， 的需求规格说明书和测试需求列表， 验证 产品的功能实现是否符合产品的需求规格。 产品的功能实现是否符合产品的需求规格。
2.3功能层测试
产品特性里概念性功能可逐步分解， 产品特性里概念性功能可逐步分解， 直 至能够对产品进行输入和输出测试的可 实施操作(基本功能) 实施操作(基本功能)； 对产品的不同功能进行组合， 对产品的不同功能进行组合， 考虑各类 功能的组合测试方案。 功能的组合测试方案。
2.4指标/协议层测试
1.1系统测试的对象
系统测试对象为整个产品系统， 系统测试对象为整个产品系统，它不仅包 括产品系统的软件， 括产品系统的软件，还要包含系统软件所 依赖的硬件、外设甚至包括接口。 依赖的硬件、外设甚至包括接口。
1.2与单元测试、集成测试的区别
测试方法不同 测试对象和目标不同 评估基准不同
1.3系统测试依据
3.2.1什么是软件性能
性能是一种指标， 性能是一种指标，表明软件系统或构件对于 其及时性要求的符合程度 对软件性能的关注是多层面的
用户关注 管理人员关注 开发人员关注
(1)用户对软件性能的关注
从用户的角度来说， 从用户的角度来说，软件性能就是软件对用 户操作的响应时间。 户操作的响应时间。 对用户来说，当用户单击一个按钮、发出一 对用户来说，当用户单击一个按钮、 条指令或是在Web页面上单击一个链接， Web页面上单击一个链接 条指令或是在 Web 页面上单击一个链接 ， 从 用户单击开始到应用系统把本次操作的结果 以用户能察觉的方式展示出来， 以用户能察觉的方式展示出来，这个过程所 消耗的时间就是用户对软件性能的直观印象。 消耗的时间就是用户对软件性能的直观印象。
(2)系统资源利用率分析
网络资源利用率分析 服务器资源利用率分析 操作系统资源利用率 数据库 中间件服务器
3.2.6性能测试类型
基准性能测试 负载测试 压力测试 数据容量测试
3.3恢复测试
错误探测功能── 系统能否发现硬件失效与故 错误探测功能 ──系统能否发现硬件失效与故 ── 障； 能否切换或启动备用的硬件； 能否切换或启动备用的硬件； 在故障发生时能否保护正在运行的作业和系统 状态； 状态； 在系统恢复后能否从最后记录下来的无错误状 态开始继续执行作业，等等。 态开始继续执行作业，等等。 掉电测试： 掉电测试：其目的是测试软件系统在发生电源 中断时能否保护当时的状态且不毁坏数据， 然 中断时能否保护当时的状态且不毁坏数据 ， 后在电源恢复时从保留的断点处重新进行操作。 后在电源恢复时从保留的断点处重新进行操作 。
3.2.3性能测试 测试的目的 测试
性能测试就是要在一定约束条件下测试系统 所能承受的并发用户量、运行时间、数据量， 所能承受的并发用户量、运行时间、数据量， 以确定系统所能承受的最大负载压力， 以确定系统所能承受的最大负载压力，保证 产品发布后系统的性能能够一般观点： 产品发布后系统的性能能够一般观点：找一 个点(如 用户)满足用户需求 个点 如200用户 满足用户需求。 用户 满足用户需求。 性能测试的目的可以概括以下几个方面： 性能测试的目的可以概括以下几个方面： 在真实环境下检测系统性能， 在真实环境下检测系统性能，评估系统性 能以及服务等级的满足情况； 能以及服务等级的满足情况； 分析系统瓶颈、优化系统。 分析系统瓶颈、优化系统。
指标/ 指标 / 协议层测试是据规格说明书和产品 标准(包括国际和国内标准)进行验证测试， 标准(包括国际和国内标准)进行验证测试， 它强调的是标准的符合性， 它强调的是标准的符合性，测试项目为预 定义的产品规格、行业标准、 定义的产品规格、行业标准、如新国际测 ITUT(国际电信联盟 标准测试等等。 国际电信联盟) 试、ITUT(国际电信联盟)标准测试等等。
3.2.4缩放性测试
系统的缩放性指的是在系统中增加计算资源 的能力。增加了计算资源后， 的能力。增加了计算资源后，在特定的负载 条件下， 条件下，就可以获得可接受的或改进的响应 时间、稳定性和数据吞吐量。在这里， 时间、稳定性和数据吞吐量。在这里，负载 指的是同一时间内系统处理客户端业务功能 数量。 数量。
(1)客户端性能测试
主要是测试在多个客户并发时， 主要是测试在多个客户并发时，系统完成用 户业务功能的响应时间。 户业务功能的响应时间。具体性能指标参数 如下： 如下： 并发客户端数 业务处理响应时间 业务处理通过率
(1)客户端性能测试
WEB系统为例， WEB 系统为例，响应时间性能因素包括下面 系统为例 几项： 几项： 请求提交：客户浏览器为了与网站进行连 请求提交： 接并传输用户提供的数据所需的时间。 接并传输用户提供的数据所需的时间。 处理时间： 处理时间：请求被一台或多台服务器处理 以执行用户所需功能的时间。 以执行用户所需功能的时间。 响应：处理请求后， 响应：处理请求后，将页面或者数据返回 给用户， 给用户，传输这些页面或者数据所需要的 时间即为响应时间。 时间即为响应时间。
3.2性能和缩放性测试
性能测试是要检查系统是否满足在需求说明 书中规定的性能。 书中规定的性能。特别是对于实时系统或嵌 入式系统。 入式系统。 性能测试常需要与强度测试结合起来， 性能测试常需要与强度测试结合起来，并要 求同时进行硬件和软件检测。 求同时进行硬件和软件检测。 通常，对性能的检测表现在以下几个方面： 通常，对性能的检测表现在以下几个方面： 响应时间、吞吐量、辅助存储区， 响应时间、吞吐量、辅助存储区，例如缓冲 工作区的大小等、处理精度等等。 区，工作区的大小等、处理精度等等。
2.系统测试层次
用户层测试 应用层测试 功能层测试 指标/ 指标/协议层测试
2.1用户层测试
用户层测试是面向产品使用者的测试， 用户层测试是面向产品使用者的测试 ， 它 包括： 包括： 用户支持 用户界面 安全性 可维护( 自检有效性、 远程维护、 可维护 ( 自检有效性 、 远程维护 、 软件 加载和升级) 加载和升级)
第四章 系统测试
本章从以下几个方面来介绍系统测试： 本章从以下几个方面来介绍系统测试： 系统测试的概念 系统测试的方法 系统测试的过程
1.系统测试的概念
系统测试是将通过确认测试的软件， 系统测试是将通过确认测试的软件，作为 整个基于系统的一个元素，与硬件、支持 整个基于系统的一个元素，与硬件、 软件、 软件、数据和人员等其它系统元素结合在 一起，在实际运行环境下， 一起，在实际运行环境下，对系统进行一 系列的组装测试和确认测试。 系列的组装测试和确认测试。 系统测试的目的在于通过与系统的需求定 义作比较， 义作比较，发现软件与系统的定义不符合 的地方，以验证软件系统的功能和性能等。 的地方，以验证软件系统的功能和性能等。
1.系统测试的概念
从软件测试的V模型来看， 从软件测试的V模型来看，系统测试是产品 提交给用户之前进行的最后阶段的测试， 提交给用户之前进行的最后阶段的测试， 因此很多公司将其视为产品的最后一道防 线。 系统测试阶段主要使用黑盒方法设计测试 用例。 用例。 系统测试所用的数据必须尽可能地像真实 数据一样精确和有代表性， 数据一样精确和有代表性，也必须和真实 数据的大小和复杂性相当。 数据的大小和复杂性相当。满足上述测试 数据需求的一个方法是使用真实数据。 数据需求的一个方法是使用真实数据。