第10章a测试用例的自动生成

随机测试的用途
◦ 1）在没有足够的信息支持其他测试方法时； ◦ 2）如果能够有办法不使用预期结果进行测试的验证，如： 冒烟测试、参考测试、蜕化测试等； ◦ 3）作为其他测试方法的支持； ◦ 4）在刚开始进行测试时，初步发现错误。


随机测试的实现：对于简单的程序输入，如整数、 实数等，可以直接产生随机数据。其他数据类型， 需要进行数据的映射和转换。 复杂数据类型的随机数据生成

对自适应随机测试的一些改进
◦ 由于自适应随机测试的计算复杂度太高，有一些方法改进 了自适应随机测试的生成效率。 ◦ 基于遗忘的方法(forgetting)。在生成过程中，仅考虑最 近生成的若干个测试用例（如100个）。 ◦ 基于镜像的方法（mirroring）。在生成过程中，将输入 空间划分为对称的几个部分，仅对某个空间进行测试用例 生成。当生成新的用例后，就映射到其他几个空间。


混合约束问题：由一个或一组混合约束条件组成的 问题称为混合约束问题.混合约束问题中的变量可 以在多个域中取值，比如变量可以取布尔值、可以 在有限数值域及无限数值域上取值等. 混合约束问题实质上是对布尔约束问题的一种扩展.

数值约束条件：形如Exp1 rop Exp2 的约束称为 数值约束，其中Exp1 与Exp2 为数学表达式，如 2x ¡yz；rop 为一数学上的关系操作符，包括=;


例：为某个输入为二叉树的程序构造测试用例 1）二叉树的先根序列和中根序列将唯一确定一棵 二叉树；因此可以将二叉树的空间结构映射为一个 1,...,n的随机序列。这个随机序列对应一棵二叉树 的中根序列，而这棵二叉树的先根序列是1,...,n。 2）生成过程分为三个步骤，首先随机生成一个整 数n，代表树的结点数目；生成长度为n的随机序列； 根据随机序列构造一个二叉树。


有限约束问题的求解方法可以分为完备算法与不完 备算法两种. 所谓完备算法是指能够完全确定某约 束问题是有解的还是无解的算法；而不完备的算法 则在未找到解时不能确定该约束问题无解. 完备算法：完备算法中最常用的是回溯法，该方法 先为约束问题中的部分变量赋值， 在这个部分赋值 的基础上为其余的变量赋值. 如果在这个部分赋值 的基础上， 下一个待赋值的变量找不到使得约束成 立的解， 则需要改变这个部分赋值中所赋的值.
<; >;<=及>=.

混合约束条件：混合约束条件由布尔变量及数值约 束与逻辑连接符组成，它们按照与命题逻辑公式同 样的规则形成组合体. 例如a ^ (x - y >3) (x +
z = 4).


一个数值约束有“成立” 和“不成立” 两种情况，分别 对应于这个数值约束的值为"真“ 和"假”，那么混合 约束条件的值就如同布尔约束条件的值一样，也只 能取"真“ 或者"假”. 从而求解混合约束问题的目的 就是为其中的数值和布尔变量赋值，使得该问题中 的每个混合约束条件的值为"真“. 如果能够找到这样的布尔变量值和数值变量值，则 称该混合约束问题能够成立，或称是可行的 (Feasible)，否则称为不能够成立，或称是不可行 的(Infeasible).

优点：
◦ 1）简单：不需要过多的信息；不需要开发复杂的程序； 一般而言，算法复杂度为o(n)。 ◦ 2）适应性广，几乎可以用于所有的测试方案中。（因 为不需要过多的信息）。 ◦ 3）开销低，可以作为其他测试方法的补充。（算法复 杂度已经到了最低的极限）。

缺点：
◦ 1）测试数据发现程序失效的效率较低； ◦ 2）难以确定测试的效果和停止测试的时机； ◦ 3）需要大量开销来计算所产生大量的测试数据的预期 输出。（Oracle问题）
◦ 布尔约束问题； ◦ 有限约束问题； ◦ 数值约束问题/混合约束问题。




布尔约束问题：布尔约束问题要求V 中的各变量只 能在0 或1 上取值，即布尔约束问题的域D 为{0， 1}. 它的约束C 实际上就是一组命题逻辑公式. 求解布尔约束问题的目的就是为该问题中的布尔变 量赋值，使得该问题中的每一个布尔约束条件的值 为“真”。 有限约束问题，就是变量只能在有限域上取值. 在 有限约束问题中，通常不考虑约束的具体形式，而 采用列出所有满足该条件的变量取值组合的形式. N 皇后问题、鸽笼问题、图着色问题等都属于有限 约束问题.实际上，布尔约束问题可以看作是有限约 束问题的特例.

形式化地讲，约束问题由以下三个基本元素组成： 变量V ，变量的域D 以及约束C.
◦ 变量的域D是变量可能取值的集合，变量Vi 只能在它的域 Di中进行取值；约束C 描述了变量V 之间必须满足的关系. 求解约束问题就是在各变量的域D 中找到一个(或所有的) 值S 使得各变量之间满足约束C.

根据约束问题中变量的域D 的不同，约束问题可以 分为：




随机测试所生成的测试数据在发现错误方面是低效 率的。为此，有各种改进的方法。主要的思想是： 根据某些信息，为随机测试提供生成的指导。 自适应随机测试(Adaptive Random Testing)：根 据失效输入一般会集中出现在输入空间的某个局部 区域的特征，提出将测试用例尽量均匀地分布在整 个输入空间，从而提高测试用例发现错误的效率。 概率测试：根据用户的需求，为对输入空间进行划 分，不同部分用不同的概率产生测试用例。 统计测试：先使用随机测试，当进行到一定程度时 停止，再使用其他测试方法产生测试用例。

混合约束问题的求解方法
◦ 1) 区间分析法； ◦ 2) 逻辑与数值相结合的方法：分为两个步骤替换和还原；
替换：替换是指用一个新的布尔变量来替换混合约束问题中 的每个数值约束；从而得到一个布尔约束问题，并对该布尔 约束问题进行求解；
还原：将替换阶段结束时获得的布尔值，将相应的布尔变量 还原为该数值约束本身并进行约束求解； 替换和还原需要不断进行回溯。

随机测试数据生成方法；
◦ 自适应随机生成方法 ◦ 统计测试


约束求解方法； 符号执行技术； 基于搜索的测试数据生成方法。

随机测试是通过在输入域中通过随机选择的方式来产生测 试数据。测试人员按自己的想法随手产生的测试用例也可 以认为是随机测试。

随机测试无处不在：几乎所有的测试数据生成方法最终都 需要结合随机测试方法，以产生较好的测试数据分布。

一些具体的方法
◦ 3）基于分割的，利用已生成的测试用例把整个 输入空间分割成若干个部分，从最大的那个部 分中选择测试用例。 ◦ 4）基于概率函数的，通过设定概率函数，将距 离现有的测试用例较远的输入空间的点的概率 设大，越近的越小。

自适应随机测试的优点
◦ 与随机测试相比，能够大幅度提高所生成测试用例的效 率； ◦ 不需要额外增加信息。因为自适应随机测试运用的是测 试中的一般规律。

局部搜索法的基本思想是：从随机选定的解开始， 不断对其进行微小的改变(局部改进)，直到满意为 止. 所谓的满意是指要么得到一个解，要么改进的 次数大于设定的最大值. 对于后一种情况，我们就 得不到该约束问题到底是有解还是无解的结论.著名 的局部搜索算法包括：顾钧的算法、贪心搜索过程 GSAT、禁忌搜索(Tabu search) 和拟人拟物法等. 其它的还包括爬山法、模拟退火等.


在测试用例生成过程当中，大多数测试覆盖要求可 以归结为一个或多个逻辑表达式（约束条件）。因 此，产生达到覆盖要求的测试用例的问题就转化成 为求解满足约束条件的值的过程。 例：一个合法三角形的约束条件是 a+b>c&&a+c>b&&b+c>a。求解该表达式，即 找到abc三个整数（实数），使得该表达式为真， 则abc构成一个三角形的三边。 上述问题即为一个典型的约束求解问题。 约束求解问题是NP-Hard问题。

启发式搜索算法。



启发式搜索实际上起源于人工智能的研究。在求解 一些很难的问题过程中，往往会把问题转换成为一 个在问题空间中进行搜索的问题。 启发式搜索是根据以往搜索的结果所得到的信息， 产生下一步搜索动作的一大类算法。 启发式搜索算法是处理NP-hard问题的有效途径。 现有的常用的算法有：


由于随机测试的简单快捷，通常先使用随机测试生 成一批数据，再使用其他方法弥补随机测试遗漏的 部分。 例如：在进行路径覆盖的测试过程中，先使用随机 测试生成方法生成测试用例，当路径被覆盖了预定 部分之后（如85%）或路径覆盖增长速度放慢。则 再对剩下的路径进行计算，产生覆盖剩下路径的用 例。




在很久以前，有人(Mayers)认为随机测试是效率最 低的方法，因为它没有使用任何信息。 由于随机测试的简单特性，依然在各种测试中广泛 应用。 后来有人比较分割测试（Partition testing）和随 机测试的效率，发现不恰当的分割测试比随机测试 的效果还差。 分割测试和随机测试比较的简单介绍。
◦ 1）对被测软件的输入空间进行建模，为测试数据的随机 生成创造条件。 ◦ 2）产生随机数，映射到输入空间的某个点，将该点转换 为一个测试数据。

输入空间建模问题：
◦ 1）每一个可能的输入在空间中都有一个对应的点；空间 中每一个点都对应一个输入。 ◦ 2）注意各种类型的数据在空间中分布的情况。例如，避 免过多地生成失效数据。 ◦ 3）注意计算机产生的随机数是实数，需要建立一种简单、 方便的映射算法，把随机生成的数据（可能是多个数据） 映射为输入数据。 ◦ 4）所建立的空间模型，和程序需要的数据可能有差异， 如忽略了某些重要的约束条件，需要对生成的测试数据进 行再加工。

非线性数值约束问题的求解
◦ 1) 数值法：基于高斯- 牛顿法求解非线性方程； ◦ 2) 符号计算法：将待求解的非线性代数方程组化为一个或 多个等价的三角型方程组. ◦ 3) 柱形代数分解：设约束h 中出现的变元个数为r，将r 维 欧氏空间剖分成“块”，使得对“块” 中个别点进行检验就可 以判定h 成立与否. ◦ 4) 区间分析：为了解决计算机只能表示有限位数字，以及 其它与此相关的实际问题而产生的. 它的基本思想是对实 数的扩展，用一个区间而不是单独的一个数来表示数.例如 数a 用区间的表示方法为a = [aI ; aS]，aI <=a<=aS.它的 意义在于，区间[aI ; aS] 中一定包含a 的精确值，而且经过 合理的数学运算，这个区间可以足够小.