系统测试错误等级的划分标准
缺陷等级划分

缺陷严重级别定义:o 最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等. o 紧急---事件非常重要,并且需要马上给予关注.o 高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o 中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决. o 低级---事件不重要,可以在时间和资源允许的情况下再解决.o 建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o 由于程序所引起的死机,非法退出o 死循环o 导致数据库发生死锁o 数据通讯错误o 严重的数值计算错误B类——较严重错误,包括:o 功能不符o 数据流错误o 程序接口错误o 轻微的数值计算错误C类——一般性错误,包括:o 界面错误(详细文档)o 打印内容、格式错误o 简单的输入限制未放在前台进行控制o 删除操作未给出提示D类——较小错误,包括:o 辅助说明描述不清楚o 显示格式不规范o 长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o 可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1. 致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2. 严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3. 一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4. 微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG :测试执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
软件缺陷分类标准

1
附录I 附录
等级 描述
系统死机 数据损坏 5-致命 功能失效 异常退出 功能缺少 功能错误 计算错误 4-非常高 精度错误 交互错误
缺陷等级定义标准
说明 测试特性
可靠性 可靠性 可靠性 可靠性 功能性 功能性 功能性 功能性 功能性
系统、环境及应用崩溃死机。 软件发生故障数据毁坏或丢失。 软件发生故障导致功能失效。 软件发生故障异常退出。 用户需求未实现。 实际提供功能与用户需求不一致。流程或接口 中,数据未做关联。 结果计算错误。 精度与用户需求不一致。 与其他软件或系统交换数据出错, 包括导出文件 后内容丢失。 未达到需求说明书中所规定的性能指标, 例如响 应时间过长。 输入未控制和未判断导致功能异常、信息缺失,
性能缺陷
效率
3-高
控制错误
或界面显示、 提示信息异常等; 如必输项、 重复、 数据约束、数据长度;删除未确认;屏蔽判定; 正常逻辑错误。 界面显示错误, 页面刷
错别字,打印内容格式错误。可修改字段与不可 修改字段中字体颜色标示未区别; 界面风格不一致,术语不统一,对话框颜色不一 致,按钮大小不统一,提示信息不一致;未使用 默认值,默认值使用不便或不正确。
易用性
易用性
1-低
建议意见
需求说明书、用户手册中未说明,但影响用户对 软件使用的方便性等。
易用性
1
附录II 验收通过标准 验收通过 通过标准 附录
验收项
缺陷数量 需求分析文档,设计文档和编码是否实现一致 验收测试工件齐全
验收通过标准
系统无 5-致命、4-非常高缺陷,3-高缺陷数量 不超过系统测试功能点数 2% 是 是
bug定义标准

BUG定义标准广东旭普空间信息技术产业发展有限公司2009-10-30文档修订记录:*说明:C――创建,A——增加,M——修改,D——删除1引言1.1目的对 BUG 概念、分类、 BUG 状态、 BUG 等级划分等内容进行定义和规范,以便进一步指导我们的测试工作。
一方面也让开发人员明白各类BUG的定义,及测试人员对其程序中各类缺陷等级划分的依据。
1.2 概念BUG :软件中存在的瑕疵,可能会导致系统失效。
简单的说就是软件系统中存在可能导致系统出错、控制失效、死机等错误或缺陷。
1.3相关名词解释1、软件错误:指在软件生存周期内出现的不希望或不可接受的人为错误。
2、软件缺陷:是存在于软件(文档、数据、程序)中偏离需求说明书的现象,其结果是软件运行于某一特定条件时会出现软件故障。
3、软件故障:是指软件运行过程中出现的一种不希望或不可接受的内部状态,比如:软件处于处理一个多余循环过程时,我们可以称软件出现故障,若此时没有适当的容错措施加以处理,就会导致软件失效。
4、软件失效:软件运行时产生的一种不希望或不可接受的外部行为结果。
1.4 参考资料1、<<测试管理—bug管理>>2、<<CMM缺陷等级划分标准>>3、51testing软件测试专业论坛2 BUG提交要求1Bug通过测试组评审,属于已确认的bug2测试人员需用清晰、简洁的文字描述bug,并能复现3 BUG分类1、功能错误以需求说明书为参照,未达到或未完成需求说明书所描述的功能即为功能错误。
具体基本上可分为:a、严重花屏b、内存泄漏c、用户数据丢失或破坏d、系统崩溃/死机/冻结e、模块无法启动或异常退出f、严重的数值计算错误g、重复的功能h、多余的功能i、遗漏的功能j、需求未实现k、功能设计与需求严重不符l、其它导致无法测试的错误2、编码错误在系统运行中出现各类系统报错以及出现死机、不能工作、没有反应的现象即为编码错误。
缺陷等级划分

缺陷严重级别定义:o最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等.o紧急---事件非常重要,并且需要马上给予关注.o高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决.o低级---事件不重要,可以在时间和资源允许的情况下再解决.o建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o由于程序所引起的死机,非法退出o死循环o导致数据库发生死锁o数据通讯错误o严重的数值计算错误B类——较严重错误,包括:o功能不符o数据流错误o程序接口错误o轻微的数值计算错误C类——一般性错误,包括:o界面错误(详细文档)o打印内容、格式错误o简单的输入限制未放在前台进行控制o删除操作未给出提示D类——较小错误,包括:o辅助说明描述不清楚o显示格式不规范o长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1.致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2.严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3.一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4.微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG:测试执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
缺陷等级划分

缺陷严重级别定义:o 最高级--导致运行中断(应用程序崩溃),预期的功能没有得到实现,测试工作无法继续进行等. o 紧急---事件非常重要,并且需要马上给予关注.o 高级---事件是重要的,并且应该在紧急的事件处理之后尽快得到解决.o 中级---事件是重要的,但是由于解决问题需要花费一定的时间,所以可以用较长的时间解决. o 低级---事件不重要,可以在时间和资源允许的情况下再解决.o 建议性缺陷.更为详细的划分如下:A类——严重错误,包括:o 由于程序所引起的死机,非法退出o 死循环o 导致发生死锁o 数据通讯错误o 严重的数值计算错误B类——较严重错误,包括:o 功能不符o 数据流错误o 程序接口错误o 轻微的数值计算错误C类——一般性错误,包括:o 界面错误(详细文档)o 打印内容、格式错误o 简单的输入限制未放在前台进行控制o 删除操作未给出提示D类——较小错误,包括:o 辅助说明描述不清楚o 显示格式不规范o 长时间操作未给用户进度提示o 提示窗口文字未采用行业术语o 可输入区域和只读区域没有明显的区分标志o 系统处理未优化E类——测试建议(非缺陷)软件公司对软件缺陷级别的定义不尽相同,一般可以分为4种:1. 致命(fatal):致命的错误,造成系统或应用程序崩溃(crash)、死机、系统悬挂、或造成数据丢失、主要功能组完全丧失2. 严重(critical):严重错误,指功能或者特性(feature)没有实现,主要功能丧失,导致严重的问题,或致命的错误声明3. 一般的(major):不太严重的错误,这样的缺陷虽然不影响系统的基本使用,但没有很好的实现功能,没有达到预期的效果。
如次要功能丧失,提示信息不太正确,或用户界面太差,操作时间长等4. 微小的(minor):一些小问题,对功能几乎没有影响,产品及属性仍可使用,如有个别错别字、文字排列不整齐等Bug严重程度定义:致命(Critical)BUG :执行直接导致系统死机、蓝屏、挂起或是程序非法退出;系统的主要功能或需求没有实现。
系统上线标准

系统上线标准明确测试工作的开始和结束标准。
二、软件测试合格标准P0级错误P1级错误P2级错误P3级错误P4级错误P5级错误无无≦2%≦8%≦40%可不进行修复以上比例为错误占总测试模块的比例。
三、缺陷修复率标准1)P0、P1级错误修复率应达到100%2)P2级错误修复率应达到98%以上3)P3级错误修复率应达到92%以上4)P4级错误修复率应达到60%以上5)P5级错误无需在本版本完成修复注:项目紧急时,P3级别错误修复率达到60%以上;P4级别错误率达到20%即可四、覆盖率标准测试需求执行覆盖率应达到100%(业务测试用例均以执行)。
五、错误级别分级等级等级说明分类说明致命问题Blocker导致整个产品无法进行测试。
修改优先级为最高,该级别需要程序员立即修复(马上解决,P0)模块无法启动或异常退出其他导致无法测试的错误Critical死机,数据丢失,主要功能完全丧失,系统悬挂等错误。
修改优先级为最高,该级别需程序员立即修复(马上解决,P1)运行过程中系统崩溃、死机、重启功能设计与需求严重不符严重花屏、严重的数值计算错误、内存泄漏影响手机语音或数据通讯等功能严重问题Major主要功能上市,导致严重的问题,或致命的错误声明。
修改优先级高,该级别需要程序员尽快修复(急需解决,P2)功能未能实现或存在错误轻微的数值计算错误系统所提供的功能或服务受明显的影响用户数据丢失或破坏一般问题Normal次要功能丧失,导致严重的问题,或致命的错误声明。
修改优先级为高,该级别需要程序员尽快修复(高度重视,P3)操作界面错误,如:数据窗口内列明定义、含义是否一致)边界条件下错误功能存在错误,但出现概率很低提示信息错误(包括未给出信息、信息提示错误等)长时间操作无进度提示,系统为优化(性能问题)Minor微小的问题,对功能几乎没有影响,产品及属性仍可使用。
修改优先级为低,该级别需要程序员修改或不修改(正常处理,P4)界面格式等不规范操作时未给用户提示文字排列不整齐等一些小问题光标跳转设置不好,光标定位错误轻微问题Trivial提示信息格式不符合要求,违背正常习俗习惯的,界面不美观,控件排列,格式不统一(正常处理,P4)辅助说明描述不清楚个别不影响产品理解的错别字可输入区域和只读区域没有明显区分标志Enhancement功能性建议,功能性使用,方便性,易用性不够(优先级低,P5)建议(公司内部人员反馈、用户反馈/投诉)六、测试环境DEV环境(开发环境,供开发人员进行开发,联调,bug复现等)QA环境(测试环境,测试人员测试需求,回归bug等)Pre环境(预发布环境,使用线上数据库测试是否通过)online环境(生产环境,测试人员进行线上验证,确认上线的功能是否ok)七、验收标准1.需求分析说明文档中定义的所有功能全部实现,性能指标全部达到要求2.在验收测试中发现的错误已经得到修复,各级缺陷修复率达到标准3.所有测试项中没有残余P0、P1级别的错误4.需求分析文档、设计文档和编码显示一致5.验收测试工作齐全(测试计划,测试用例,测试日志,测试通知单,测试报告,待验收的系统程序)八、压力测试服务器运行状况响应指标(需建立预警机制):CPU%并发期间最大使用率应不超过70~80%,如有集合并发可能允许短暂接近或达到100%,但大部分不应超过95%Memery测试期间保证内存充足可用内存不少于20%Dik监控硬盘是否有读写不超过40%性能指标:(需要业务部门提供需求指标)响应时间(不同业务/场景的并发响应时间)系统支持的用户量吞吐量事务的成功率九、各环境提交标准Dev环境–>QA环境,开发人员进行自测(如冒烟测试),有业务需求的进行内部联调,通过后提交QA环境QA环境–>Pre环境,达到“缺陷修复率标准”的标准,通过后提交Pre环境Pre环境–>Online环境,达到“缺陷修复率标准”的标准,通过后提交Online环境Online环境,进行快速回归,验证上线的需求是否正常,通过后发布上线结果。
bug等级划分标准

6. 测试bug等级划分标准:
按照jira管理工具上,bug主要分五类:
1)Blocker:阻碍开发或测试工作的问题。
(这个测试人员通常很少遇到)
2)Critical:系统无法执行、崩溃或严重资源不足、应用模块无法启动或异常退出、无法测试、造成系统不稳定。
具体基本上可分为:
○严重花屏
○内存泄漏
○用户数据丢失或破坏
○系统崩溃/死机/冻结
○模块无法启动或异常退出
○严重的数值计算错误
○功能设计与需求严重不符
○用户权限问题
○安全问题
○其它导致无法测试的错误
3)Major:影响系统功能或操作,主要功能存在严重缺陷,但不会影响到系统稳定性
具体基本上可分为:
○功能未实现
○功能错误
○系统刷新错误
○语音或数据通讯错误
○轻微的数值计算错误
○系统所提供的功能或服务受明显的影响
4)Minor:界面、性能缺陷
具体基本上可分为:
○操作界面错误(包括数据窗口内列名定义、含义是否一致)
○边界条件下错误
○提示信息错误(包括未给出信息、信息提示错误等)
○长时间操作无进度提示
○系统未优化(性能问题)
○光标跳转设置不好,鼠标(光标)定位错误
5)Trivial:易用性及建议性问题
具体基本上可分为:
○界面格式等不规范
○辅助说明描述不清楚
○操作时未给用户提示
○可输入区域和只读区域没有明显的区分标志
○个别不影响产品理解的错别字
○文字排列不整齐等一些小问题
○建议。
bug分类标准

为开发人员修改问题后所标志的状态,修改后还未测试。
再测试
测试组的负责人将bug指定给某位测试人员进行再测试,并将bug的状态设置为“再测试”
已拒绝
开发人员认为不是Bug、描述不清、重复、不能复现、不采纳所提意见建议、或虽然是个错误但还没到非改不可的地步故可忽略不计、或者测试人员提错,从而拒绝的问题。由Bug分配人或者开发人员来设置。
已关闭
为测试人员对修改问题进行验证后通过所标志的状态。由测试人员改变。
4.Bug严重级别:是指因缺陷引起的故障对软件产品的影响程度
严重级别名称
严重现象说明
致命
1.不能执行正常工作功能或重要功能。使系统崩溃或资源严重不足
2.由于程序所引起的死机 , 非法退出
3.死循环
4.数据库发生死锁
5.错误操作导致的程序中断
2.界面错误(附详细说明)
3.打印内容、格式错误
4.简单的输入限制未放在前台进行控制
5.删除操作未给出提示
6.数据输入没有边界值限定或不合理
7.错误操作没有任何提示
一般
1.使操作者不方便或遇到麻烦,但它不影响执行工作或功能实现。
2.辅助说明描述不清楚
3.显示格式不规范
4.长时间操作未给用户进度提示,类似死机
6.严重的计算错误
7.与数据库连接错误
8.数据通讯错误
严重
1.严重地影响系统要求或基本功能的实现 ,且没有办法更正。( 重新安装或重新启动该软件不属于更正办法 )
2.功能不符
3..程序接口错误
4.数据流错误
5.轻微数据计算错误
较重
1.严重地影响系统要求或基本功能的实现,但存在合理的更正办法。( 重新安装或重新启动该软件不属于更正办法 )
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
系统测试错误等级的划分标准测试记录中错误等级按如下分级填写,软件错误等级如下:
一、第一级错误:导致用户的工作不能完成。
1. 正常操作情况下系统死机(系统崩溃或挂起)
2. 主要功能丧失,基本模块缺失
3. 业务流程错误
4. 正常或不正常操作后迫使程序中断或关闭
5. 非正常关闭后无提示
6. 花屏
二、第二级错误:在某些情况下导致用户的工作不能完成。
1. 使系统不稳定。
2. 未能满足需求中的次要、附属功能
3. 提示信息错误
4. 内容或格式错误
三、第三级问题:易用性及建设性问题,文字排练不整齐等一些小问题
1. 界面不规范
2. 辅助说明描述不清楚
3. 输入输出不规范
4. 长时间操作未给用户提示
5. 必填项与非必填项应加以区别。