阶段性系统测试总结报告

xxx 系统 阶段性系统测试报告

Document Information
Project Name: Document Version No: Prepared By: Reviewed By:
xxx 系统 1.0
Document Version Date: Preparation Date: Review Date: 2005-12-15 2005-12-18
Distribution List
From Date Company / Role Email / Phone
To
Action*
Due Date
Company / Role
Email / Phone
* Action Types: Approve, Review, Inform, File, Action Required, Attend Meeting, Other (please specify)
Version History
Ver. No. Ver. Date 2005-12-16 Revised By Description Filename
1.0
黄锡波
初稿
黄锡波
Page 2 of 24

黄锡波
Page 3 of 24

目录
1. 1.1. 1.2. 1.3. 1.4. 2. 2.1. 3. 3.1. 4. 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 5. 测试概要 ............................................................................................................................................ 5 概要 ............................................................................................................................................ 5 测试方案设计摘要 ...................................................................................................................... 5 测试系统环境配置 ...................................................................................................................... 6 参考资料 ..................................................................................................................................... 6 测试内容、 测试内容、计划及完成状态 ............................................................................................................... 6 测试内容、计划及完成状态 ........................................................................................................ 6 测试成果 ............................................................................................................................................ 8 测试工作输出物 .......................................................................................................................... 8 测试脚本及工具 ................................................................................................................................. 9 测试脚本 ..................................................................................................................................... 9 测试工具 ................................................................................................................................... 11 BB 业务模拟测试工具............................................................................................................... 13 BB 业务月终结算测试脚本 ....................................................................................................... 14 白盒测试脚本 ............................................................................................................................ 14 其它测试工具 ............................................................................................................................ 15 存在问题及建议 ............................................................................................................................... 16 5.1. 5.2. 5.2.1. 5.2.2. 5.3. 5.4. 6. 7. 待完成的测试工作 .................................................................................................................... 16 已经完成的测试存在的问题及建议 ........................................................................................... 17 需高度重视的问题 ................................................................................................................. 17 缺陷列表 ............................................................................................................................... 17 简单性能测试结果及建议 ......................................................................................................... 20 其它问题及建议 ........................................................................................................................ 21
专题： 专题：集成测试及建议 .................................................................................................................... 21 附件.................................................................................................................................................. 24 7.1. .......................................................................................................................................................... 24
黄锡波
Page 4 of 24

1. 测试概要
1.1. 概要
本报告是《xxx 系统》阶段性测试工作报告，其中阶段性测试工作的时间界定是：依照《xxx 功 能规格说明书》所描述的系统功能，对在 200x 年 12 月 15 日前已经完成的测试工作。 编写系统功能测试报告的目的是：把测试的完成的情况写成文档，并对测试结果进行简要分析， 为纠正软件的缺陷提供依据，也为软件验收和交付打下基础。
1.2. 测试方案设计摘要
测试设计主要体现在如下几个方面： 黑盒测试：把功能分割成多个功能点，在预置的数据输入、预置的操作输入后，得到预期的输出 结果，并把实测结果与预期结果比较； 灰盒测试：使用《Java 代码缺陷自动分析工具：findbugs》对 java 编译后的 class（或 jar）文 件进行缺陷分析； 白盒测试：通过 ORACLE 提供的底层 SQL 来查找性能最差的 SQL； 简单性能测试：在测试环境中进行，主要进行较多数据量的负载测试、压力测试及数据库容量测 试，并对结果进行分析，分析的指标有： 高峰负载时，多用户、多线程并发进行典型业务操作的稳定性； 高峰负载时，用户操作响应时间； 数据库增量对其性能的影响； 观察是否发生下列错误： 内存泄漏（Memory leak） 并发与同步（Concurrency and Synchronization） 通讯连接 数据库连接 性能测试：在生产环境进行，测试方式同简易性能测试。 自动测试：根据业务特点，构造可重复使用的测试脚本，脚本一般使用 HPUnix 的 Shell 编写， 少量使用 java 编写。脚本可以单独执行，也可以批量或并发执行。 测试分析脚本：使用 HPUnix 的 Shell 编写，少量复杂的分析使用 java+hibernate 编写。 测试数据： 基础数据：是在运行下列 SQL 脚本后，可以支撑正确联机交易的数据 truncate table saf; truncate table tlog; truncate table dlog; truncate table running_trans; truncate table Order_Actions; truncate table Order_History;
黄锡波
Page 5 of 24

truncate table Order_Bills; truncate table Cycle_Final_Status; truncate table Order_Settle; commit; 测试数据：在基础数据的基础上，进行一系列的联机业务测试所产生的数据 其它测试：如设计文档测试，即测试实际运行的实现方法与设计文档是否一致。
1.3. 测试系统环境配置
服务器环境如下： 服务器操作系统：HP-UX 11.11 数据库版本：ORACLE 9.2.0 JDK 版本：JDK 1.4.1 1.4.1.03-030630-22:07-PA_RISC2.0 PA2.0 服务器 10.1.132.6:7777 132.32.22.190:8000 10.1.132.6:6666 10.1.132.6:8888 10.1.132.5:6666 10.1.132.6:9999 132.32.22.26:6666 10.1.132.5:dbtest2 132.32.22.26:utest 承载作用 SC1 SC2 SD SN1(上海) SN2(北京) SN3(北京) CSN 数据库 数据库 BB 联机交易 CSN 联机交易数据库 BB 联机交易专用数据库 北京有两个实例 非联机交易的系统级服务器 中心两个实例 备注
1.4. 参考资料
2. 测试内容、计划及完成状态 测试内容、
2.1. 测试内容、计划及完成状态 测试内容、
测试阶段
测试任务
工作量估计 (人日 人日) 人日
人员分配
测试计划时间
完成状态
黄锡波
Page 6 of 24

第一阶段
存储转发机制优化系统 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试
5
黄锡波
√
1 5 10 5 5
xxx 黄锡波 黄锡波 黄锡波 黄锡波
2005-08-17－2005-09-09
√ √ √ √
第二阶段
新告警系统 方案设计、案例设计 测试环境 测试数据、案例执行 回归测试
2005-09-12－2005-09-30
√
1 5 5 5
xxx 黄锡波 黄锡波 黄锡波 2005-10-10－2005-10-28
√ √ √ √
第三阶段
交换中心/交换节点多实例 改造系统 交换中心/交换节点拥塞控 制系统 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试
5 3 10 5 5
xxx 黄锡波 黄锡波 黄锡波 黄锡波 2005-10-31－2005-11-18
√ √ √ √ √
第四阶段
基于订购关系系统 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试
3 5 5 5 5
xxx 黄锡波 黄锡波 黄锡波 黄锡波 2005-11-21－2005-12-09
√ √ √ √ √
第五阶段
多实例、拥塞控制与基于订 购关系联合测试 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试
3 5 5 5 3
xxx 黄锡波 黄锡波 黄锡波 黄锡波 2005-12-12-2005-12-15
√ √ √ √ √
第六阶段
多实例、拥塞控制补充功能 测试 方案设计、案例设计 测试环境
1
xxx
√
黄锡波
Page 7 of 24

测试数据、案例执行 并发压力测试 回归测试 第七阶段 多实例进行日终报文转储与 整理 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试 第八阶段 一级BOSS扩容系统集成测 试 方案设计、案例设计 测试环境 测试数据、案例执行 一级BOSS扩容系统性能测 试 性能调优、回归测试
5 5 5 5
黄锡波 黄锡波 黄锡波 黄锡波 2005-12-19-2005-12-23
√ √ √ √
1 5 5 5 10
xxx 黄锡波 黄锡波 黄锡波 黄锡波 待生产新设备安装调试完毕 2005-02-01-?
未完成 未完成 未完成 未完成 未完成
10 10 10
xxx 黄锡波 黄锡波
未完成 未完成 未完成
10
xxx
未完成
3. 测试成果
3.1. 测试工作输出物
测试工作输出物存放在 StarTeam 的如下目录： StarTeam:boss1/Document/20.10.60Test_core/20.10.60.40Boss1_Upgrade 目录中有如下文档： (略) 如下图所示 (略) 缺陷跟踪管理 缺陷跟踪记录存放在 StarTeam 的如下目录： StarTeam:boss1\BugManage
目录中有如下文档及缺陷记录: 黄锡波
Page 8 of 24

ATS 系统、blackberry、存储转发机制优化系统、多实例及拥塞控制。 如下图所示
4. 测试脚本及工具
4.1. 测试脚本
基本测试脚本 数据清除脚本 运行下列 SQL 脚本即可，其目的是为便于跟踪测试过程数据，测试前一般运行下列 SQL 脚 本： truncate table saf; truncate table tlog; truncate table dlog; truncate table running_trans;
黄锡波
Page 9 of 24

truncate table Order_Actions; truncate table Order_History; truncate table Order_Bills; truncate table Cycle_Final_Status; truncate table Order_Settle; commit; 大圈交易测试脚本 脚本名称：test_circle 业务含义：异地存取款 存放机器：10.1.132.5 存放位置：/opt/cmcb/st_home_other/data/regression/bin 运行方式：在进入存放位置后直接运行即可 脚本扩展： 只要构造一个别的大圈业务 xml 包， 依照本脚本格式可以扩展别的大圈业务测试脚本。 简单并发：本目录下有一个小脚本 a.sh，是由多个 test_circle 组合起来,达到简单的并发测试。 通知交易测试脚本 脚本名称：test_saf 业务含义：机场 VIP 扣款（扣积分） 存放机器：10.1.132.5 存放位置：/opt/cmcb/st_home_other/data/regression/bin 运行方式：在进入存放位置后直接运行即可 脚本扩展： 只要构造一个别的通知业务 xml 包， 依照本脚本格式可以扩展别的通知业务测试脚本。 简单并发：本目录下有一个小脚本 b.sh，是由多个 test_saf 组合起来,达到简单的并发测试。 并发测试脚本 大圈交易并发测试脚本 脚本名称：sender 业务含义：异地存取款 存放机器：10.1.132.6 存放位置：/tmp/perftest/oboss 运行方式：sender 参数 1 参数 2 参数 3 参数 1：交易唯一 id，由三位数字或英文组成，例如 aa1 参数 2：每分钟发送交易数量 参数 3：并发时间（分钟） 脚本扩展：修改 config.txt 及 provs.cfg,可以扩展别的大圈交易。 简单并发：本目录下有一个小脚本 a.sh，是由多个 test_circle 组合起来,达到简单的并发测试。 通知交易并发测试脚本 与大圈交易并发测试脚本类似,仅修改修改 config.txt 及 provs.cfg 即可。 BB 联机业务测试脚本 脚本名称：a.sh(在 sender 脚本的基础上扩展) 业务含义：BB 联机业务 存放机器：10.1.132.5 存放位置：/tmp/perftest/oboss
黄锡波
Page 10 of 24

运行方式：a.sh 参数 1 参数 2 参数 1：01 开户、02 销户、0301 变更为 01 类型、0302 变更为 02 类型、04 暂停、 05 恢复 参数 2：交易唯一 id，由三位数字或英文组成，例如 aa1 缺省参数：每分钟发送交易数量＝1 缺省参数：并发时间（分钟）＝1 BB 联机业务并发测试脚本 脚本名称：sender 业务含义：异地存取款 存放机器：10.1.132.5 存放位置：/tmp/perftest/oboss 运行方式：sender 参数 1 参数 2 参数 3 参数 1：交易唯一 id，由三位数字或英文组成，例如 aa1 参数 2：每分钟发送交易数量 参数 3：并发时间（分钟） 脚本扩展：修改 config.txt 及 provs.cfg,可以扩展别的 BB 业务交易。
4.2. 测试工具
性能监控工具 脚本名称：perfmon.sh 工具含义：记录测试过程的 cpu、mem、diskIO 的运行状态数据 存放机器：10.1.132.5 及 10.1.132.6 存放位置：/tmp 运行方式：测试前运行，测试完成后关闭 输出结果： 主机名字＋_cpu.stat（例如 cmcbtst2_cpu.stat ） 主机名字＋_ disk.stat（例如 cmcbtst2_disk.stat） 主机名字＋_ is.stat（例如 cmcbtst2_is.stat） 主机名字＋_mem（例如 cmcbtst2_mem.stat） webMethods Developer 辅助工具 如下图所示，在 test 目录下，本目录可以实现：修改实例的线程占有率，使之可以在拥塞、舍弃、解 除、健康状态中切换。
黄锡波
Page 11 of 24

如下图所示，在 hpMTS/tool 目录下，本目录可以实现：查询实例的参数、各实例的状态。
黄锡波
Page 12 of 24

4.3. BB 业务模拟测试工具
如下图所示，在 hpBB 目录下，可以模拟大数据量的 BB 业务交易（填写 Tlog 及 Dlog），以及做 BB 业 务的日终处理。
黄锡波
Page 13 of 24

4.4. BB 业务月终结算测试脚本
脚本名称：startup.sh 业务含义：BB 业务月终结算测试脚本 存放机器：10.1.132.6 存放位置：/opt/cmcb/newSettle 运行方式：在进入存放位置后,修改 bin 目录下的 SettleConfig.xml 关于清算起止日期的描述，再 直接运行脚本即可。
4.5. 白盒测试脚本
通过 ORACLE 提供的底层 SQL 来查找性能最差的 SQL。
SELECT * FROM ( SELECT PARSING_USER_ID EXECUTIONS, SORTS, 黄锡波
Page 14 of 24

COMMAND_TYPE, DISK_READS, sql_text FROM v$sqlarea ORDER BY disk_reads DESC ) WHERE ROWNUM<10 ; --查找前十条性能差的 sql 测试结果如下图所示：
其它 SQL 的白盒测试请参考《Oracle 性能调方法.doc》及《Oracle_SQL 性能优化.doc》
4.6. 其它测试工具
灰盒测试使用的工具： 使用《Java 代码缺陷自动分析工具：findbugs》对 java 编译后的 class（或 jar）文件进行缺陷分析。（详 见《Java 代码缺陷自动分析工具介绍.doc》） 如下图的测试结果：
黄锡波
Page 15 of 24

根据不同类别来检查缺陷的选项
错误信息及代码行显示
根据不同类别来检查缺陷的选项
5. 存在问题及建议
5.1. 待完成的测试工作
所谓待完成的测试工作，是指在 2005 年 12 月 15 日之后计划测试的工作。
测试阶段 测试任务 工作量估计 (人日 人日) 人日 。。。 第七阶段 多实例进行日终报文转储与 整理 方案设计、案例设计 测试环境 测试数据、案例执行 并发压力测试 回归测试 1 5 5 5 xxx 黄锡波 黄锡波 黄锡波 未完成 未完成 未完成 未完成 5 黄锡波 2005-12-19-2005-12-23 完成 人员分配 测试计划时间 完成状态
黄锡波
Page 16 of 24

第八阶段
一级BOSS扩容系统集成测 试 方案设计、案例设计 测试环境 测试数据、案例执行 一级BOSS扩容系统性能测 试 性能调优、回归测试
10
黄锡波
待生产新设备安装调试完毕 2005-02-01-?
未完成
10 10 10
xxx 黄锡波 黄锡波
未完成 未完成 未完成
10
xxx
未完成
5.2. 已经完成的测试存在的问题及建议 5.2.1.需高度重视的问题
问题的重现测试步骤： （1） 使用“清空”脚本清空 Tlog、Dlog 等等相关表数据（见上述描述的清空脚本）； （2） 使用 BB 业务脚本插入 BB 业务数据 10 万条（5 万用户）（Tlog、Dlog）； （3） 使用 BB 业务脚本做 BB 业务日终处理； （4） 查询 Tlog 记录＝10 万条，Dlog＝20 万条； （5） 使用 BB 业务月终处理； （6） 查询 5 万用户的费用清算记录； （7） 查询 Tlog 记录＝10 万条，Dlog＝0 条； ＝ 问题： 做完 BB 业务月终处理后查询 Dlog＝0 条（正确是 20 万条）。 万条）。 ＝ 问题重现频率： 三次． 问题根源 原因不明。 建议： 建议开发组尽快寻找原因。
5.2.2.缺陷列表
本缺陷列表光列出截至于 2005 年 12 月 15 日，还没有解决的缺陷，其它已经解决的缺陷没有列 出，详细资料请参见相关测试资料（见上述测试工作输出物）
黄锡波
Page 17 of 24

项目 1 存贮转发机制优化
缺陷 最新设计文档是 v1.3 版本的( 存储转 《 发机制优化概要设计_v1.3.doc》),而 开发实现是 v1.2 版本的。 设计与开发实现的主要差异是： （1）SAF_DISPATCHERS（SAF 线 程定义表）两个版本的差异很大； （2）v1.2 版本有表 SAF_DISP_PARTIES （线程－落地方 关系定义表），但 v1.3 版本是没有的, 经过检查,v1.3 版本的 SAF_DISPATCHERS 已经包涵了 SAF_DISP_PARTIES 的主要 field; （3）v1.2 版本有定义表 SAF _LEVEL_NICE，但开发则没有实现 （4）SAF_DISPATCHERS（SAF 线 程定义表）间隔时间 INTERVAL 定义 为秒，但实现是毫秒
建议 修改设计文档，更新 StarTeam
2
存贮转发机制优化
设计文档中无论是 v1。2 还是 v1。3 版本，关于表 SAF_DISPATCHERS （SAF 线程定义表）均无 status 此 field，但在开发实现中却有。 表：ATS_Defination Alert_Type_ID 设计的定义与实现不 符 Alert_Level 问题级别设计的定义与实 现不符 易用性问题（参见相关缺陷记录） SC 根据拥塞控制决定不处理报文， 返 回拥塞应答（如有可能记录下交换中 心 conv_id）,错误代码 19999 检查结果:没有记录下 conv_id（Hsn 拥塞时）
修改设计文档，更新 StarTeam
3
ATS
修改设计文档，更新 StarTeam
4 5
ATS 多实例及拥塞控制
不管 尽快修改
6
多实例及拥塞控制
程序名称： pMTS.tool.getISMapFromCAClient 测试结果： 实例没有返回 Hboss 的 sn 名称和状态
尽快修改
7
多实例及拥塞控制
SAF Worker 任选一个合适的 SC 实例 （首选 H,次选 C） 发送，若得不到 （所 有的 SC 实例都为 D 或 F），则将交 易发给自己所在的 Instance 处理。
已经决定不由 sd 处理， 需 要修改文档
8 9
多实例及拥塞控制 BB 业务联机业务测试
在 tmp 目录下由很多 log 与规范不符，错误信息不符等缺陷 详细见 《BB 联机业务测试 Issue.doc》
尽快清除掉 尽快解决
黄锡波
Page 18 of 24

10
BB 业务日算月结处理
依据《订购关系结算概要设计 _v1.5.doc》检查新增的数据库表 1。V1。5 有表：用户定购服务表 (SERVICE_ORDERED)， 实际检查却 没有
修改设计文档
2。服务价格定义表 （SERVICE_PRICE）: Money_type: v1.5 定义为 --- 该 版本服务计费钱币类型 1：RMB 2： US 实际填上$ RMB？ 3。v1。5 中没有描述 sys_status 表 4。v1。5 中订购关系结算表 Order_Settle，有定义域 BIZ_TYPE， 实际检查却没有 11 BB 业务日算月结处理 检查:订购关系结算表 Order_Settle 填写是否正确 (1)SETTLE_DAY 是填写清算的月份 是那个月的,实测是填写了物理日期 (2)SETTLE_DAY 是 YYYYMM,实测 是 YYYYMMDD 例如 20051103 日清 算,SETTLE_DAY 正确填写 是:200510 12 BB 业务日算月结处理 BB 联机业务其它建议 如果注销的天数不收费则不存在下问 题（详细见缺陷记录） 13 ①投产之前,rim 应提供平 均并发响应值给我们 ②根据 rim 的平均响应时 间,对一级 boss 的 BB 业 务参数进行调优: bb 业务超时时间、拥塞门 限、舍弃门限及解除门限 设计人员自定 修改缺陷或修改文档 --- 是
注释： 表里提到的文档，均可以在本文档的“测试工作输出物”中找到。
黄锡波
Page 19 of 24

5.3. 简单性能测试结果及建议
①【存储转发机制优化系统】压力测试主要数据平均值
场景 捞 saf 数据且 发送数据平均 速度(条 秒 速度 条/秒) 平均值 建议在生产环境中： 46.09 捞 saf 数据且 发送数据所耗 时间(秒 时间 秒) 21.17 63.63 27.27 2.8 Memory Load (M) IdleCpu (%) DiskIO (%) 备注
一次捞 saf 数据调整区间:300—500 条; 根据各省节点的处理能力,一次发送 saf 数据调整区间:100—300 条 线程数的调整区间:6—8(不要超过 10) 睡眠时间很难设定,建议初步设定为 20 秒,如果捞 saf 时间>设定值 20 秒则睡眠 5 秒（需要修改程序）
建议下列 SQL 要优化：（Oracle 警告下 SQL 性能太差） SELECT DISTINCT BIP_NICE FROM BIP ORDER BY BIP_NICE DESC
SELECT A.DISPATCHER_NAME,A.HPARTY_ID,A.H_CUR_NUM,A.H_MAX_NUM,A.STOP_FLAG,B.DOMAIN_ID,B.DU NS FROM SAF_DISP_PARTIES A,PARTIES B WHERE A.HPARTY_ID!='8888' AND A.HPARTY_ID=B.PARTY_ID
SELECT msisdn_area_id,prov_cd FROM msisdn_prov_vw ORDER BY msisdn_area_id ASC
注释：未处理的 saf 数据容量有三级：5 万、10 万、30 万，【性能平均值】就是从三级数据容量的实测结果中 取平均而得。
②BB 业务日算月结简单性能测试结果表
日算月结 10 万笔耗时(秒) 平均处理速度 1 万笔耗时估算(分) 平均耗内存(M) 平均 idle_cpu(%) 平均 diskBusy(%) （笔/秒） 日算 月结 2330.00 5431.00 42.92 18.41 3.88 9.05 74.61 262.864 91.33 68.19 30.77 12.12
③BB 业务联机简单性能测试结果： 测试案例：每分钟 60 笔，连续跑 30 分钟，共跑 1800 笔 测试结果：成功交易 1115 笔，osn 拥塞舍弃 405 笔，csn 拥塞拒绝 175 笔，超时交易 105 笔 rim 测试平台响应太慢,超时响应占 8% rim 测试平台响应时间统计: 最小 3.47 秒/笔、最大 84.49 秒/笔、平均 10.73 秒/笔 建议: 投产之前,rim 应提供平均并发响应值给我们 根据 rim 的平均响应时间,对参数进行调优:bb 业务超时时间、拥塞门限、舍弃门限及解除门 限
黄锡波
Page 20 of 24