产品经理做测试那些事儿
产品经理我做AB Test遇到的坑

编辑导语:在产品经理的日常业务中,AB测试可以帮助产品经理进行数据对比,进而推动后续方案决策。
那么,在AB测试过程中,有哪些事项是需要注意的呢?本篇文章里,作者结合其个人经验,总结分享了AB测试中可能会遇到的“坑”,一起来看一下。
大家好,我是策略产品经理夏唬人。
AB测试,是产品经理经常用于对新老方案上线后的效果进行对比的方法,核心目的在于通过AB测试能够增加需求上线后能够给平台带来正向收益的确定性。
页面功能的改动,需要进行AB测试,来观测用户对新老功能的使用情况。
策略逻辑的改动,需要进行AB测试,来观测流量在不同逻辑下的转化和收益。
总之,AB测试目前已经成为了一种大家公认的通过数据对比,来决策新方案是否上线的一个标准。
但是,我看到一种现象就是,大多数产品经理都是为了做AB 、而做AB。
其中涉及到几个非常重要的环节,稍有不慎就会入坑。
AB实验流量的控制是很多产品经理会忽视的一个环节。
先看一个我经历过的案例。
我记得刚去搜索团队的时候,有个产品经理在线上跑了一个搜索策略优化的AB实验,按照预期,新策略肯定要比老策略好。
但是她面临的问题是,一个AB实验做了半年了,因为AB结果数据经常波动,导致实验结果很难敲定下来。
也就是有的时候是实验组比对照组好,有的时候是实验组比对照组差,很难体现出趋势性。
后来,我看了看他们做的AB方案,发现了问题所在。
他们给这个AB Test分了两个组,实验组和对照组。
因为担心新策略的影响面太大,因此给新策略,也就是实验组分了10%的流量,然后直接用这10%的流量,与剩下90%的流量来进行AB实验。
此时,问题在哪,我估计大家也看出来了。
AB Test,为了尽量保证结果的可信,最基本的给到每个BUCKET(桶、组的概念)的流量是一样大小的。
就拿这个实验来说,考虑降低新策略的影响范围没错,但是拿一个10%流量的实验数据和一个90%流量的实验数据进行对比,很明显难以得出可信的结论。
所以我后来把AB Test的方案进行了调整,整个AB Test分了三个组:实验、对照和空白。
产品经理测评方案

产品经理测评方案目标产品经理的工作是负责产品的规划、设计和推广等工作,对于一个公司的产品质量和市场竞争力起着至关重要的作用。
为了确保产品经理具备必要的能力和素质,我们需要建立一个全面的测评方案,以评估他们在不同方面的表现和能力水平。
该测评方案的目标如下:1.评估产品经理在市场调研、需求分析、产品规划、团队协作等方面的能力;2.发现产品经理在工作中存在的问题和不足,为其提供进一步培训和发展方向;3.了解产品经理对于行业动态和用户需求变化的敏感度,以及对竞争对手情况的了解程度;4.提高整个团队的专业水平,提升公司产品质量。
实施步骤步骤一:确定测评指标首先,我们需要确定一组全面且具体的测评指标,用于评估产品经理在不同方面的能力和表现。
这些指标应该包括但不限于以下几个方面:1.市场调研能力:包括市场分析、用户调研、竞争对手分析等;2.需求分析能力:包括用户需求挖掘、需求整理和需求优先级确定等;3.产品规划能力:包括产品定义、产品路线图制定和产品特性设计等;4.团队协作能力:包括与开发团队的沟通协调、项目管理和团队合作等;5.行业动态敏感度:包括对于行业趋势和技术变化的了解程度;6.用户导向思维:包括用户体验设计和用户反馈处理等。
步骤二:制定测评方案基于确定的测评指标,我们可以制定一套完整的测评方案,具体步骤如下:1.设计问卷调查:通过设计问卷调查,收集产品经理在各个指标上的自我评估数据。
问卷应该结构清晰,问题具体明确,并充分考虑到不同层次的产品经理。
2.进行面试评估:根据自我评估数据,选取一部分表现较好或较差的产品经理进行面试。
面试过程中可以通过提问、情景模拟或者案例分析等方式来评估其在各个指标上的实际表现。
3.360度评估:除了自我评估和面试评估外,还可以邀请产品经理的直接上级、同事和下属参与到测评过程中。
他们可以通过观察、交流和反馈等方式提供对产品经理能力的评价,从而获得更全面的数据。
4.综合评估结果:根据以上三个环节收集到的数据,对产品经理在各个指标上的表现进行综合评估,并给出相应的分数或等级。
产品经理如何进行产品测试

产品经理如何进行产品测试一、协议关键信息1、测试目标明确产品是否满足用户需求检测产品功能的完整性和准确性评估产品性能和稳定性发现潜在的安全隐患和漏洞2、测试流程需求分析测试计划制定测试用例设计测试环境搭建执行测试缺陷跟踪与管理测试报告编写3、测试人员职责产品经理开发人员测试工程师4、测试资源人力时间设备软件工具5、测试标准功能实现符合预期性能满足指标要求用户体验良好兼容性达标二、协议内容11 测试目标的详细说明111 明确产品是否满足用户需求产品经理应深入了解用户的期望和需求,通过用户调研、反馈收集等方式,确定产品在功能、性能、可用性等方面是否能够满足目标用户的实际需求。
这需要与用户进行充分的沟通和交流,以确保测试的方向和重点与用户的关注点一致。
112 检测产品功能的完整性和准确性对产品的各项功能进行全面测试,确保每个功能都能按照设计要求正常运行,且输出结果准确无误。
包括但不限于核心功能、辅助功能、边缘功能等,不放过任何一个可能影响用户使用的功能点。
113 评估产品性能和稳定性测试产品在不同负载和压力条件下的性能表现,如响应时间、吞吐量、资源利用率等。
同时,对产品进行长时间运行测试,以评估其稳定性,确保产品在长时间使用过程中不会出现崩溃、死机等严重问题。
114 发现潜在的安全隐患和漏洞通过安全测试手段,如漏洞扫描、渗透测试等,查找产品中可能存在的安全风险,如数据泄露、权限滥用、恶意攻击等,保障用户的信息安全和产品的正常运行。
12 测试流程的具体步骤121 需求分析产品经理与相关团队成员共同对产品需求进行详细的分析和理解,明确产品的功能特性、性能要求、用户场景等。
在此基础上,确定测试的范围和重点,为后续的测试工作提供指导。
122 测试计划制定根据需求分析的结果,产品经理与测试工程师一起制定详细的测试计划。
测试计划应包括测试的目标、策略、资源分配、时间安排、风险评估等内容,确保测试工作能够有条不紊地进行。
做一个懂测试的产品经理-分享版

等价类划分法
等价类划分方法把所有可能的输入数据,即程序的输入域划分成若干部分, 然后从每一部分中选取少数有代表性的数据做为测试用例。
等价类的划分有两种不同的情况: ①有效等价类:是指对于程序的规格说明来说,是合理的,有意义的输入数据构成的集合。 ②无效等价类:是指对于程序的规格说明来说,是不合理的,无意义的输入数据构成的集合。 在设计测试用例时,要同时考虑有效等价类和无效等价类的设计。
技能 提升
小公司的QA往往空 缺或人力不足,需 要PM和RD补位。
知己知彼,有助于 项目中PM与QA的 沟通协作。
PM与QA的工作存 在交叉地带,QA的 一些工作方法可以 被借鉴。
多掌握一类技能, 提升个人能力。
第二部分
全景了解测试行业
测试工作的分类、不同类公司对QA的需求
那些年,人们对测试的误解……
制定发布策略
• 用户行为分析报告 • 用户问卷调查 • 社会化媒体意见收集 • 产品功能改进列表
• 运维系统部署 • 用户行为分析系统
反馈收集与发 布分析
• 用户付费系统 • 设定分流规则 • 运营数据分析
系统部署
选定用户
• 用户规模 • 发布频率 • 功能覆盖度 • 风险评估与回滚策略 • 运营策略
• 全流程质量保证-VE(Verification) – 从需求/设计/编码/产品发布/线上质量的全流程都会有QA介入并提供各类质量保障手段。 – 核心指标:漏测率、事故数
• 产品效果、用户体验测试-VA(Validation) – 不仅要发现程序的错误,还要发现产品效果的问题,对用户体验质量全面负责。 – 核心指标:产品用户口碑、Bad case发现占比、Bad case推进解决效率
产品经理如何进行用户测试

产品经理如何进行用户测试在当今竞争激烈的市场环境中,产品经理要想打造出一款成功的产品,深入了解用户需求和行为是至关重要的。
而用户测试就是获取这些关键信息的有效手段之一。
那么,产品经理究竟应该如何进行用户测试呢?首先,明确测试目标是关键的第一步。
产品经理需要清晰地知道通过这次测试想要解决什么问题,是验证产品的某个新功能是否易于使用,还是评估用户对整体界面设计的满意度?目标越明确,后续的测试设计和分析就越有针对性。
在确定目标之后,就要精心挑选测试用户。
这可不是随便找几个人就行的。
要根据产品的特点和目标用户群体,选择具有代表性的用户。
比如,如果是一款针对年轻人的社交软件,那么测试用户就应该以年轻人为主,并且涵盖不同性别、地域、使用习惯等方面的特征。
同时,还要注意用户的数量,太少可能无法得出有普遍意义的结论,太多则会增加测试成本和分析难度。
接下来是设计测试任务和场景。
这需要产品经理充分发挥想象力,模拟出用户在实际使用产品时可能遇到的各种情况。
例如,如果是一个电商平台,测试任务可以包括搜索商品、比较价格、下单支付等;如果是一款办公软件,测试任务可以是创建文档、编辑表格、分享文件等。
场景也要尽量贴近真实,比如考虑在不同的网络环境下、不同的设备上使用产品。
准备好测试环境也是必不可少的。
要确保测试使用的设备、网络等都处于正常状态,避免因为外部因素影响测试结果。
如果是线下测试,要布置舒适、安静的测试场地;如果是线上测试,要提前测试好相关的软件和平台,确保其稳定运行。
在实际测试过程中,观察用户的行为和反应是非常重要的。
产品经理要保持敏锐的洞察力,注意用户在操作过程中的每一个细节,比如他们的表情、动作、语言等。
这些都能反映出用户对产品的感受和体验。
同时,要尽量避免对用户进行过多的引导和干扰,让他们能够自然地使用产品。
测试结束后,收集用户的反馈至关重要。
可以通过问卷调查、面对面访谈、在线留言等多种方式获取用户的意见和建议。
产品经理如何做测试?

产品经理如何做测试?本文不是教产品经理如何转行做测试,而是在团队没有测试人员的情况下,如何快速承担起测试的工作,以下是正文:大公司有明确的职位分工:工程师、测试、设计、运营都由不同的人负责,测试自然就是测试工程师的事,而在中小型创业公司,人员匮乏,很多团队只有工程师和产品经理,工程师负责开发,开发以外的事情全都由产品经理承包,这其中自然包括测试。
测试是产品上线前的质量检验,只有通过测试,产品才能放心的呈现到用户面前,本文就详细说说,产品经理该如何做测试。
我们不探讨测试究竟分多少种,每种类型又是如何定义,产品经理的测试任务基本只涉及一种:功能测试,测试的内容就是:工程师实现的产品,和PM 最初定义的产品是否一致,如果一致,则测试通过,如果不一致,则测试不通过。
需求文档——测试的基础需求文档定义了产品要实现的功能和具体的细节,工程师依据它进行开发,测试当然要依据相同的标准进行测试,如果缺少需求文档,测试就没了依据,就很难往下进行。
比如有以下需求文档:XX 博客系统发布文章页需求清单文章标题为必填,最长80 个字符,支持中英文和特殊符号,超出时即时提示“标题不能超出80 个字符”(原型见附件)文章内容为选填,最长8000 个字符,支持中英文和特殊符号,超出时即时提示“文章内容不能超出8000 个字符”…进行测试时,除了要考虑产品的常规使用流程,还要重点考虑产品中的边界问题,比如以上例子中标题和内容的字数限制。
测试用例了解清楚需求之后就要设计测试用例了,测试用例就是一个个用户实际的使用场景,要求有设定好的输入条件和预期结果,比如针对上面的文章发布页设计以下用例:上面的4 个用例覆盖了常见的用户场景,如果实际测试结果符合预期,产品基本上是合格的,但不要忘记一些隐藏的陷阱:标题或文章内容包含html 标签等特殊字符时,系统能否正确保存?文章内容为富文本编辑器,如果录入的有8000 个字符,插入图片、添加格式后是否还能保存成功?…根据需求文档可以定义大多数情况的测试用例,还有很多特殊情况的用例,需要经验的积累来完善。
产品经理如何做产品可用性测试?

感觉:可用性测试的本质:产品,从用户中来,到用户中去。
小技巧:1、招募测试用户。
招募测试用户的主要原则是,这些用户要能尽可能地代表将来真实的用户。
招募小白鼠了喂,有报名的没?没有?我等下再问一次。
2、准备测试任务。
测试的组织者在测试前需要准备好一系列要求用户完成的任务,这些任务应当是一些实际使用中的典型任务。
万一他们瞎几把乱点,触雷弹出BUG页面该多尴尬。
3、观察测试过程。
组织者在一旁观察用户操作的全过程,并把发现的问题记录下来。
偷偷拿小本本儿记下他们的SB行为。
切忌,引导与暗示用户。
4、询问用户产品体验情况。
测试结束后,组织者可以询问用户对于产品整体的主观看法或感觉。
而不是让其一顿操作猛如虎。
结果,你懵逼他更懵逼。
另外,如果用户在测试的过程中没有完全把思考的过程说出来,此时也可以询问他们当时的想法,询问他们为什么做出那些操作。
求虐,求摧残。
5、研究和分析。
在可用性测试结束之后,组织者分析记录并产出一份产品的可用性问题列表,并对问题的严重程度进行分级,使得我们可以根据项目进度来选择哪些优先处理。
统计不是来源于真实用户,都是耍流氓。
统计结果,要尽快出来并发给测试用户。
让用户参与,让其感觉到被重视,做了一件很有价值的事情。
6、早测好过晚测。
你以为你是贾跃亭啊?一个PPT就能验证可用性。
产品从0到1的任何过程,都可以让用户参与,验证真伪,及时提前纠正错误。
实际上,往往都是等到产品快要上线的时候,才做产品可用性测试,结果为时已晚。
然后,又周而复始的重复性犯错,死循环。
7、易小不易大,易少不易多。
往往我们想做的事很多、想要的大而美,但却忽略了投入成本、现有资源等实际情况。
你丫,能不能务实点?先做个最小MVP出来验证市场,不香吗?8、别跟测试用户说过多专业性术语。
要有同理心,现在你不是显摆装X的时候。
亲,我们做了个新产品,你体验下给点宝贵意见呗?9、提前预约人家工作忙的焦头烂额的时候,结果突然被你打断。
冒冒失失的来一句:帮我测个产品呗?(白眼表情包)给你一个白眼,自己体会。
产品经理该如何做AB 测试?

产品经理该如何做A/B 测试?在产品运营过程中会存在许多次迭代优化,大到某项功能的增加或删除、小到某个点击按钮的颜色,都有可能成为驱动关键转化指标提升的因素,那么就会存在一个问题,作为公司内部的产品、运营等团队,要如何才能保证每一次的方案都能取得更好的效果呢?很简单,试一试就知道了。
A/B 测试指的是根据试验的目标,把测试群体分为2组(或更多的组,取决于备选方案的数量),每组采用不同方案试行,最后对统计结果进行分析,选取效果最好的方案。
一、确定测试目标,提出方案做任何事之前,都需要想清楚是为什么而做,因为这很大程度上决定了其可行性,以及之后的发力方向、时程、耗费的人力物力等。
1. 收集需求需求可能来自真实业务中的方方面面,但都保持跟整个公司的发展大方向一致(也就是北极星指标),这些需求的解决能够从某个角度推动总体业务前进,(例如优化注册页面文案可以提高新用户注册转化率,增大产品拉新规模),包括但不限于以下来源:(1)来自内部(团队):•产品部门•运营部门•市场部门•研发部门(2)来自外部(用户):•问卷调查•用户调研(3)来自外部(行业):•行业分析•竞品分析用户增长团队(or数据分析师们)收集到这些需求,会做出一些可行性评估,并筛选出合理需求进入试验库。
2. 进行优先级排序当产生了众多的需求之后,该如何安排先处理哪些呢?对于试验顺序的处理不能毫无章法,拎出哪个做哪个,针对此问题,可在公司内部制定一个优先级排序系统,将所有待处理的需求进行科学有序地排列。
例如ICE排序系统(Impact=影响力,Confidence=成功率,Effort=开发成本),其核心思路是根据不同试验执行的综合性价比来决定先后顺序,“性”指的是可以收获到的价值(包括影响力及成功率),“价”指的是需要为此付出的人力物力及财力。
预期影响力越大,成功概率越高,开发成本越小,优先级就越高,反之则越低。
相信在评估上述的重要参考因素之后,可以比较清晰地指导不同的试验顺序,找到应尽快实施的试验。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
总监:“那你还回什么家,好好测啊!当时测试的时候不好好测,现在倒想起来谨慎了…..”我:“好的,我周末继续测….”挂了电话,我木木地喝了口寒彻心扉的啤酒,准备再做几分钟就回去。
这时,旁边的大叔冷笑一声:“小伙子,你是产品吧?”我一激灵:“你怎么知道?”大叔抿了一口啤酒:“我不仅知道你是个产品经理,还知道你们公司人不多,你们公司没QA。
”我手抖了抖,杯子掉在桌上,溅起的啤酒,冰凉了我的神经,我一下子清醒了。
他猜的没错。
我是个产品经理,移动互联产品经理,公司刚B轮,人确实不多,没有QA。
我转过身去,看他,才发现其实他邋遢之余很是潇洒,昏暗的灯光下那闪闪的墨镜遮住了他深邃的眼睛,嘴角泛着浅浅笑意,胡茬还留存着啤酒的水渍….我一抱拳:“请问前辈高名?”他笑了:“别来那套文绉绉的,老子姓高,你可以叫我老高。
以前是移动互联创业公司的产品总监,现在下海做生意,兼职算命。
”得道高人!我知道我今天遇到高人了。
他不看我:“是不是测试遇到麻烦了?”我低头:“嗯,公司没测试,我负责组织研发同事测试,结果测完上线,出现了机型适配的问题,只能重新发布…”他说:“你知道测试是什么吗?为什么你们公司没测试?你作为产品经理,却得做测试的工作?”我有点蒙:“测试,就是一群人拿着手机测BUG啊,公司不是没招过测试,上次来的那个测试,看所有人下班了都没走,第二天就不愿因来了…….我对产品最熟啊,再说也缺人。
”老高咂两下嘴:“错,错,错!测试是产品策划到上线维护中不可缺少的一环,测试质量的高低直接关系到产品的可用性,友好性,可靠性。
虽然测试是必要的,但测试人员不是必要的,因此大多数的初创公司并不设置QA的岗位。
同时,没有测试人员,其实也是一种敏捷的方式,facebook在从创立起很长一段时间里都是没有测试的。
产品经理做测试,一方面是因为对产品最熟,另外也是因为开发思维与测试思维是不同思维的原因,说了你也不懂。
”我不服气,猛地喝了一口酒:“那你说说测试是什么?”他又笑:“从测试内容上看,测试主要分为UI测试、功能测试、兼容性和性能测试。
UI测试就是界面视觉的测试,找设计师测就行了,兼容性和性能测试人力不可为,一般要借助工具测,但是必须测,像你们这种手机适配问题肯定是没走过这个流程。
一般来说,产品跟研发做的就是功能测试。
测试是有许多方法的,但主要分为三类…..”“黑盒测试、白盒测试和沙盘测试!”原来是酒保打断,这厮在旁边偷听许久了,我还以为他是想趁我不注意给我倒酒。
我说:“你还懂这个。
”酒保贱贱一笑:“略懂,略懂,以前做测试的,花名测三通。
”老高也有兴趣了:“那你说说什么是黑盒测试。
”测三通:“黑盒测试,也可以叫不透明测试,它着眼于程序外部结构,不考虑内部逻辑结构,主要针对软件界面和软件功能进行测试。
主要方法有等价类划分法、因果图法和错误推测法。
等价类划分法就是把产品按照模块进行划分成若干个部分,分人测试,一般公司都用这。
因果图法就是根据流程图,测试前、后置条件,从而推断是否可以正常使用的办法。
”见我不太明白,他又补充说:“比如在购物车点击确定,但是购物车里是空的——返回“用户名错误”提醒,就是一条因果图法的测试用例。
白盒测试与黑盒测试互补,是透明测试,在于全面了解程序内部逻辑结构、对所有逻辑路径进行测试。
沙盘测试就像你们产品经理做竞品分析的时候做的那个什么….“老高提醒:“任务走查。
”测三通:“嗷~任务走查,模拟用户在实际环境中的测试,也就是把一个个用户场景都走通一遍把重要的逻辑漏洞过滤掉,一般产品上线前的回归测试就用它。
”真是人不可貌相,我深深看了测三通一眼,然后温柔地对他说:“倒酒。
”老高补充说:“其实还有许多测试内容,比如:排序测试字符测试缓存测试必要信息测试准确性测试在测试中是很容易忘记的,你最好记住。
”我拼命点头:“前辈教导的是,我们平时用的就是黑盒测试,那你能跟我讲讲测试的流程吗?”老高用酒杯砸了砸桌子:“这个要好久(好酒)呀…..”我定睛一看:果然酒杯空了。
我看了测三通一看:“倒酒,算我的!”测三通这小子早就在旁边等着了,赶紧给老高倒了杯12年的人头牛。
老高喝了口:“好酒,既然你这么有诚意我就好好跟你说说。
”我跟测三通都聚精会神地看着他。
老高:“测试流程主要分为这么几步,1. 测试资源准备;2. 测试人员分工与选择测试方式;3. 测试FIX任务。
除此之外你还要准备相关文档。
话说你叫什么名?”我这才想起我没做自我介绍:“哦哦,我叫朝聆夕改,你叫我小朝就行了。
”老高:“小改呀,你平时测试资料准备都准备些什么呀”我想了想:“主要就是各种型号、操作系统的手机,有时候还需要给他们准备点纸笔。
”老高点点头:“嗯,你说的是测试设备的准备。
测试资料一般要准备下面几项:测试设置,除了你说的手机、纸笔外,你还要借场所,就是会议室之类的,准备点小零食也是有好处的;测试坏境,一般就是内测坏境、正式环境;测试账号,普通账号和特殊账号,都要多准备些,临时准备会影响测试人员的士气;测试人员,要预约好,安排规划,不然临时就叫走,把你气的半死;测试用例,这儿是产品测试的核心,是对产品的所有节目的视觉、交互和功能逻辑的汇总。
”测三通插嘴:“这个测试用例可得好好讲讲。
”我冷冷地看了他一眼:“你也要请喝酒吗?”测三通闭嘴。
老高呵呵一笑:“当然,不讲测试用例算什么测试。
测试用例撰写的原则有这么几种:有效性,就是说测试用例必须是真实有效的,不同的测试人员依据相同的测试用例所得到的输出应该是一致的;复用性,不用写的太死,能复制最好,要不然一个小产品就随随便便几千个,累都累死你了;易组织性,写用例的时候最好能考虑到测试的场景,别上一个用例写的是A页面,下一个又跑到C 页面去了,当然产品经理还是有这个思维的;还有其他原则,比如可评估性,可管理性,太专业了不太重要,原则有几个就够了。
得,我先上个厕所。
”说罢,他扶着墙去厕所了。
老高真是教科书一样的人物,只可惜,人到中年就双目失明…我正在替他感到悲哀,就听到老高远远地就在厕所门口喊:“你这贼酒保,又趁我不在给我倒酒是不是!”测三通,僵住了正在偷偷倒酒的手臂,尴尬地说:“哎呀,你老身体健康就好,没事戴什么墨镜算命呐,我就想做点好事,请您喝杯酒……“老高大步流星走到位置,不客气地猛喝一口:“原来是这样,三通你这年轻人不错,我看好你。
”测三通讪讪而退,我看看老高,他正摘下眼镜朝我眨眼:原来是装的,骗酒喝!我苦笑:“前辈,咱们接着说测试用例吧。
”老高:“好嘞,刚说了原则,下面说说类型,类型就这么几种:基本功能用例、交互用例、临界用例还有压力测试。
前面三种你应该都懂,最后一种压力测试一般人就不懂了,压力测试一般是指在比较短的一段时间内,被测手机执行比较多的任务或者操作,来检测被测手机承受压力的能力。
这个测试还是比较有必要的,知道了也可以装X。
”我深以为然:“前辈,我也写了一些测试用例,请您指点。
”老高看完我的测试用例,点点头:“小改,其实这就够了。
测试用例在内容上可以分为两个部分:测试信息和用例信息。
测试信息包涵了测试人、测试时间、测试版本号、测试机型、操作系统以及测试的结果统计;用例信息主要包涵用例所属模块、用例ID、用例事件描述、前置条件、期望结果以及测试结果等。
”老高顿了顿,说:“这是黑盒测试的用例,如果是沙盘测试或者白盒测试,用例就会复杂许多,往往需要流程图之类的,如果是成熟的,或者传统公司对测试的流程就要多许多,你是用不着学的。
”我得到了前辈的认可,还是有些欣喜:“那该说说测试分工的事情了。
”老高:“那你们平时怎么分工的。
”我说:“就找两端的主管要些人,然后随即分模块给他们,把测试用例分给他们,下午的时候组织一下集中测试。
”老高摇摇头:“效果怎么样。
”我品了品苦涩的啤酒:“不太好。
”老高:“具体表现呢,列举出来,你个产品总得有点逻辑能力吧。
”我掐了掐自己已经快麻木的大腿,强打起精神:“那我可得好好吐槽一下:1. 集中测试的时间缩水太严重,每次召集人手都要几十分钟,还经常检查出BUG就马上去改,一次集中测试要测1~2小时;2. 集中测试效率低下,测试时很容易被与自己测试内容不相关的部分打断;3. 负责测试的研发同事对产品不熟悉,要跟他们讲,特费时间,效果还不好;4. 单独测试不能很好执行,不可控;5. 经常性被不同的人提出重复的BUG,浪费时间。
”老高哈哈一笑:“看来你很清楚出现的问题呀,可是你还是不能解决是不是。
”我:“是啊,请前辈指教。
”老高挥挥手:“叫老高就行了,指教谈不上,兵法有云:知己知彼,百战不殆。
你既然知道问题,也应该知道出现问题的原因。
第一条,集中测试太费时间,主要的原因是这么几个方面:1. 没有很好的时间规划,测试人员不知道什么时候测什么时候停止测,建议你们的集中测试由下午改成中午,到午休的时候自动停止,这样至少有个停止的时候,让测试人员能够自觉调节测试的速度,同时下午的时间其实更有弹性,你懂得,改不完的可以加班嘛;2. 人气不足,可能是你在公司呆的不久,跟开发不是很熟,更重要的是没有建立那种说一不二的威信,所以你得以身作则,梳理形象;3. 测试人员责任心不足,这是怎么回事,你知道乌合之众这个词吧,差不多就是说群体会降低每个人的智慧,大家嘻嘻哈哈没当回事,自然不行。
这时候我建议你使用交叉结对测试的方法测试。
4. 测试人员动力不足。
没奖励呀,你得多鼓励鼓励才行,有鼓励师没?”我张张嘴,还没说话,老高就打断了我:“没有是吧,那就物质奖励,前面说测试资料准备的时候不是也提了准备零食吗,这时候就得上啊。
”我皱皱眉:“老高,那个什么交叉结对测试是什么意思?我只听说过交叉测试。
”老高眯了眯眼睛:“交叉结对测试,就是指安卓和iOS两端的负责同一个模块的开发人员,组成队伍,相互测试对方的客户端。
有点拗口,但很有用处:1. 由于是负责自己开发的模块,所以不需要学习,能够很快投入状态;2. 测试对方的模块,能够在测试的同时检查自己的错误,测试的时候能够心中有数;3. 既是合作也是竞争,同时由于测试必须同时进行,一个人不来,另一个人也没办法开展工作,所以时间被拖延,这样也是培养他们的责任心。
这样,使用交叉结对测试的方法,其实也很好地缓解了第二、三、五个问题。
”我抢过测三通手上的酒,给老高满上:“高哥,这个我算明白了,你给我讲讲其他的吧。
”老高满意地点点头:“集中测试效率低下,很容易被打断。
其实这个也很好理解,集中测试就是发现一些重要、明显的BUG的嘛,不要指望它能够带来多大的效果,但是由于单独测试不可控,所以集中测试是很有必要的,你就把集中测试当成一个测试的热身,调动热血与气氛的工具就好了,可以适当地缩短集中测试的时间。
”我把手机调成的录音机,放在老高面前,生怕漏了一句。
老高顿了顿,说:“你说了许多集中测试的事,却不说单独对照测试,肯定不是因为单独测试很顺利,而是因为没人单独测试是不是。