系统第三方测试到底测什么|测评|测试员|第三方测试

听起来很专业的系统第三方测试, 说白了, 就是找一个和开发方没有关系的团队, 去针对系统来做一次全面的体检。这如同买二手车的时候找独立检测机构, 而不是单单听卖车的自己讲车况有多好。我接触过好多项目, 发觉好多团队对第三方测试的理解依旧停留在“找外人走个流程”, 实际上它的价值远远超过了这些。

第三方测试能发现哪些隐藏问题

许多人觉得自身系统在开发之际已然测试得极为透彻, 然而一旦第三方测试介入, 往往能找出一些意料之外的问题。有一次, 我投身于一个电商平台的测试工作, 开发团队言之凿凿地表明支付流程毫无问题, 可是, 第三方测试员使用了一张冷门银行的信用卡, 系统随即直接卡死。此类问题在自己人测试时根本无法察觉, 原因在于大家早已习惯使用主流银行的卡来进行测试。

首先是安全漏洞这方面, 内部测试常常只是走过场。开发人员清楚自身代码包含哪些安全举措, 在测试时就会不自觉避开那些可能引发风险的行为。然而第三方测试员完全处于“黑盒视角”, 他们会如同黑客一般去试探各种边界情形, 像是暴力破解、SQL注入以及会话劫持。我还记得有一个医疗系统, 内部测试报告表明“安全性达标”, 但结果第三方仅花费一天时间就找出了三个高危漏洞, 其中有一个能够使外人直接查阅患者病历。

涉及性能瓶颈的一项内容属于第三方测试所擅长的方面。由自己内部的人员对于性能进行测试时, 通常是于办公室的局域网当中运行几百个虚拟用户, 然后认为响应时间还算可以。然而第三方会去模拟真实的网络环境, 而且是从不同的地区、不同的运营商以及不同的设备一同发起请求。曾经有一次对一个视频直播平台进行测试, 开发团队表明可以支持5万并发, 可是第三方在模拟4G网络的情况下仅仅跑到8000人就开始出现丢包现象了。其中问题存在于CDN节点的调度策略上, 这点自己内部的人员根本不会想到要去进行测试。

怎么判断第三方测试做得到不到位

有那么一种情况, 并非是随便找一家公司就能将第三方测试给糊弄过去的。我曾见识过好多甲方, 他们遭到了所谓的“第三方测试报告”的忽悠, 那份报告之中满眼都是诸如“通过”“合格”这般的字样, 然而, 关于到底是怎样进行测试的、所测的是什么参数、覆盖了多少场景, 居然一个字都没有提及。像这种测试报告, 还真不如不写来得好呢。

确切抵达位处的第三方测试, 首要的是得拥有详尽的测试大纲, 大纲当中要写明测试的范围, 要写明测试的环境, 要写明测试用例的设计思路, 还要写明通过的标准究竟是什么, 例如针对一个支付系统进行测试, 大纲里面应当列举出所有予以支持的银行, 应当列举出所有的支付方式, 应当列举出异常场景（诸如余额不足、超时、重复提交之类的情况）, 而并非是含混笼统地表述为“测试支付功能”。

再其次, 需要考察测试团队的背景情况。并非仅仅能够编写测试用例, 便可以从事第三方测试工作。这里建议着重审查团队有无相关行业的经验之举, 像是在检测医疗系统时, 其最好能够通晓HIPAA或者国内与之对应的医疗数据安全规范；于检测金融系统时, 必然要熟知支付清算的合规要求才行。倘若欠缺行业知识呢, 那么他们甚至连哪些属于重点都全然无法厘清。

末尾得瞧报告的质量, 质量好的第三方测试报告不但会罗列出问题, 而且还会给出能够复现操作步骤、做出影响范围评估以及提供修复建议的优先级, 部分团队还会跟开发方展开沟通行径, 以此来确认某些问题是不是基于固有设想安排, 而并非是程序漏洞, 这般沟通方面所具备的能力相当关键, 它能够防止不产生任何实际价值的返工现象发生。