
本文我们依据 GB/T 25000.51-2016《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第 51 部分:就绪可用软件产品(RUSP)的质量要求和测试细则》标准的相关要求,结合 CNAS 实验室评审要点,跟大家一起梳理一下,CNAS软件检测实验室如何依据GB/T25000.51编写软件测试作业指导书。
由于软件产品的质量特性较多,每个质量特性下面又有好多子特性,所以我们一般建议CNAS软件检测实验室在编写作业指导书时,用一份《软件测试作业指导书》去规范流程,然后再根据不同的质量特性下设针对具体特性的《测试指南》。
这样作业指导书的内容不会太庞杂。与此同时,很多实验室在申请资质时,可能不会一次性将所有项目全部都去做申请,这样后续扩项时,只需要新增测试指南即可,不用再去针对作业指导书去做修订,这样操作可以大大提高体系文件的灵活性。道普云,专注软件检测领域CNAS/CMA实验室建设知识分享,更多内容可至我的主页查看。
结合 GB/T 25000.51-2016 规范要求,一份完整合规的软件测试作业指导书,一般需要包含基础说明、人员职责、编制依据、标准化测试流程、测试记录与文档管理、附则六大板块。
1、文件目的
规范就绪可用软件产品(RUSP)全流程测试活动,统一测试方法、判定规则、文档格式与记录要求,确保测试工作符合 GB/T 25000.51-2016 合规要求,保证测试过程可复现、测试结果可追溯、测试结论客观有效,支撑 RUSP 质量判定与符合性评价工作开展。
2、适用范围
明确本指导书适用所有类型 RUSP(文本处理软件、办公软件、行业管理软件、移动端 APP、Web 软件、嵌入式就绪软件等);明确排除项:开源软件不属于 RUSP 范畴,本指导书不适用。
(二)人员岗位职责
结合实验室体系及 GB/T 25000.51-2016 测试、评价、文档管理要求,明确全流程各角色权责,做到岗位清晰、责任到人,覆盖测试、审核、管理、签发全链条。
1、软件测试工程师
负责测试任务接收、测试环境搭建与核验;依据标准完成测试计划、测试用例、测试规程编制;严格按照测试方案执行全项测试,如实记录测试过程、测试结果与各类异常;开展缺陷纠正后的回归测试;整理、归档全套测试原始记录与测试文档;配合完成符合性评价相关测试工作。
2、项目负责人
统筹整体测试项目进度、资源调配、内外沟通;把控测试范围,确认测试覆盖性满足标准要求;协调测试过程中的风险、问题与异常;组织测试文档、测试结果的内部评审。
3、业务负责人
解读被测软件业务功能、使用场景、行业特殊要求;协助测试人员识别软件功能边界、使用限制、高危操作与风险点;针对业务 / 安全攸关类 RUSP,提供专项业务指引。
5、技术负责人
审批测试计划、测试方案、异常处置结论、测试最终报告;判定复杂缺陷、争议性测试结果;审核测试文档、测试记录的技术合规性;把控整体测试技术路线符合国标要求。
6、授权签字人
最终审核全套测试资料、测试报告、符合性评价报告;确认测试过程、记录、结论均符合 GB/T 25000.51-2016 及体系要求;履行报告签字职责,对报告结果负最终责任。
7、文档管理员
负责测试全流程文档、原始记录、电子档案的收集、编号、归档、保管与借阅管理;定期核查记录完整性,配合 CNAS 现场评审资料调取;管控所有测试文档版本,保证文档统一有效。
(三)编制依据(国标引用,严格规范书写)
本指导书所有作业要求、测试规则、文档格式均严格依据以下国家标准编制,标准号、发布年份、标准全称必须完整、准确书写,杜绝简写、漏写,规避 CNAS 常见不符合项:
GB/T 25000.51-2016《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第 51 部分:就绪可用软件产品(RUSP)的质量要求和测试细则》
GB/T 25000.10-2016《系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第 10 部分:系统与软件质量模型》
(四)标准化测试流程
严格对标 GB/T 25000.51-2016 中测试策划、测试设计、测试执行、异常处置、回归测试、结果评价、符合性评价等要求,将测试全流程划分为任务接收、测试计划制定、测试分析与设计、测试准备、测试执行、异常处置与回归测试、测试评价与报告编制、项目收尾八个核心环节,每个环节明确作业内容、标准依据、管控要点。
(五)测试记录与文档清单
依据 GB/T 25000.51-2016 第 6 章测试文档集、第 7 章符合性评价报告要求,列明测试全流程必备记录与文档,明确归档、核查要求,重点防范 CNAS 评审中记录缺失、资料不全的高发问题。
(六)附则
明确作业指导书版本管理、修订规则、生效日期、解释部门;规定记录保存期限、文档保密要求、偏离标准条款的审批流程(若标准条款不适用,需书面说明理由并留存审批记录)。
下面我们再将作业指导书最核心的部分,测试流程部分展开讲一下。一个完整的软件测试过程应包含以下活动,每项活动均需对应标准中的具体要求:
1、任务接收 明确被测RUSP的产品说明、用户文档集、软件产品是否齐全,确认是否存在需求文档(见5.1.3.5)。
2、测试计划制定(对应6.2) 测试计划必须包含:
通过/失败准则(6.2.1)
测试环境(硬件、软件、网络等)(6.2.2)
进度与里程碑(6.2.3)
风险识别及应对措施(6.2.4)
人力资源分配(6.2.5)
工具与环境资源(若使用特殊工具,需说明理由和预期结果,6.2.6)
沟通机制(6.2.7)
3、测试分析与设计(对应6.3)
根据产品说明和用户文档集,识别所有待测功能和质量特性。
设计测试用例:每个用例需包含测试目标、唯一标识符、输入数据与边界、详细步骤、预期行为、预期输出、结果解释准则、通过/失败准则,并可引用GB/T 25000.10-2016中的质量特性(6.3.1.1)。
编写测试规程:包括测试准备、执行动作、结果记录动作、停止与重启条件,并确保规程足够详细以保证可重复性和可再现性(6.3.2.1、6.3.2.2)。
若软件后续被纠正,应预先设计回归测试规程(6.3.2.3)。
4、测试准备
搭建测试环境,确认与测试计划中描述一致。
准备测试数据和测试工具。
对测试用例和规程进行评审。
5、测试执行与回归测试(对应6.4.1、6.4.2)
按测试规程执行测试用例,记录执行报告:每个用例的标识符、执行日期、执行人、执行结果、发现的异常清单,并引用对应的异常报告(6.4.1.3)。
发现异常时,填写异常情况报告的说明部分:异常标识符、软件标识符、异常说明、发生点、严重程度(致命/严重/重大/微小/轻微)、可重现程度(总是/有时/随机/未尝试/不可再现/N/A),并引用相关质量特性(6.4.2.2)。
对已纠正的异常,进行回归测试,并在异常报告中补充纠正部分(纠正项标识符、纠正日期、纠正者、修改标识符、可能影响、评论)和再测试验证部分(验证项标识符、验证日期、验证者、使用的测试用例、验证结果、引用的质量特性)(6.4.2.3~6.4.2.6)。
6、测试评价与报告编制(对应6.4.3、第7章)
对执行报告和所有异常报告进行整体评估,确认所有期望行为是否在通过准则界限内可获得(6.4.3)。
编制符合性评价报告(7.5),内容应包括:RUSP标识、评价人员、完成日期、测试完成日期、使用的计算机系统、使用文档清单、评价与测试活动汇总、结果汇总、详细结果、不符合项清单、效果声明、复制声明等。
若供方提供了测试文档,还需评价测试文档与第6章的符合性(7.4)。
7、项目结束
归档所有测试文档(测试计划、测试说明、执行报告、异常报告、符合性评价报告及其它相关记录)。
确保文档中包含文档清单、标题、标识、修改历史、目次、引用文档、作者/审查者、术语表(6.1.3.3)。
在测试过程中,必须形成以下记录文件(至少包括GB/T 25000.51-2016第6章明确要求的部分):以上清单是最低要求。实验室可根据自身质量体系要求增加其他记录。
序号 | 记录文件名称 | 对应标准条款 | 说明 |
|---|---|---|---|
1 | 任务接收/签收单 | 7.2.1 | 确认RUSP所有项已交付 |
2 | 仪器/工具使用记录 | 6.2.6 | 记录测试工具和环境的启用情况 |
3 | 测试计划 | 6.2 | 包含通过/失败准则、环境、进度、风险、人力、工具、沟通等 |
4 | 测试计划评审表 | 6.1.2 | 记录对测试计划正确性、一致性的评审意见 |
5 | 测试说明(含测试用例及规程) | 6.3 | 每个测试用例的详细描述,以及测试规程 |
6 | 测试执行报告 | 6.4.1 | 汇总所有测试用例的执行结果、异常清单 |
7 | 异常情况报告(含说明、纠正、再测试验证部分) | 6.4.2 | 对每个异常的完整记录 |
8 | 测试结果评估记录 | 6.4.3 | 对执行报告和异常报告的评估结论 |
9 | 符合性评价报告 | 7.5 | 最终评价结果,可对外出具 |
10 | 测试文档清单 | 6.1.3.2 | 列出全部测试文档的标题和标识符 |
以上就是基于GB/T 25000.51-2016标准编写的软件测试作业指导书的核心内容。后面我们还将继续针对软件产品的八大质量特性如何编写测试指南进行介绍,敬请继续关注。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。