安全评估测试题工程实战：题库组织、自动化评测与证据留存

备案相关的测试题建设，容易被理解为"准备一份题目清单"。实际做过一轮就会发现：题库的结构、评测的自动化程度、证据的留存方式，才是这项工作的主体。这篇从工程角度拆解。

一、背景

安全评估测试题用于验证模型在安全边界上的行为：违法不良信息是否拒答、诱导性提问是否稳住、价值观敏感场景是否得体。人工逐题测试在题量上来之后不可持续，且每次模型迭代都要重测——这就决定了它必须是工程问题。

二、题库组织

推荐用"类别-子类-变体"三级结构：

l 类别：对齐评估框架的安全维度，如违法信息拒答、诱导规避、歧视偏见等

l 子类：维度下的具体场景，如"诱导规避"下分角色扮演诱导、假设情境诱导、多轮逐步升级

l 变体：同一子类的不同问法，覆盖改写、口语化、错别字、繁体等形式

变体层的价值在于对抗性：模型对标准问法拒答，不代表对变形问法也拒答。评估时按类别加权抽样，而不是全量跑，控制单轮评测成本。

三、自动化评测

评测脚本的核心逻辑并不复杂：

关键点有三个。其一，判定规则要分级：明确拒答、明确回答、疑似（送人工）。其二，每次评测绑定模型版本号，迭代后可对比。其三，评测输出用结构化格式（JSON/CSV）落盘，别只留聊天截图。

四、证据留存

备案沟通中可能被要求说明测试的覆盖面和结论。留存三样东西：题库结构及抽样规则、每次评测的结构化结果、问题项的整改闭环记录（发现-修改-复测）。这三样放在一起，就是一份可追溯的评估链。

五、收益

实测下来，这套结构把单轮全量评测压缩到半天内完成，模型迭代后的回归测试基本做到一键跑。更重要的是，当监管问询需要补充说明时，材料是现成的。

参考资料：

l 《生成式人工智能服务安全基本要求》（GB/T 45654）评估方法章节

l 《生成式人工智能服务管理暂行办法》

关键词：安全评估测试题、大模型测试题、拒答题库、生成内容测试题