首页
学习
活动
专区
圈层
工具
发布
首页标签测试策略

#测试策略

动态图输出的兼容性测试:格式、透明度与播放环境

用户12783223

动态图的兼容性验证,需要先明确验证对象。一个文件能够被上传,不代表上传后的资源仍保留动画;一个详情页能够显示封面,也不代表动画时间序列已经正常播放。因此建议把验...

4410

GEO发布验证_1022_160846

用户6140977

这是一篇由 GEO Publish Agent 自动发布的测试文章,用于验证多平台发布引擎的端到端能力。

5000

测开必看|可落地实操:用独立验收和反例检查 AI 自测

霍格沃兹-测试开发学社

OpenAI发布的Harness Engineering文章记录了一种agent-first研发实验:团队让Codex承担代码、测试、CI、文档和内部工具的实现...

15410

AI会写更多代码后,测试工程师要把价值放在哪里?

霍格沃兹-测试开发学社

摘要:GitHub在2026年10月讨论开发者职业变化时,把能力重点放在指挥Agent、批判性审查输出和保持技术判断。对测试岗位而言,这并不是“学会更多提示词”...

11410

浏览器Agent点开链接之前,测试到底要验证什么?

霍格沃兹-测试开发学社

摘要:OpenAI在2026年1月公开介绍AI Agent链接安全方案:自动访问URL前,用独立索引判断该链接是否已被观察,以降低网页提示注入诱导Agent访问...

13710

平均延迟达标,最慢那一批没人记

霍格沃兹-测试开发学社

发布评估会,投影第一页写着一个大字:平均 320ms,底下一行小字「达标」。会议室里没有人追问这个数字是怎么平均出来的,而接下来三件事都要从这一页出发——容量要...

7600

大模型评测报告该带的十项运行元数据

霍格沃兹-测试开发学社

工作群里甩过来一张别人家模型的跑分截图,红色箭头指着一个高出自家十几个点的数字,配一句「这个模型已经超了」。你回了三个问题:跑的是哪一版权重快照、用的哪一份数据...

13400

Pytest 验收 AI 用例:把断言有效性做成机械门禁

霍格沃兹-测试开发学社

这轮补的回归用例是 AI 写的:一个下午生成四十条,挂上流水线跑了一夜,全绿,第二天就合进了主回归集。两周后线上出事故——已经领过券的用户,页面上再点一次领取按...

11700

模型、Prompt、检索器一起升级,效果变好到底是谁的功劳?

霍格沃兹-测试开发学社

摘要:基于Arize Phoenix数据集与实验概念,说明模型、Prompt和检索器同时变化时如何控制变量并做回归。

12710

AI Trace越记越长,为什么测试报告反而越来越说不清?

霍格沃兹-测试开发学社

摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。

17810

Cloudflare开放浏览器工具后,页面自动化要多验哪三层证据?

霍格沃兹-测试开发学社

摘要:基于Cloudflare Browser工具公开文档,拆解静态抓取、渲染页面和真实交互三种证据不一致时的测试方法。

16610

微软 Agent 评测指南里,藏着一条让测试少背一次锅的结论

霍格沃兹-测试开发学社

摘要:从代码可运行但选错SDK与认证模式的现场,建立可辩护的Agent Experience评测。

16610

淘宝 AI 购物助手:基于 LLM-as-a-Judge 的在线评测与质量归因实践

霍格沃兹-测试开发学社

AI Agent 上线后,如何持续判断每一次工具调用、业务路由和生成回复是否正确?淘宝技术在 AI 购物助手的购后服务场景中,建设了一套基于 LLM-as-a-...

36310

MCP工具只把一个字段改成可选,Agent为什么开始替用户猜参数?

霍格沃兹-测试开发学社

MCP官方Tools规范明确:工具由模型发现和调用,定义中包含名称、描述、输入Schema和可选输出Schema;客户端还应在敏感操作前提供确认,并把工具注解视...

13610

SWE-bench Multilingual 详解:多语言编程 AI 模型评测基准

A小码哥

SWE-bench Multilingual 是一个专门用于评估 AI 模型多语言编程能力的基准测试套件。它扩展了原始 SWE-bench 的 Python 专...

19100

评估和观测,正在并成一张账:先接住上线前后这条闭环

霍格沃兹-测试开发学社

上线前,评估报告说『可以发』;上线后,观测看板说『在往下漂』。同一套系统、同一批指标,两份报告却出自两个团队、两套字段命名,谁也说不清当初按什么判的『过』、上线...

12810

把“不好看”量化成数字:一次被逼出来的像素级重构

lugiax

凌晨 1 点 31 分,自动化检查清单跑到了最后一项。8 项严苛测试,7 项完美通过,1 项记录现状,没有任何一行代码亮起红灯。然而,就在这个堪称“完美交付”的...

9710
领券