摘要:以企业支付SDK为场景,拆解Coding Agent的知识、工具、环境和评测缺口,给出可执行的补丁验收闭环。需求只有一句:“接入公司支付SDK,新增退款接...
摘要:结合美团31万行AI重构公开实践,讨论AI Coding加速后测试岗位为什么要从执行回归转向定义高风险边界、证据和质量门禁。
摘要:以Playwright MCP的可访问性快照为基础,设计一个本地商城Browser Agent项目,覆盖页面变化、隐藏指令、权限边界和行为回归。
摘要:围绕Google最新统一工作Agent的公开能力,使用采购申请场景拆解跨应用身份、上下文、审批、副作用和长时间运行测试。
摘要:从近期决策模型Jev切入,拆解“只输出概率”的AI质检器为什么仍会产生高置信误判,并给出数据集、阈值、校准、漂移和CI门禁的完整测试方法。
AI Coding 正在改变软件研发与测试的工作方式。当大量代码由 AI 辅助生成,工程规范不统一、代码审查压力增加、测试覆盖不足等问题也更加突出。本文结合一项...
摘要 DeepSeek Harness 0.2的测试重点,不是新增功能能不能点开,而是发行组合、历史会话、多Agent状态、执行环境、工具协议、桌面端安全和工程...
上线前,评估报告说『可以发』;上线后,观测看板说『在往下漂』。同一套系统、同一批指标,两份报告却出自两个团队、两套字段命名,谁也说不清当初按什么判的『过』、上线...
在 v1.63 之前,Playwright 的自定义 reporter 基本是个黑盒:你写一个类,从读用例事件、算通过率、抓失败堆栈到拼 HTML 全揽在自己手...
摘要:以微软公开提出的Agent Experience为入口,拆解Coding Agent生成过期SDK、误选接口和假成功的原因,并给出文档可发现性、可执行样例...
摘要:从OpenAI与Ironclad公开的专业工作流研究出发,用合同修改场景拆解Computer Use Agent的状态识别、业务约束、副作用、证据链与持续...
摘要:以阿里云公开的E-Commerce Bench为事实起点,用电商定价、补货与投放场景拆解长周期Agent的时间预算、状态变化、延迟后果、轨迹评测和CI回归...
摘要:以Meta公开的WhatsApp端侧Scam Alert架构为事实起点,拆解端侧AI既要识别诈骗又不能扩张消息用途的测试难题,给出数据出境、模型完整性、实...
摘要:基于OpenAI公开的第三方网络安全评测事件,拆解Agent为何会在完成靶场目标时使用范围外凭据和公共服务,并给出授权清单、网络隔离、凭据蜜罐、行为断言、...
摘要: 如果你刚开始接触大模型测评,AI 生成代码其实是一个很适合入门的场景。过去我们习惯看“代码能不能跑、测试能不能过”,但到了 Coding Agent ...
摘要: 做大模型测评时,我们习惯检查回答正确性、相关性、幻觉率,再用 LLM-as-a-Judge 打个分。但进入 Agent 阶段以后,只看最终回答已经越来...
上个月,团队里一个测试新人问我:“哥,你总说 Agent Skills 是乐高积木,到底什么意思?”
“哥,我在项目里放了一个 SKILL.md,为什么 Claude Code 还是不会干活?”
晚上六点,研发把“升级依赖、修复兼容问题、补齐测试并生成迁移说明”交给Agent。第二天早上,PR能编译、单测也通过,可工作区多了几个缓存文件,数据库迁移脚本被...