# 让 AI Agent 对 SaaS 做端到端验收：Playwright 实测与 5 个坑

>我们是一家做 ERP 的小公司。最近做了一个实验：
让一个 AI 智能体当成"第一个客户"，从注册账号开始，不加任何人工干预，
自己把一套 ERP 的完整业务流程走了一遍。
这篇不讲愿景，只讲两侧各自需要具备什么、实测结果，以及 5 个真实踩到的坑。

## 一、先给结果

实验的完整链路是：**AI 自主注册一个云账套 → 登录 → 清空演示数据 → 执行内置的"自动演示"命令集 → 逐页核查单据是否落库**。
最终结果：

| | |
|:-:|:-:|
|环节|结果|
|自主注册云账套|✅ 全程自助完成，无人工参与|
|登录 + 读取菜单|✅|
|清理历史数据（多租户，只清自己账套）|✅|
|执行"自动演示"命令集（17 个步骤，约 370 条指令）|✅ **365 条成功 / 9 条未匹配 / 0 条失败**|
|单据落库核查|✅ **8 类单据全部落库**（见下表）|
|出纳记账（第 17 步）|❌ 未走通，原因见第六节|
落库的 8 类单据：

| | | |
|:-:|:-:|:-:|
|#|单据|结果|
|1|销售订单|1 张，**已审核**|
|2|采购入库单|1 张，4 行明细|
|3|生产工单|1 张|
|4|委外加工单|1 张|
|5|生产领料单|1 张，2 行明细|
|6|生产入库单|1 张|
|7|销售出库单|1 张|
|8|销售应收单|1 张|
也就是说：从"销售下单"到"原料采购、委外加工、生产领料入库、成品出库、应收挂账"这条制造业的核心业务链，**AI 没有靠人工接管，自己走完了**。
## 二、动机：为什么要让 AI 当"第一个客户"

直接说两个现实动机：
1. **我们的潜在客户正在变成"先让 AI 查、再自己试"**。相当一部分买家在接触供应商之前，就已经用 AI 工具完成了候选名单的筛选。"你说你的 ERP 好"越来越没用，**"能不能让客户（或客户的 AI）自己走一遍"** 才是新的信任基础。

1. **我们自己需要一个诚实的端到端回归验收**。ERP 迭代靠手工点一遍全流程，成本高到没人真的每次都做。既然 Web 端已经把整套系统搬到了浏览器里，那就让 AI 按剧本执行、按断言核查——顺便，它跑不通的地方，就是真问题。

于是这个实验同时是一件事的两面：**对客户，它是"可自己验证"的证明；对我们，它是每天都能跑的验收脚本。**
## 三、被测侧：把"操作"做成"数据"

AI 能自己走流程的前提，是被测系统**把操作变成了机器可执行的数据**，而不是一堆只能人点的界面。
我们的 Web 版里有一套「命令脚本集」机制：每个命令集由若干步骤组成，每个步骤是一行指令脚本。指令语言很小，常用的就十来个动词：

| | |
|:-:|:-:|
|指令|作用|
|`OPenMenu,销售订单`|打开指定菜单页签|
|`ToolBarClick,保存`|点工具栏按钮（新增/保存/审核/生成…）|
|`SetHeadCtlText,FHno,测试`|给表头字段赋值|
|`AddNewRow,0` / `SetGridCellText,0,1,成品仓`|表格加行、给单元格赋值|
|`RowsSelected,物料类型,原材料`|在网格里按条件选中行|
|`ButtonClick,打印模版设置`|点非工具栏按钮|
|`SelectedNode,0` / `CloseForm,0` / `Sleep,500`|选树节点、关窗、等待|
|`SpeakAsync,xxx` / `ShowScreenText,xxx`|语音/屏幕提示（演示用）|
内置的「自动演示」命令集一共 **17 个步骤、约 120 行脚本指令**（执行时展开为约 370 条底层动作），覆盖完整业务链：
```

```举两段真实的脚本感受一下。录销售订单：
```

```MRP 运算（节选，按物料类型分流生成三种单据）：
```

```这套设计的关键点：**指令是数据，不是代码**。它跑在业务层之上——单据编号规则、必填校验、审核流、库存过账全部走和人工操作完全相同的链路。AI（或脚本）没有任何绕过业务规则的捷径。
## 四、验证侧：AI 智能体怎么驱动

验证方是一个通用 AI 智能体 + 浏览器自动化（Playwright 驱动 Edge，有头模式），全程只做三件事：**按 UI 语义操作、读 UI 状态、独立核查**。没有调用任何内部接口，没有任何后门，和一个人坐在浏览器前操作等价。
核心代码骨架其实很短：
```

```执行期间轮询监控（命令集执行有 HUD 进度条，消失即结束）：
```

```核查环节的原则是**不信执行输出，独立读回**。比如核查销售订单是否真的落库：打开指令面板，搜"销售订单"，双击单据查询项，读结果页的计数器：
```

```整个实验中 AI 的工作方式是：**每一小步截图 → 读屏幕 → 决定下一步 → 失败就换路径重试**。下面这些"换路径"，都是它自己试出来的。
## 五、五个坑（最有价值的部分）

### 5.1 原生 confirm 被自动化框架默认"取消"——AI 谎报成功

清空数据这类高危操作，系统弹的是浏览器原生 `confirm()`。而 Playwright **默认自动 dismiss 所有原生对话框——等于每次都替你点了"取消"**。
最诡异的是：脚本"执行"没有任何报错，AI 汇报"清理完成"，实际数据原封未动。第一轮清库就这样静默失败了。
**对策**一行代码：`page.on('dialog', d => d.accept())`。但教训值得记下来：
>**自动化框架对原生对话框的默认行为，和人类操作者的直觉是相反的。** 凡是"系统说没成功但界面无异常"的场景，先查对话框有没有被静默吞掉。

### 5.2 单条命令 ≠ 整包命令集

指令面板里，命令集下的每个步骤也能单独双击执行（⌘ 标记）。实测发现：**单条执行"录入销售订单"，只会打开对应页签，并不真正录单**；只有把整个命令集（⚡ 标记）作为整包执行，单据才会真正生成。
原因是设计如此：单步模式的定位是"教学指引"（告诉人该点哪），整包模式才是"自动执行"。但对 AI 来说，两者在 UI 上几乎无法区分——它第一次就点错了，然后花了几轮才确认这个边界。
>**经验**：同一操作在"演示态"和"执行态"下的语义差异，要在 UI 上做得一目了然（我们后来用 ⚡/⌘ 图标区分了），否则 AI 和新用户都会栽在这里。

### 5.3 最大的坑：脏数据让我们误判了三天

这是整个实验里最贵的一课。
第一轮整包执行，基础资料段全部成功，但**单据段全线失败**：选不到客户、保存审核不通过。我们的第一反应是往架构上归因——"BS 版的 runner 不适配单据表单"，甚至开始评估要不要为单据表单重写一套执行适配层。
真实原因简单得可笑：**前几轮实验在账套里留下了脏数据**——重复的仓库分组（01/02 各两组）、重复的物料分组、多个同名测试客户。自动演示脚本按名称定位时命中了歧义，选择和保存自然失败。
清空账套数据重跑：**365 条成功 / 9 条未匹配 / 0 失败，一次通过**。
>**教训**：集成测试失败时，**先怀疑数据，再怀疑架构**。"系统不支持"是最省事的结论，也往往是最错的。
反过来这也说明多租户 + 一键清库的价值：能随时回到干净基线的测试，才敢反复跑。

### 5.4 列表读到 0 行 ≠ 数据不存在

核查基础资料时，AI 反复报告"仓库列表为空"。实际上那是树形资料页：**必须先选中左侧树节点，右侧才会加载数据**。直接读表格永远是 0 行。
**对策**有两层：脚本层，读数前先 `SelectedNode`；断言层，优先读页面右上角的"共查到 N 条"计数器，而不是数表格行数。
### 5.5 不信执行结果，要独立核查

命令集执行完，HUD 会报告成功。但我们要求每类单据都要**回到查询页面读回计数**才允许断言通过——这个原则在 AI 场景下比传统测试更重要，因为模型天然倾向于"自信地报告成功，包括它其实失败的时候"（我们在做 AI 实施服务时也踩过同一个坑）。
**凡是有副作用的动作：执行 → 读回 → 断言，三步缺一不可。**
## 六、没跑通的部分：出纳记账

如实记录：命令集的第 17 步「出纳记账」没有走通，页签未打开、列表 0 行。其余 16 步全部成功。
这类"收尾步失败"的排查方向通常是字段映射（收支类型 → 对方科目自动核销的联动赋值），属于 Web 端表单控件的事件触发差异。它没有阻塞前面 8 类单据的验证，但**我们不打算修完再写这篇文章**——把没做完的部分如实写出来，比修剪出一个完美故事更有信息量。这一步已列入插件开发的需求清单首位，修复后我们会在这篇文下补结果。
## 七、这个实验改变了什么

**对我们自己**，它把"端到端回归"从口号变成了每天可执行的动作：清库 → 跑演示 → 断言 8 类单据，全链路无人值守。
**对做 B2B 软件的团队**，这件事的意味更直接：当买方开始习惯让 AI 替自己调研、试用、验证软件时，**"可被自主验证"会从加分项变成入场券**。与其纠结怎么在 AI 时代做营销，不如先把一件事做好——**让你的产品经得起一个 AI 的陌生访问**。
而这个门槛其实不低：它要求界面语义足够自解释（见 5.2、5.4）、状态可独立读回（见 5.5）、危险操作有明确反馈（见 5.1）。这几条恰好也是"人类新用户能不能自己上手"的同一组条件——**能通过 AI 陌生访问的系统，通常也能通过一个没人培训的新员工。**

我们是一家做 ERP 的小公司。最近做了一个实验：让一个 AI 智能体当成"第一个客户"，从注册账号开始，不加任何人工干预，自己把一套 ERP 的完整业务流程走了一遍。这篇不讲愿景，只讲两侧各自需要具备什么、实测结果，以及 5 个真实踩到的坑。

让 AI Agent 对 SaaS 做端到端验收：Playwright 实测与 5 个坑

让 AI 智能体当第一个客户，从注册起不加干预跑完整条 ERP 业务链：374 条指令 365 条成功、8 类单据全部落库、出纳记账未通。附实测代码、独立核查原则与 5 个真实踩到的坑。

技术

人工智能

AI智能体端到端实测ERP全流程，自主完成注册、登录、清空数据及17步370条命令，8类单据全部落库。文章总结5个关键踩坑点：原生confirm静默取消、单步与整包命令语义差异、脏数据干扰、树形列表读取误区、独立核查必要性。真实展示AI驱动SaaS验收的可行性与挑战。

集成测试

代码解释

智能体

SaaS

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

让 AI Agent 对 SaaS 做端到端验收：Playwright 实测与 5 个坑-腾讯云开发者社区-腾讯云

让 AI Agent 对 SaaS 做端到端验收：Playwright 实测与 5 个坑

让 AI Agent 对 SaaS 做端到端验收：Playwright 实测与 5 个坑

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐