# 当 Codex 开放 Agent Harness：我把浏览器视频编辑器变成了 AI 可安全操控的工具

>不是让 AI 在编辑器里“模拟点击”，而是让它理解工程、预览修改、执行剪辑，并验证输出。

2026 年 8 月，OpenAI 将 Codex 背后的 Agent Harness 正式作为开放平台能力介绍出来。
所谓 Harness，并不是一个新模型，而是围绕模型构建的完整执行系统：它负责维护上下文、调用工具、执行任务、处理失败、申请审批，并将长时间工作持续推进。[OpenAI 官方文档](https://developers.openai.com/blog/codex-as-a-platform)把它定义为模型与实际工作环境之间的执行层。
这带来了一个很有意思的问题：
>如果 Codex 不只是帮开发者写代码，它能不能直接操作一款专业视频编辑器？

我最近基于开源浏览器视频编辑器 Timeline Studio，做了一次实际尝试。
结果不是再造一个视频 Agent，也不是让 Codex 在页面上到处点按钮，而是把现有的 Skill、MCP 和剪辑命令内核连接起来，让 Timeline Studio 成为 Codex Harness 可以可靠调用的专业工具。

项目地址：[Timeline Studio](https://github.com/MartinDelophy/ai-video-editor)
MCP 实现分支：[codex/add-timeline-studio-mcp](https://github.com/MartinDelophy/ai-video-editor/tree/codex/add-timeline-studio-mcp)

## 一、为什么不能只让 AI 操作界面

Timeline Studio 是一款本地优先的浏览器视频编辑器，具有多轨时间线、字幕、配音、画中画、AI 音乐、视频修复和离线导出等能力。
最直接的 Agent 接入方式，是让 AI 打开浏览器，然后模拟用户操作：
1. 上传素材；
2. 点击时间线；
3. 拖动片段；
4. 设置属性；
5. 点击导出。

这种方式适合演示，却不适合可靠的自动剪辑。
原因很现实：
- 页面布局会随窗口尺寸变化；
- 拖拽依赖坐标和当前滚动位置；
- 弹窗、选中状态和动画会影响操作；
- 同一个动作重复执行，可能产生重复片段；
- Agent 很难在写入前准确展示修改结果；
- 自动化程序看到“导出完成”，不代表视频真的能够完整解码。

对于剪辑工程来说，“大概点对了”是不够的。
我们需要的是一种更接近数据库事务的编辑方式：
```
读取工程
→ 生成修改计划
→ 预览字段变化
→ 检查工程版本
→ 原子执行
→ 重新读取验证
→ 渲染并解码检查
```## 二、我们没有新建 Agent 仓库

最初我考虑过单独创建一个 `timeline-studio-agent` 仓库。
但梳理现有代码后发现，Timeline Studio 已经具备了构建 Agent 工具最关键的三个基础：
- `edit-timeline-studio` Skill：保存专业剪辑流程和决策规则；
- `projectCommandEngine`：通过纯状态 reducer 修改时间线；
- `timeline-command.mjs`：通过 JSON 命令读取、修改和渲染 `.timeline` 工程。

因此最终采用了 Skill-first 架构：
```
Codex Harness
    ↓
edit-timeline-studio Skill
    ├── 专业剪辑规则
    ├── 工作流与验证要求
    └── 本地 STDIO MCP Server
            ↓
    Timeline Studio CLI
            ↓
    Project Command Registry
            ↓
    .timeline 工程与本地渲染
```Skill 负责告诉 Agent“应该怎么剪”。
MCP 负责告诉 Agent“有哪些可靠工具可以调用”。
命令注册表则负责真正修改工程。
三者各自解决不同问题，MCP 不再实现一套独立的剪辑逻辑，从而避免 CLI、网页编辑器与 Agent 三套行为逐渐分叉。
## 三、MCP 暴露了哪些能力

这次实现提供了 7 个本地 MCP 工具：
```
timeline_project_inspect
timeline_track_inspect
timeline_clip_inspect
timeline_transcript_inspect
timeline_project_diff
timeline_project_apply
timeline_project_render
```它们大致可以分成三类。
### 1. 工程读取

`timeline_project_inspect` 用于读取：
- 工程修订号；
- 总时长；
- 当前画幅；
- 各轨道片段数量；
- 素材清单；
- 工程警告。

`timeline_track_inspect` 和 `timeline_clip_inspect` 可以继续读取具体轨道和片段，包括源素材映射、裁剪范围、播放速度、属性和字幕关联。
### 2. 修改预览与执行

`timeline_project_diff` 接收一个版本化操作计划，但不会写文件。
例如，只有用户明确要求修改画幅时，Agent 才会生成：
```
{
  "id": "set-ratio-001",
  "type": "project.set_ratio",
  "ratio": "9:16"
}
```这里的 `9:16` 不是系统默认值。Timeline Studio 的新工程默认仍然是 `16:9`，画幅始终由用户需求或明确的编辑计划决定。
Diff 工具会返回修改前后状态以及字段变化：
```
{
  "field": "ratioId",
  "before": "16:9",
  "after": "9:16"
}
```确认 Diff 正确后，Agent 才能调用 `timeline_project_apply`。
### 3. 本地渲染

`timeline_project_render` 将受支持的 `.timeline` 工程渲染为新 MP4，并通过 `ffprobe` 返回：
- 视频尺寸；
- 实际时长；
- 音频轨道是否存在；
- 输出容器和编码信息。

这意味着 Agent 不会仅凭“命令退出码为 0”就宣布完成。
## 四、为什么强制执行 inspect → diff → apply

Agent 最危险的行为，不是偶尔失败，而是在不了解当前状态的情况下成功写入。
因此 MCP Server 的初始化说明和 Skill 都要求遵循同一条链路：
```
inspect
→ diff
→ apply
→ inspect
→ render
```执行修改时还必须满足以下条件：
- 使用当前工程修订号；
- 每个操作拥有稳定且唯一的 ID；
- Diff 与 Apply 使用完全相同的操作列表；
- 修订号变化后，旧计划拒绝执行；
- 一个事务失败时，不保留半完成状态；
- 输入工程永远不被覆盖；
- 输出路径已经存在时拒绝写入；
- 每次生成一个新的 `.timeline` 工程。

这让视频编辑获得了一些类似数据库事务的性质：版本检查、幂等操作、原子写入和修改预览。
## 五、MCP 只是很薄的一层

本次实现使用官方 `@modelcontextprotocol/sdk` 和 Zod 定义工具输入。
MCP Server 通过 STDIO 与 Codex 通信：
```
const server = new McpServer(
  {
    name: "timeline-studio",
    version: "1.0.0",
  },
  {
    instructions:
      "Inspect a .timeline project before editing, then call diff before apply.",
  },
);
```一个读取工具的结构类似这样：
```
server.registerTool(
  "timeline_project_inspect",
  {
    title: "Inspect Timeline Studio project",
    description: "Read project revision, tracks, media and warnings.",
    inputSchema: {
      project: z.string().min(1),
    },
    annotations: {
      readOnlyHint: true,
      destructiveHint: false,
      idempotentHint: true,
      openWorldHint: false,
    },
  },
  async ({ project }) => {
    return runTimelineCommand("project.inspect", [project]);
  },
);
```真正执行时，MCP 不直接操作 ZIP，也不重新实现时间线 reducer，而是使用 Node.js `execFile` 调用现有命令层。
这样做有几个好处：
- 不经过 Shell 字符串拼接，降低命令注入风险；
- CLI 与 MCP 共用同一套校验；
- 原有命令能力升级后，MCP 可以直接获得；
- 浏览器编辑和 Agent 编辑更容易逐步收敛到同一内核。

项目级配置也非常简单：
```
[mcp_servers.timeline_studio]
command = "npm"
args = ["run", "mcp", "--silent"]
cwd = "."
startup_timeout_sec = 10
tool_timeout_sec = 300
default_tools_approval_mode = "writes"
```Codex、桌面端和 IDE 扩展都支持连接本地 STDIO MCP Server。[官方 MCP 文档](https://learn.chatgpt.com/docs/extend/mcp?surface=cli)也建议通过服务器 instructions、工具 schema 和安全注解明确工作流边界。
## 六、Skill 和 MCP 分别解决什么问题

这是此次实践中最重要的架构判断。
如果只有 MCP，Agent 虽然能够修改时间线，却不一定知道如何做好一条视频。
例如，它可能不知道：
- 应先锁定配音节奏，还是先切画面；
- 什么情况下应该保留源对白；
- 字幕是否覆盖了完整语音区间；
- 什么时候适合画中画；
- 如何避免短视频每个镜头权重都一样；
- 导出后应该验证哪些音视频边界。

这些属于 Skill。
如果只有 Skill，Agent 虽然知道专业流程，却只能依赖浏览器点击或者临时编写脚本，执行可靠性仍然不足。
这些属于 MCP 和命令层。
所以更准确的关系是：
```
Skill：领域判断
MCP：结构化工具
Command Engine：确定性执行
Harness：上下文、编排、审批与恢复
```## 七、我们如何验证这套方案

这次没有只检查“服务能不能启动”，而是完成了协议和工程写入两层验证。
首先验证 MCP 协议：
- STDIO 初始化成功；
- Codex 能读取服务器 instructions；
- 7 个工具全部被发现；
- 无效工程路径返回结构化错误。

随后创建了一个临时 `.timeline` 工程，执行：
```
project inspect
→ project diff
→ project apply
→ 重新打开输出工程
```测试中显式将临时工程从 `16:9` 修改为 `9:16`，最终确认：
- Diff 准确显示字段变化；
- 输出工程画幅为 `9:16`；
- 工程修订号从 `0` 增加到 `1`；
- 操作 ID 被正确记录；
- 输入工程没有被覆盖；
- 临时测试工程在验证后被删除。

最后还执行了：
- Skill 元数据校验；
- ESLint；
- TypeScript 类型检查；
- Vite 生产构建；
- 本地浏览器加载；
- 页面控制台错误检查。

所有验证均通过。
## 八、它还不是“全自动剪辑终点”

这套能力目前仍有明确边界。
Timeline Studio 的无头渲染已经支持基础画面、配音和音乐，但部分高级能力仍然依赖浏览器编辑器，例如：
- Color Wheels；
- 源时间速度曲线；
- 人物与物体抠像；
- 主体描边；
- 授权换脸；
- 部分视觉特效。

因此 MCP 遇到不支持的效果时，不会假装执行成功，而是返回能力缺口，由 Skill 决定是否切换到编辑器流程。
下一阶段更值得做的是：
1. 为长时间渲染增加结构化进度事件；
2. 支持真正的取消操作；
3. 扩大无头渲染与浏览器渲染的一致性；
4. 让网页编辑器本身也调用同一命令注册表；
5. 将更多本地 AI 分析能力暴露为可审计工具。

## 九、真正的噱头不是“AI 会剪视频”

“AI 会剪视频”已经不是一个足够新鲜的故事。
更值得关注的变化是：
>过去的软件是给人点击的，下一代软件还需要为 Agent 提供可理解、可预览、可审批、可验证的操作界面。

这个界面不一定是网页，也不一定是聊天框。
它可能是一组稳定的 MCP 工具、一份领域 Skill、一个带版本号的工程格式，以及一条绝不跳过验证的执行链。
Codex Harness 的价值，也不只是让模型获得更多工具。它让我们开始重新思考应用本身应该如何暴露能力。
在这个架构下，Timeline Studio 仍然是一款完整的视频编辑器；Codex 也没有接管它的业务内核。二者通过 Skill 和 MCP 形成了一个清晰边界：
- 人决定目标与审美；
- Skill 保存专业方法；
- Agent 生成操作计划；
- Diff 展示即将发生的变化；
- 命令内核执行确定性修改；
- 渲染器和媒体探针验证最终结果。

这可能才是“Agent 原生软件”真正开始落地的地方。



不是让 AI 在编辑器里“模拟点击”，而是让它理解工程、预览修改、执行剪辑，并验证输出。

当 Codex 开放 Agent Harness：我把浏览器视频编辑器变成了 AI 可安全操控的工具

人工智能

开发工具

音视频

将Codex Agent Harness与TimelineStudio视频编辑器集成，通过7个MCP工具实现工程读取、修改预览、原子执行与渲染验证。采用Skill-first架构，强制inspect→diff→apply流程确保可靠性，让AI成为可安全操控专业剪辑工具，而非模拟点击。

代码解释

TypeScript 

数据库

服务器

容器

Agent

JSON

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

当 Codex 开放 Agent Harness：我把浏览器视频编辑器变成了 AI 可安全操控的工具-腾讯云开发者社区-腾讯云

当 Codex 开放 Agent Harness：我把浏览器视频编辑器变成了 AI 可安全操控的工具

当 Codex 开放 Agent Harness：我把浏览器视频编辑器变成了 AI 可安全操控的工具

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐