OpenMontage：是视频制作的openclaw吗？

前言

OpenMontage 这个项目有点不一样。

很多 AI 视频工具的入口是一行 prompt，然后给你一段生成视频。OpenMontage 的入口也是一句话，不过它背后接的是一条完整的视频制作流水线：调研、提案、脚本、分镜、素材、剪辑、合成、自检、交付。

更有意思的是，它没有把这些步骤写成一个传统的 Python 编排器。项目文档说得很直白：AI coding assistant 本身就是编排器。Python 负责工具和持久化，真正的流程、判断、审核标准，放在 YAML manifest 和 Markdown skill 里。

这句话听起来有点绕。换个说法：OpenMontage 把 Claude Code、Cursor、Codex、Copilot、Windsurf 这类编程助手，当成一个会读剧本、会调用工具、会写检查点的视频制作助理。

本文基于 README、PROJECT_CONTEXT.md、AGENT_GUIDE.md、docs/ARCHITECTURE.md、docs/PROVIDERS.md 和安装文件整理。

它到底能做什么

OpenMontage 追求的不是一个孤立片段，它想交付一条成片。

你可以让它做一个 60 秒解释视频，也可以让它把播客切成短视频，给软件录屏做包装，把已有视频翻译配音，或者用真实素材剪一个纪录片式 montage。README 里还特别强调了一点：它可以做 image-based video，也能做真正由 motion footage 组成的视频，而不是把几张静态图加 Ken Burns 动效就叫视频。

README 给了几个示例：

•科幻预告片《SIGNAL FROM TOMORROW》：概念、脚本、分镜、Veo 动态片段、配乐和 Remotion 合成都通过 OpenMontage 完成。

•动画短片《THE LAST BANANA》：Kling v3 动态片段、Google Chirp3-HD 旁白、免版税钢琴音乐、TikTok 风格逐词字幕，总成本标注为 1.33 美元。

•历史短片《The Library at Alexandria》：70 秒历史挽歌，OpenAI ash 旁白、Pixabay 弦乐，总成本标注为 0.02 美元。

•产品广告《VOID Neural Interface》：只用 OpenAI 一个 API key，生成图片、TTS、配乐、WhisperX 字幕和 Remotion 数据可视化，总成本标注为 0.69 美元。

•两个 Ghibli 风格动画示例：用 FLUX 图片、交叉淡入淡出、镜头运动、粒子叠加和环境音乐做出动画感，总成本都标注为 0.15 美元。

原 README 中这些示例以视频形式嵌入。公众号正文不适合直接上传 GitHub attachment 视频，我在这里保留原始演示链接，方便回到仓库查看：

•https://github.com/user-attachments/assets/f77ce7a4-68b8-4f94-a287-e94bf50a32e1

•https://github.com/user-attachments/assets/8daca07f-cdf8-4bec-89c3-9dc2176363fa

•https://github.com/user-attachments/assets/e03b5d1f-1199-4093-9f31-a43aa9da2c68

•https://github.com/user-attachments/assets/8a6d2cc3-7ad2-46f5-922f-a8e3e5848d9f

•https://github.com/user-attachments/assets/3c5d7122-7198-43e2-a97d-ed27558dd324

•https://github.com/user-attachments/assets/e8dc5e32-5c70-46de-bd52-eef887719d13

从参考视频开始，不是从空白 prompt 开始

我比较喜欢 README 里这一段：OpenMontage 可以从你喜欢的视频开始。

你贴一个 YouTube Short、Reel、TikTok 或本地视频，它先分析转录、节奏、场景、关键帧和风格，然后给你 2 到 3 个变体方案。它会说清楚哪些东西沿用参考视频，比如节奏、开场钩子、结构、语气；哪些东西会换掉，比如主题、视觉处理、讲述角度、旁白方式。

这比“照着这个感觉给我做一个”要实在得多。很多生成式视频工作流的问题不是模型不能生成，而是用户需要先猜出一个完美 prompt。OpenMontage 把这一步改成参考分析和制作提案。

Backlot：制作过程不是黑箱

README 里最像产品的一块，是 Backlot living storyboard。

它是一个本地看板，生产流程跑起来后会自动更新。脚本会落到 screenplay page，场景卡片会显示素材生成状态，供应商选择、成本、审批卡点都能在板上看到。跑完之后还可以用 replay run 回放整次生产。

Backlot live board

它不只是一个漂亮面板。README 明确说，storyboard 现在是一个真实审批门。素材生成会在逐场景 contact sheet 上暂停，展示 take、prompt、单项成本和质量分，让你在渲染前批准画面。

Backlot storyboard

原 README 图：Backlot storyboard，逐场景查看素材与 takes。

脚本也会经过审批门。不是“系统建议你看看”，而是 creative gate 会停在那里等你答复。

Backlot script gate

原 README 图：Backlot script gate，脚本审批等待中。

所有本机项目会出现在 library 里。它更像一个小型片场档案馆，而不是一次性命令行输出目录。

Backlot library

原 README 图：Backlot library，本地 production 项目库。

安装方式

README 的快速开始很直接：

class="language-bash">git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

需要的基础环境是 Python 3.10+、FFmpeg、Node.js 18+，以及一个能读文件、能运行代码的 AI coding assistant。

如果没有 make，README 也给了手动路径：创建 Python venv，安装 requirements.txt，进入 remotion-composer 安装 npm 依赖，再安装 Piper TTS，复制 .env.example。

Makefile 里还有一些细节值得注意：setup 会安装 Python 依赖、安装 Remotion composer、尝试安装本地免费 TTS Piper，还会用 npx --yes hyperframes --version 预热 HyperFrames runtime。它不是只装一个 Python 包，而是在准备一套本地制作环境。

零 API key 能做什么

OpenMontage 并不要求一上来就接满云服务。

没有付费 API key 时，它仍然可以用 Piper 做离线 TTS，用 Archive.org、NASA、Wikimedia Commons 获取开放素材，用 Pexels、Unsplash、Pixabay 这类免费 key 扩展素材来源，用 Remotion 或 HyperFrames 做合成，再用 FFmpeg 编码、混音、烧字幕。

README 把免费路径分成几类：

•image-based video：Piper 读旁白，图片做视觉素材，Remotion 负责把它们动画化。

•local character animation：SVG rig、pose library、GSAP timeline 和 HyperFrames 生成本地角色动画。

•real-footage video：纪录片 montage pipeline 会从开放素材库构建可检索语料，用 CLIP 找真实镜头，再剪成完整视频。

这点很实用。很多“开源 AI 视频项目”最后都卡在供应商 API 上。OpenMontage 至少给了一个可启动的本地路径。效果是不是能和顶级商业视频模型打，这是另一回事；但你不会因为没有云视频 key 就完全动不了。

多条 pipeline，不是一个万能按钮

README 里列了 12 条 production pipeline，包括 animated explainer、animation、avatar spokesperson、cinematic、clip factory、documentary montage、hybrid、localization and dub、podcast repurpose、screen demo、talking head 等。

所有 pipeline 都遵循类似结构：

class="language-text">research -> proposal -> script -> scene_plan -> assets -> edit -> compose

每个阶段都有对应的 director skill。Agent 在进入某个阶段前，要先读这个 Markdown skill，弄清楚这一阶段怎么做、用什么工具、交付什么 artifact、有哪些 review criteria。

这也是项目的架构取向：复杂度没有藏在一个大 orchestrator 里，而是拆成 manifest、skill、schema、tool 和 checkpoint。

Agent-first 架构

PROJECT_CONTEXT.md 和 AGENT_GUIDE.md 反复强调同一件事：OpenMontage 是 instruction-driven，也就是指令驱动。

Python 不负责做创意判断，也不负责决定下一步。Python 提供工具、schema、checkpoint、成本追踪和配置加载。真正的“怎么做视频”，写在这些地方：

•pipeline_defs/：YAML pipeline manifest，定义阶段、工具、审核点。

•skills/：OpenMontage 自己的 Markdown skill，告诉 Agent 每个阶段该怎么做。

•.agents/skills/：更底层的外部技术 skill，比如 FFmpeg、HyperFrames、GSAP 等。

•schemas/：artifact、checkpoint、pipeline、style、tool 的 JSON Schema。

•styles/：视觉风格 playbook。

•tools/：Python 工具实现，继承 tools/base_tool.py 的工具契约。

•remotion-composer/：React/Remotion 视频合成引擎。

项目文档把知识分成三层：

•第一层是 tools/ 和 pipeline_defs/，告诉 Agent “有什么”。

•第二层是 skills/，告诉 Agent “在 OpenMontage 里怎么用”。

•第三层是 .agents/skills/，告诉 Agent “这些外部技术本身怎么工作”。

这个分层很 Codex，也很“新一代 agent 工程”。它承认 LLM 是会读说明并做选择的运行时，而不是把 LLM 当一个只负责生成 JSON 的插件。

工具和供应商

README 说项目有 52 个 production tools，docs/ARCHITECTURE.md 的快照写的是 57+ Python tools。这个数字不完全一致，说明文档在快速演进。按功能看，工具覆盖了视频生成、图像生成、TTS、音乐、音效、字幕、分析、增强、avatar、lip sync、合成、剪辑和发布相关能力。

视频生成供应商里有 Kling、Runway Gen-4、Google Veo 3、Grok Imagine Video、Higgsfield、MiniMax、HeyGen，以及本地 GPU 路线 WAN 2.1、Hunyuan、CogVideo、LTX-Video。它还把 Pexels、Pixabay、Wikimedia Commons 当作 stock footage 来源。

图像方向有 FLUX、Google Imagen、Grok Imagine Image、GPT Image 2、Recraft、Local Diffusion，以及 Pexels、Pixabay、Unsplash、ManimCE。

TTS 方向有 ElevenLabs、Google TTS、OpenAI TTS、Piper。音乐和音效有 Suno、ElevenLabs Music、ElevenLabs SFX。

合成层主要是 Remotion、HyperFrames 和 FFmpeg。Remotion 更适合 React 场景、数据卡片、字幕、图表和常见视频组件。HyperFrames 更适合 HTML/CSS/GSAP 的动态视觉，比如 kinetic typography、产品宣传片、网站转视频、SVG 角色 rig。

供应商选择不是硬编码。OpenMontage 有一个 scored provider selector，会按任务匹配、输出质量、控制能力、可靠性、成本效率、延迟、连续性 7 个维度评分。赢的工具会写入 decision trail，备选项也会记录。

这听起来有点重，但做视频确实需要重。因为视频生产里最贵的错误，往往发生在你已经生成素材、合成、渲染之后。

质量门和预算控制

OpenMontage 比较像工程项目的一点，是它把视频制作也做成了带 gate 的流程。

README 提到的质量门包括：

•proposal、script、scene plan、generated assets、publish 都会暂停等待人确认。

•pre-compose validation 会在渲染前检查交付承诺，比如用户要求 motion-led video，却有 80% 静态图，就会阻断。

•post-render self-review 会跑 ffprobe，抽取 4 个时间点的帧，检查黑屏、坏 overlay、音频静音或爆音、字幕是否存在。

•slideshow risk scoring 会从重复、弱运动、镜头意图、字体依赖等维度识别“看起来像动画 PPT”的输出。

•source media inspection 会先探测用户提供素材的分辨率、编码、音频轨、时长，再开始做创意规划。

预算也不是最后算账。它有 estimate、reserve、reconcile 三步，支持 observe、warn、cap 模式；默认单动作超过 0.50 美元会暂停确认，总预算默认 10 美元。

我觉得这块比“支持多少模型”更重要。视频生成最容易变成黑洞：一次试错几毛钱到几美元，跑几轮就不知不觉花多了。OpenMontage 把预算写进流程，至少让 Agent 不能装作没花钱。

生产流程长什么样

一条典型视频会这样走：

1用户给主题、参考视频或本地素材。

2Agent 判断应该走哪条 pipeline。

3Agent 读取 pipeline manifest，确认阶段、工具和质量门。

4研究阶段收集信息和参考。

5提案阶段给出路线、成本和预计效果。

6脚本和分镜阶段生成可审阅 artifact。

7素材阶段生成或检索图像、视频、旁白、音乐。

8剪辑和合成阶段使用 Remotion、HyperFrames 或 FFmpeg。

9渲染后自检，不通过就修。

10通过后交付 final video 和日志。

和普通 AI 视频工具的区别

普通 AI 视频工具通常强调模型能力：能生成几秒、画质多高、人物一致性如何。OpenMontage 更像是把“制作管理”搬进 Agent 工作流。

它当然也接视频模型，但重点放在制作链路上：

•先想清楚要做哪类视频。

•再决定用真实素材、AI 动态视频、静态图动画，还是混合路径。

•每一步写 artifact。

•每个重要节点让人确认。

•每个供应商选择有评分和日志。

•最后用技术检查挡住明显失败的成片。

如果你只想快速生成 5 秒镜头，OpenMontage 可能太重。直接用单一视频模型更快。

如果你想做的是一条完整内容，比如解释视频、产品演示、纪录片式 montage、播客切片、字幕配音、本地素材二创，那它的重就有价值。视频不是一个 API 调用能结束的东西。

适合谁用

OpenMontage 适合三类人。

第一类是已经在用 Claude Code、Cursor、Codex 这类工具的人。它不是给纯小白点按钮用的，而是给能接受“打开项目，让 Agent 读文件并运行工具”的用户。

第二类是想把视频流程产品化的内容团队。特别是需要提案、脚本、分镜、素材审批、预算和质量检查的团队。哪怕最后不全自动，至少流程有地方落。

第三类是对开源视频制作栈感兴趣的开发者。这个仓库把 Remotion、HyperFrames、FFmpeg、本地 TTS、开放素材库、云视频模型、字幕和审核流程放在一个框架里，很适合研究 agentic media pipeline。

不太适合的人也明确：如果你只想要一个网页端 SaaS，或者只想点一下生成短视频，它现在的使用门槛会偏高。它更像工作台，不是遥控器。

工程原则观察

KISS 上，OpenMontage 不是简单系统。它的简单性不在“组件少”，而在责任边界清楚：Agent 做判断，YAML/Markdown 写规则，Python 做工具和状态。这个分工比把所有逻辑塞进一个巨型 orchestrator 更容易审阅。

YAGNI 上，它保留了免费路径和可选云供应商。你没有 API key 也能跑一部分；你要更高质量，再接 fal.ai、Runway、OpenAI、Google、ElevenLabs、Suno 等。没有把所有用户都推到最贵配置。

SOLID 上，它的 tool contract、pipeline manifest、stage director skill、artifact schema 分得比较细。新增工具和新增 pipeline 都有明确入口。README 的贡献指南也沿着这个方向写：加工具就放到 tools/，继承 BaseTool；加 pipeline 就写 YAML manifest 和对应 director skills。

DRY 上，它把重复知识从 Agent 临场发挥里抽出来，放进 skill、playbook 和 schema。Agent 每次做视频时不需要重新发明“脚本阶段怎么审”“字幕怎么验”“预算怎么控”，而是读同一套规则。

风险也在同一个地方：如果 skill 写得乱，Agent 会照着乱规则执行；如果 schema 和 README 不同步，读者会被不同数字迷惑。这个项目的能力面很大，文档维护会是长期成本。

我对这个项目的判断

OpenMontage 最值得看的地方，不是它接了多少模型，而是它把 AI 视频制作拆成了可读、可审、可暂停的工程流程。

这听起来没有“输入一句话生成大片”那么爽，但更接近真实生产。视频不是一次生成，视频是很多决定叠在一起：讲什么、怎么讲、用什么镜头、谁来配音、音乐是什么、字幕怎么出现、平台比例是多少、预算能不能接受、最后有没有黑屏。

OpenMontage 把这些决定写成 Agent 能执行的流程。你仍然需要判断和审美，甚至还要忍受本地环境配置。但它给了一个很清楚的方向：未来的视频生产工具，可能不只是模型界面，而是一间由 Agent 驱动的小型制作室。

README 末尾还放了 Star History 图，源地址是 https://api.star-history.com/image?repos=calesthio/OpenMontage&type=date&legend=top-left。当前该接口返回限流文本，所以本文没有把错误响应伪装成图片。

声明

本文由山行整理自：calesthio/OpenMontage GitHub 仓库[1]，如果对您有帮助，请帮忙点赞、关注、收藏，谢谢～

参考链接

[1] calesthio/OpenMontage GitHub 仓库: https://github.com/calesthio/OpenMontage