![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/27e165b0d7dfe1c39580948521743dcb.png)

今天发现一个有意思的微软开源项目CodeVideoModel，这个项目用可执行程序统一组织场景结构、物体运动与相机时序,并通过阶段化调度把可检查、可编辑的预演转化为真实感视频。

说的直白一点就是利用three.js生成3d模拟视频，然后将视频+参考图+提示词，发给视频大模型替换为参考图样式的真实视频。

它的好处显而易见，利用代码模拟真实物理碰撞、直接调整短剧里面每个演员的站位与姿态、物件的大小与颜色、场景的布局。

接下去我们来逐步拆解如何使用这个开源项目

一、克隆项目

```python
https://github.com/code-video-model/CodeVideoModel
```
二、用**云端 API** 替代仓库原生的本地 checkpoint 推理

跑通 CodeVideoModel 的第三阶段——无需下载 100GB+ 权重、无需多卡 CUDA 机器，一台普通电脑即可。

支持两个后端（`--backend` 切换，默认 **RunningHub**）：

| 后端 | 说明 |
|---|---|
| `runninghub` | RunningHub 云端 ComfyUI 工作流（AI 应用）。把三件套填进你的工作流节点：参考视频/参考图/提示词/秒数/方向 |
| `minimax` | MiniMax H3 官方 V2 接口的 r2va 参考生成模式 |

```
CodeVideoModel 三阶段管线：

  文本 ──GPT-6──▶ Three.js 代码库 ──渲染──▶ 代理视频 code_video.mp4
                                              │
  文本/首帧 ──GPT-Image-2──▶ 参考图 reference.png
                                              │
              本 demo（你的云端 API）          ▼
        code_video.mp4 + reference.png + prompt.txt ──▶ 云端生成 ──▶ 成片
```

> 第一、二阶段（生成 Three.js 场景 / 参考图）依赖 OpenRouter 的 GPT-6 与
> GPT-Image-2，见仓库原 README；仓库 `examples/` 已内置 4 组现成三件套，
> 所以只接云端 API 就能立刻出片。

## 目录

```
demo/
├── runninghub_api.py  RunningHub 客户端（上传/提交/轮询/下载 + 节点映射）
├── h3_api.py          MiniMax H3 V2 API 客户端（备用后端）
├── run_demo.py        命令行入口：内置示例一键跑、自定义三件套、dry-run、双后端
├── web_demo.py        浏览器界面（纯标准库实现，后端可切换，页内播放成片）
├── mock_server.py     离线 Mock 服务（同时模拟两套 API 合同，零额度联调）
├── README.md
└── requirements.txt
```

## 1. 安装

```bash
cd CodeVideoModel
python3 -m pip install -r demo/requirements.txt   # 只需要 requests
# ffprobe（可选）：用于提交前校验视频规格，未安装则自动跳过
```

## 2. 配置 Key

```bash
# RunningHub（32 位 API Key；消费级 Key 需基础版及以上会员）
export RUNNINGHUB_API_KEY="你的RunningHubKey"
export RUNNINGHUB_APP_ID="你的AI应用ID"    # 可选，默认 2102331261380554753

可以用这个工作流-H3动作迁移速度快动作准确 
https://www.runninghub.cn/ai-detail/2102331261380554753?inviteCode=oga1ahgc

# MiniMax 后端（可选，用不到可不配）
# export MINIMAX_API_KEY="你的MiniMaxKey"
```

## 3. RunningHub 后端（默认）
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/e107b57d59ad89ae4650d4c004eadfc8.png)

### ① Dry Run（不消耗额度）

```bash
python demo/run_demo.py --example sports_car --dry-run
```

打印节点映射、比例换算与 curl 等价物，检查无误再提交。

### ② Mock 全链路联调（不消耗额度）

```bash
python demo/mock_server.py --port 8901        # 终端 A
python demo/run_demo.py --example tank_boarding \
    --api-base http://127.0.0.1:8901 --api-key mock \
    --output outputs/tank_mock.mp4            # 终端 B
```

Mock 会按真实合同走 `上传 → 提交 → QUEUED/RUNNING → SUCCESS → 下载` 全流程
（成片 = 代理视频本身，仅验证管道）。

### ③ 真实生成

```bash
# 内置示例（sports_car / tank_boarding / loft_tour / robot_navigation）
python demo/run_demo.py --example sports_car

# 自定义三件套（目录内放 code_video.mp4 / reference.png / prompt.txt）
python demo/run_demo.py --inputs-dir my_case --duration 7 --ratio 9:16

# 纯文生视频提示词（视工作流节点而定，参考视频/参考图传空）
python demo/run_demo.py --prompt "霓虹街头低角度跟拍" --ratio 16:9
```

RunningHub 专属参数：

| 参数 | 默认 | 说明 |
|---|---|---|
| `--app-id` | `2102331261380554753` | AI 应用 ID（URL 中 `run/ai-app/{appId}` 的部分） |
| `--instance-type` | `default` | 实例显存：default 24G / plus 48G / ultra 84G |
| `--use-personal-queue` | 关 | 使用个人独占队列 |
| `--rh-file-mode` | `url` | 节点文件引用方式：`url`=上传返回的下载地址 / `name`=上传返回的 fileName（两种都支持，若工作流只认文件名请切 `name`） |
| `--ratio` | `adaptive` | 自动换算为工作流选项全名，如 `9:16` → `9:16 (Portrait Widescreen)`；`adaptive` 回退 `16:9 (Widescreen)` |

### 节点映射

默认节点映射取自内置工作流（可改 `runninghub_api.py` 的 `DEFAULT_NODE_MAP`，
或构造 `RunningHubClient(node_map={...})` 覆盖）：

| 内容 | nodeId | fieldName |
|---|---|---|
| 视频秒数（`--duration`） | `259` | `value` |
| 参考视频（code_video.mp4） | `27` | `video` |
| 方向（`--ratio`） | `252` | `aspect_ratio` |
| 参考图（reference.png） | `51` | `image` |
| 提示词（prompt.txt） | `263` | `text` |

本地媒体自动走 `POST /openapi/v2/media/upload/binary` 上传（同文件自动去重），
得到引用后填入节点；公网 URL 则直接透传不上传。

## 4. 浏览器 Demo
新版本加入了RunningHub工作流支持，方便大家使用
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/aa5f84fc1cb8bdb926148e852e96a73d.png)

```bash
python demo/web_demo.py --port 8000     # 打开 http://127.0.0.1:8000
```

页面功能：**后端切换**（RunningHub / MiniMax）→ 选内置示例自动填入提示词 →
填 Key（或留空用环境变量）→ `Dry Run 校验` 或 `开始生成` → 日志实时滚动 →
页内直接播放成片。API Base 填 Mock 地址即可离线体验完整交互。

参考视频：
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/fd34d32bbe534877784c298962406abe.png)

参考图片：
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/ed8483734074b6d23f236b484b7a5889.png)
最终视频（严格按照参考视频的运镜，并保持参考图样式）：

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-6690930/3f71b2e926fa4cc76b1085710bbbd14f.png)

## 5. MiniMax H3 后端（备用）

```bash
python demo/run_demo.py --example sports_car --backend minimax
```

`content[]` 映射：代理视频→`role=reference_video`、参考图→`role=reference_image`、
提示词→`type=text`。限制：视频 2–15s / 50MB、图 30MB、请求体 64MB、
时长 4–15 整数秒、768P/2K；全球站 `https://api.minimax.io`、
国内站 `https://api.minimaxi.com`（`--api-base` 切换）。

## 6. 输入限制速查

| 项目 | RunningHub | MiniMax H3 |
|---|---|---|
| 参考视频 | 由工作流节点决定（示例工作流取前 10 秒做动作迁移） | ≤3 段，2–15s，≤50MB，H.264/H.265 |
| 参考图 | 由工作流节点决定 | ≤9 张，≤30MB |
| 结果链接 | **24 小时有效**，demo 已自动即时下载转存 | 长期 CDN，建议转存 |
| 提示词 | 工作流内定 | ≤7000 字符 |

内置示例的代理视频为 960×544、124 帧 @24fps（≈5.17s），参考图 1536×864。

## 7. 常见问题

- **401 / 缺少 Key**：设置 `RUNNINGHUB_API_KEY`（或 minimax 后端设
  `MINIMAX_API_KEY`），也可命令行 `--api-key`、页面 Key 框中提供。
- **工作流报节点参数错误**：确认 App ID 与节点映射一致；文件字段试试
  `--rh-file-mode name`。
- **任务卡 RUNNING**：ComfyUI 工作流冷启动+推理耗时较长，默认 30 分钟轮询超时，
  可用 `--timeout` 调大；`--instance-type plus/ultra` 可提速。

在这里插入图片描述 今天发现一个有意思的微软开源项目CodeVideoModel，这个项目用可执行程序统一组织场景结构、物体运动与相机时序,并通过阶段化调度把可检查、可编辑的预演转化为真实感视频。 说的直白一点就是利用three.js生成3d模拟视频，然后将视频+参考图+提示词，发给视频大模型替换为参考图样式的真实视频。 它的好处显而易见，利用代码模拟真实物理碰撞、直接调整短剧里面每个演员的站位与

实测CodeVideoModel的代码驱动视频将是未来趋势

人工智能

音视频

开发工具

CodeVideoModel是一个微软开源项目，通过Three.js生成3D模拟视频，再结合参考图和提示词，利用云端API（支持RunningHub和MiniMax）将其转换为真实感视频。无需本地GPU，普通电脑即可运行，支持自定义场景、物体运动和相机轨迹，大幅降低视频制作门槛。

Python

GitHub

CDN免费试用


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

实测CodeVideoModel的代码驱动视频将是未来趋势-腾讯云开发者社区-腾讯云

实测CodeVideoModel的代码驱动视频将是未来趋势

实测CodeVideoModel的代码驱动视频将是未来趋势

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐