

>从「让 ima 自己生成的一段分镜剧本」，到「一支 30 秒的治愈系微奇幻短片」，中间到底发生了什么？
这篇文章把整个过程、用到的每一件「武器」、以及踩过的坑都记下来，算是给自己的一份技术流水账，也算是一篇 AI 视频生产的入门笔记。
![image.png](https://developer.qcloudimg.com/http-save/yehe-12415874/25a27de541a2c4cf9aec9360ab603848.png)

生成视频成果链接：[超链接](http://url.com) https://stvideo-1356745740.cos.ap-chengdu.myqcloud.com/cloud_mender_final_with_bgm.mp4

----
## 一、缘起：让 ima 自己写剧本

这个项目的起点，不是我亲手写的剧本，而是**让 ima 知识库自己生成的**。
我在 ima 的「知识库」任务里新建了一条，只给了一句非常「放权」的提示词：
>要帮我写一个 AI 视频分镜脚本，人物、主体、风格、内容全由你来设定

然后选择了**免费的 hy3 深度思考模式**——不限定主角长什么样、不规定故事讲什么，把创作权完全交给模型。等它想清楚、写完，我就得到了一份完整的分镜脚本，最终长成了这支叫 **《云朵修补匠》(The Cloud Mender)** 的短片：
- 主角：8 岁小男孩「阿屿」+ 一只发条机械小鸟「啾啾」

- 风格：莫兰迪低饱和 + 微缩模型质感 + 柔光电影感（治愈系微奇幻）

- 结构：一共 **8 个镜头**，每个镜头自带景别、运镜、画面、声音设计，以及一句 AI 生视频提示词参考

顺带一提，这只是其中一种玩法。你完全也可以**让我（WorkBuddy）直接帮你写分镜脚本**，或者给 ima 一些关键词 / 方向去引导它创作——是放权让它自由发挥，还是给点线索收着写，取决于你想要多强的「作者感」。
说白了，拿到手的脚本已经写得很「AI-ready」了，缺的只是把它变成真正能看的画面。


----
## 二、我的「武器库」：这次用到了哪些技能 / 工具

整个过程不是靠某一个神器一步到位，而是几件工具串成一条流水线。按出场顺序：

| | | |
|:-:|:-:|:-:|
|技能 / 工具|角色|用来干嘛|
|**ima 知识库连接器** (`ima-mcp`)|数据源|从我的个人知识库「剧本」里把脚本原文读出来|
|**VideoGen（文生视频）**|主力生成器|并行生成 8 段 1080P 分镜视频|
|**imageio-ffmpeg / ffmpeg**|剪辑拼接|把 8 段视频归一化、拼接、加淡入淡出，并混流背景音乐|
|**numpy**|音频合成|程序化生成治愈系背景音乐（`cloud_mender_bgm.wav`）|
>小知识：**本机并没有安装 ffmpeg**。我通过一个 Python 包 `imageio-ffmpeg` 拉到了一个**静态 ffmpeg 二进制**，放在 WorkBuddy 的隔离 Python 环境里（`/Users/moyudegao/.workbuddy/binaries/python/envs/default`），既没污染系统，也不依赖 brew。


----
## 三、生成流程 Step by Step

### Step 1：从 ima 知识库把剧本「搬」出来

通过 ima 连接器三步取数：
1. `get_knowledge_base_list` → 找到个人知识库「剧本」(`id: 7488871071761567`)

1. `get_knowledge_list` → 定位到那条分镜脚本会话

1. `fetch_media_content` → 拉回完整脚本文本

脚本里有 8 个镜头，我整理成这样一张分镜表（也是后面生成和拼接的「施工图纸」）：

| | | | | |
|:-:|:-:|:-:|:-:|:-:|
|镜头|景别|运镜|时长|画面要点|
|01|大远景|缓慢拉升|4s|晨曦城市上空浮空岛工坊，阿屿晾白云|
|02|中景|推镜+微晃|3s|深灰乌云裂开漏蓝闪电，城市昏暗|
|03|特写|固定|3s|阿屿戴铜框护目镜，发条鸟点亮灯泡|
|04|全景|跟拍/侧移|4s|阿屿踩发光木飞板俯冲向乌云，啾啾引路|
|05|近景|环绕|5s|阿屿用发光银针缝云，裂口开小花|
|06|远景|拉远|5s|修补完整变绵羊云，月光洒城市窗灯|
|07|特写|缓慢前推|3s|阿屿坐飞板回头笑，发条鸟落肩，满月|
|08|空镜|渐隐|3s|工坊烟囱冒星星烟，淡出标题《云朵修补匠》|
### Step 2：提示词工程 —— 让 8 段「像同一个片子的」

脚本自带的提示词偏「单镜画面」。如果直接拿去生成，8 段会出现**角色长相跳变、画风不统一**的灾难。所以我给每个镜头**统一追加两组锁定词**：
- **风格锁定词**（保证画风一致）：>`morandi color palette, miniature model style, cinematic soft lighting, unreal engine 5 render, healing fantasy, smooth slow camera movement`

- **角色锁定词**（保证阿屿和啾啾不认错人）：>`consistent character: an 8-year-old boy named Ah-Yu with brass round goggles, canvas work overalls, black hair; a tiny brass wind-up mechanical bird companion`

同时把脚本里的运镜要求（缓慢拉升 / 推镜+微晃 / 环绕 / 拉远…）写进 prompt，并加 `negative_prompt` 抑制变形、水印、文字：
>`deformed, extra limbs, blurry, low quality, watermark, text overlay, harsh photorealistic, jpeg artifacts`

### Step 3：VideoGen 并行生成 8 段分镜

用 **VideoGen（文生视频）** 工具，8 个镜头在**同一条消息里并行发起**（这是缩短等待的关键，每镜生成约 1–3 分钟）。
统一参数：
```

```产物落到 `cloud_mender/video/`，实测 8 段总时长 **30.32s**。
### Step 4：ffmpeg 拼接成片

拼接脚本 `concat.py` 的核心逻辑（已归一化，避免分辨率/帧率不一致导致拼接失败）：
```

```最后编码输出：
```

```>ffmpeg 二进制来自 `imageio_ffmpeg.get_ffmpeg_exe()`，无需本机预装。

### Step 5：加背景音乐（合成 + ffmpeg 混流）

成片是纯画面，没有声音。脚本里本来就有声音设计，于是我用 **numpy 程序化合成**了一段约 31 秒的治愈系轻音乐，再用 **ffmpeg 混流**进去：
1. **合成 BGM**：用 numpy 直接算波形——Cmaj7 → Am7 → Fmaj7 → G6 四个柔和和弦做 pad（慢起慢落包络），叠稀疏的五声音阶「铃铛」点缀（C5 / E5 / G5 / A5…），加一层极低音量的低频空气噪声；再用几个延迟抽头伪造空间混响，左右声道做轻微 Haas 错位拉宽，整体软削波后归一化到峰值 0.85，头尾各做 2s / 3s 淡入淡出。导出 `cloud_mender_bgm.wav`。

1. **ffmpeg 混流**：把音轨音量压到 `0.4` 当背景乐，视频轨直接 `-c:v copy` 不重编码，音轨编码为 AAC：

```

```产物：`cloud_mender_final_with_bgm.mp4`，时长 30.00s，画面 H.264 / 1080p 不变，新增一路 AAC 44100Hz 立体声音轨。
### Step 6：校验 + 交付

用 ffmpeg 读回成片确认流信息：
```

```最终交付：
- 🎬 `cloud_mender_final.mp4` — 终剪版（无声），**30.00 秒 / 1920×1080 / 9.4MB**

- 🎵 `cloud_mender_final_with_bgm.mp4` — 同上成片，**已叠加背景音乐**（AAC 44100Hz 立体声）

- 🎞️ `cloud_mender/video/shot_01~08.mp4` — 8 段独立分镜，可单独取用或替换重剪

- 🎼 `cloud_mender_bgm.wav` / `make_bgm.py` — 合成的背景音乐与生成脚本

- 📋 `storyboard_plan.md` / `concat.py` — 方案与拼接脚本


----
## 四、整条流水线的样子

```

```一句话总结：**ima 剧本 → 风格/角色锁定词提示词 → 8 段并行文生视频 → ffmpeg 归一化拼接 → numpy 合成 BGM + ffmpeg 混流 → 30 秒带乐成片。**


----
## 五、踩坑 & 经验

1. **角色一致性是 AI 视频最大的坑。** 不加 `consistent character` 锁定词，8 段里阿屿能长出三四种脸。把角色描述钉死在每段 prompt 里，是性价比最高的「统一感」手段。

1. **本机没 ffmpeg 别慌。** `imageio-ffmpeg` 一个 pip 包就能拿到静态二进制，且完全隔离在 WorkBuddy 的 Python 环境里，不碰系统。

1. **拼接前务必归一化。** 不同片段分辨率/帧率/SAR 不一致会直接让 `concat` 失败。`scale + pad + setsar + fps + format=yuv420p` 一整套打底最稳。

1. **并行生成省时间。** 8 段一次性发起，比排队生成快得多。


----
## 六、成品 & 还能怎么玩

目前已有一支完整的 **带背景音乐的 30 秒成片**（`cloud_mender_final_with_bgm.mp4`）。配乐已用 numpy + ffmpeg 完成，脚本里每段还写好了声音设计，所以顺手还能做的后续增强有：
- 🔊 配乐已加（numpy 合成 + ffmpeg 混流）；还可再加旁白 / 配音

- 🎞️ 镜头间加 0.3s 交叉淡化，更电影感

- 🏷️ 末尾叠《云朵修补匠》标题字幕卡- 🔁 不满意某一镜，单独重生成那一段再拼回去


----
**写在最后**：把一句「帮我把知识库里的剧本生成视频」变成可看的成片，本质上就是「取数 → 提示词工程 → 多镜头并行生成 → 工程化拼接」四步。真正拉开差距的，往往不是某个炫酷的模型，而是**把不一致的东西（角色、画风、分辨率）用工程手段钉死**的那点耐心。共勉。


----

从「让 ima 自己生成的一段分镜剧本」，到「一支 30 秒的治愈系微奇幻短片」，中间到底发生了什么？这篇文章把整个过程、用到的每一件「武器」、以及踩过的坑都记下来，算是给自己的一份技术流水账，也算是一篇 AI 视频生产的入门笔记。

用 AI 把知识库里的剧本变成一支分镜短片 ——《云朵修补匠》生成全记录

人工智能

职业发展

开发工具

探索AI视频制作全流程：从AI生成剧本到30秒治愈短片《云朵修补匠》的完整实现。详解使用ima知识库生成分镜脚本、VideoGen并行生成8段视频、ffmpeg拼接及numpy合成背景音乐的技术方案，分享角色一致性控制、多工具协同等实战经验，提供AI视频生产的高效工作流参考。

2026上云采购 | AI焕新·智启新局

workbuddy

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

用 AI 把知识库里的剧本变成一支分镜短片 ——《云朵修补匠》生成全记录-腾讯云开发者社区-腾讯云

用 AI 把知识库里的剧本变成一支分镜短片 ——《云朵修补匠》生成全记录

用 AI 把知识库里的剧本变成一支分镜短片 ——《云朵修补匠》生成全记录

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐