
> 起因很简单：一直想做点网课分享，把脑子里那些零散的知识点，做成一支支短小精悍的视频发出去。没有录课条件，也没有视频剪辑功底，唯一确定能拿出来的素材，是几张讲解用的图片和一份文稿。一开始我在云平台上领了免费额度,寻思够用了,结果没几下就烧光了——生成几张图、几段视频,额度哗哗地没。我不想充钱,又确实想做这事,那就只剩下一条路:能自己算的,全都自己算。

## 一、想做的事

先说清楚输入和输出。

**输入**：

- 一份纯文本文稿，比如：

```
从扫地机器人到工厂里的机械臂，机器人早已不再是科幻电影的专属。但到底什么是机器人？
简单来说，它是一种能感知环境、进行思考决策，并执行动作的智能设备。传感器是它的眼睛和耳朵，
算法是它的“大脑”，而电机与机械结构，则是它的手脚。
无论形态如何改变，“感知、决策、执行”就是机器人的核心逻辑。关注我，带你轻松看懂机器人世界！
```

- 三张 1376×768 的图片，分别对应文稿的三个段落。

**输出**：一支 45 秒、1080p 的 MP4 微课，包含标题卡、配音、字幕、转场、概念标签和背景音效。

中间不录真人、不剪素材、不碰专业剪辑软件。图片是我给的，配音是 TTS 合成的，画面运动是 ffmpeg 滤镜算出来的，字幕是程序按时间轴烧进去的——整个流程一条命令跑完。

这篇文章记录的就是这条流水线从无到有、从"能出片"到"出片能看"的过程，重点写我踩过的坑和最后定下来的做法。

## 二、整体方案

流水线大致分成五个环节：

![image.png](https://developer.qcloudimg.com/http-save/yehe-11770632/b6390f670596c67fc28c29a2c06ae051.png)

1. **解析**：把文稿按段落拆成知识点，每段对应一张图片。
2. **配音**：调用腾讯云 TTS，把每段文字合成音频，同时拿到逐字时间轴。
3. **字幕加工**：把 TTS 返回的逐字时间轴合并成整句，转成 ASS 格式，术语关键词着色。
4. **镜头渲染**：每张图片做缓动推近（Ken Burns），转场用交叉溶解拼接。
5. **合成**：烧录字幕、叠加概念标签、混入音效，最后按 CRF18 编码输出。

选型上有个原则：**能本地算的绝不上云**。图片动效、转场、字幕、音效都是 ffmpeg 滤镜的事，只有配音这一环必须用 TTS，因为它要"念出来"。这样整条流水线跑一次几乎零成本，重跑多少次都不心疼。

### 用到的腾讯云 AI Skill

这套流水线背后其实接了好几个腾讯云 AI Skill，这里把"真实调用"和"占位/降级"说清楚，免得大家以为成片全靠云能力：（我感觉算力还是有点贵的）

| Skill slug | 用途 | 本文方案里的状态 |
|------------|------|------------------|
| `tencentcloud-tts` | 语音合成，返回音频 + 逐字时间轴 | ✅ **真实调用**，配音和字幕时间轴都靠它 |
| `hy-3d-generation`（混元生3D） | 按提示词生成 3D 模型截图 | 适配器已写好，但本文用图片直通，没走它 |
| `tencentcloud-video-effects` | 片头/转场特效 | 适配器已写好，本文用 ffmpeg 本地动效替代 |
| `tencentcloud-yt-segment-portrait` | 人像分割（BDA） | 适配器已写好，v2 踩过 alpha 全 0 的坑，已回退椭圆掩膜 |
| `tencentcloud-image-face-fusion` | 人脸融合 | 预留适配器，本文未用到 |
| `vclm` 图生视频 | 让图片真正动起来 | 独立 demo 里有真实调用，额度不足自动降级 Ken Burns |

简单说：**真正跑这版 45 秒成片时，只有 TTS 一个 Skill 是必须的**，其余都是"有真实代码但没用上"或"额度不足时自动降级"的状态。密钥通过环境变量注入，安全第一。

这套"云能力兜底 + 本地实现优先"的搭配是我比较满意的：云上的事交给云（配音这种必须"念出来"的），本地能算的绝不多花一次调用。

## 三、版本演进：不是一次写出来的

这套脚本前后改了三版，每一版解决一批问题。

### v1：先把流程跑通

第一版的目标只有一个：**让整条链路能出片**。图片直接用 ffmpeg 的 zoompan 做缓慢推近，配音 + SRT 字幕硬切拼接，全程用固定码率 8Mbps 编码。跑出来的成片 112 秒，能看，但问题成堆——画面大部分时间是深蓝色占位背景，片头标题是空白的，声音小到几乎听不见。

### v2：解决"画面空白、没有声音"

第一版成片我自己先过了一遍，发现前面的画面很奇怪，什么都没有，也没有声音。查下来的根因有三个：

1. 代码里标题和字幕用的 DejaVuSans **不支持中文**，渲染出来全是空白；
2. TTS 返回的音频实测 mean 音量只有 -32dB，几乎静音；
3. 人像分割的 alpha 通道全为 0，有一段画面整段是纯色。

逐个修掉：字体换成系统中文字体、重采样时加音量增益、分割结果加有效性校验。重新合成后音频 max 音量恢复到 -0.3dB，画面内容也回来了。这一版开始能正经看。

### v3：从"能看"到"有制作感"

v2 能看，但一眼就是 PPT 录屏的质感：整句字幕平铺、镜头匀速直推、段落之间硬切。v3 做的事情，是把这些细节全部换掉：

| 升级点 | 做法 |
|--------|------|
| 镜头 | 线性推近 → ease-in-out 缓动，起幅落幅更自然 |
| 转场 | 硬切 → 0.5s 交叉溶解（xfade） |
| 字幕 | 平铺白字 → ASS 关键词高亮，术语变黄 |
| 讲解 | 加概念标签，讲到"传感器"就弹出"传感器=眼睛" |
| 音效 | 本地合成 whoosh（转场）和强调音，混进配音 |
| 编码 | 固定 8Mbps → CRF18 恒定质量 |

这一版跑出来的成片 45.1 秒，1080p，效果对比后文有图。

## 四、踩坑实录

写代码的过程其实没那么多戏剧性，真正耗时间的是后面这几个坑。每个都花了我大半个晚上，写出来供后来的人少走弯路。

### 坑 1：中文字体渲染成空白

第一版出片后，标题、字幕全是空白，只有背景图。排查发现渲染用的字体是 DejaVuSans——这个字体**根本不支持中文字形**，drawtext 遇到中文直接什么都不画。系统里其实装了 Noto CJK，但它是个 .ttc 合集，里面塞了日、韩、繁、简多个字面，直接用 fontconfig 匹配，大概率落到日文或韩文字面上，字形看起来"怪怪的"。

我的做法是用 fontTools 把简体（SC）字面单独抽出来存成 .ttf，之后 drawtext 和 libass 字幕统一用这一个字体：

```python
from fontTools.ttLib import TTCollection

def ensure_sc_font() -> str:
    if os.path.exists(_SC_FONT):
        return _SC_FONT
    ttc = TTCollection("/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc")
    sc = None
    for i, f in enumerate(ttc.fonts):
        name = f["name"].getDebugName(4) or ""
        if "SC" in name and "Mono" not in name:
            sc = (i, f)
            break
    if sc is None:
        raise RuntimeError("未在 Noto CJK ttc 中找到简体(SC)字面")
    sc[1].save(_SC_FONT)   # 抽出 face=2 的简体字面
    return _SC_FONT
```

字幕那边除了指定字体文件，还要在 ASS 的 Style 里写 `Fontname: Noto Sans CJK SC`，libass 才能用对字面。

### 坑 2：字幕一个字一个字蹦出来

TTS 返回的"逐字时间轴"长这样：

```
00:00:00,250 --> 00:00:00,613
从
00:00:00,613 --> 00:00:00,946
扫
```

每个字一条字幕，烧进视频就成了"蹦字机"。处理办法是按句末标点（。！？；）把相邻的字合并成整句，起点取第一个字的开始时间，终点取句末标点的结束时间：

```python
_SENT_END = "。！？!?；;"

def merge_to_sentences(entries):
    merged, buf, start = [], "", None
    for s, e, t in entries:
        if start is None:
            start = s
        buf += t
        if t and t[-1] in _SENT_END:
            merged.append((start, e, buf))
            buf, start = "", None
    return merged
```

### 坑 3：画面抖动，看着头晕

图片动效最初用 zoompan 在 1920×1080 上直接做推拉，成品看起来总在"抖"。原因有两个：一是低分辨率下缩放有亚像素抖动，二是镜头加了焦点游走（画面从中心移向某处），平移和缩放叠加在一起，抖动更明显。

修法分两步。第一步，先把图放大到 4K（3840×2160）再 zoompan，缩小缩放范围（1.0→1.15 左右），亚像素误差肉眼不可见；第二步，干脆砍掉焦点游走，所有镜头只做中心推近——一开始觉得"游走"更有电影感，实际观感是"飘"，不如老老实实推近。

缓动部分用余弦函数做 ease-in-out，起幅慢、中间快、落幅慢，比匀速推近自然得多：

```python
E = f"0.5-0.5*cos(PI*on/{frames})"
z = f"1.0+0.18*({E})"   # 缩放从 1.0 缓动到 1.18
```

### 坑 4：声音先出，字幕后到

v3 合成完，自己反复看的时候总觉得声音和字幕对不上——声音先出，字幕才出来。一量：语音起点 2.06s，字幕 2.5s 才出现，差了 0.44 秒。

根子在于时间轴没对齐：字幕原本烧录在**每个镜头内部**（时间从 0 开始），配音却是按**全局时间**延迟混音的，两套坐标系。修法是把字幕、概念标签、大字卡全部挪到**拼接完成之后**，用全局时间轴统一烧录——字幕时间 = 镜头起点 + 配音内时间，和 adelay 后的配音天然对齐。

顺带还修了个隐蔽 bug：ASS 时间戳写作时用了毫秒，合并时却按厘秒解析（×10），导致时间整体偏了 2.25s。统一成标准 ASS 的厘秒格式（`H:MM:SS.cc`，cc 两位）才解决：

```python
def _ts_ass(ms: int) -> str:
    h, ms = divmod(ms, 3600_000)
    m, ms = divmod(ms, 60_000)
    s, ms = divmod(ms, 1000)
    return f"{h}:{m:02d}:{s:02d}.{ms // 10:02d}"   # 毫秒转厘秒，两位
```

### 坑 5：TTS 音量低到听不见

腾讯云 TTS 返回的音频实测 mean 音量 -32dB，混进成片基本是"默片"。重采样时顺手加增益，一次解决：

```python
run(["-i", src, "-ar", "44100", "-af", "volume=5.0",
     "-c:a", "libmp3lame", "-b:a", "128k", out])
```

修完后成片 max 音量 -0.3dB，属于正常的播报水平。

## 五、几个"有制作感"的实现细节

坑都填平了，再补几个让成片不廉价的细节。这些都不花一分钱额度，全是 ffmpeg 和文本处理。

### 转场：交叉溶解替代硬切

段落之间用 xfade 做 0.5 秒的交叉溶解。注意 xfade 的 offset 是"第一个输入里的转场起点"，多个片段要链式拼接，offset 逐段累加（减去已重叠的转场时长）：

```python
fc, prev = [], "[0:v]"
for i, off in enumerate(offsets):          # offsets = [2.0, 13.03, 31.01, 42.64]
    tag = f"[v{i+1}]"
    fc.append(f"{prev}[{i+1}:v]xfade=transition=fade:duration=0.5:offset={off}{tag}")
    prev = tag
```

### 关键词高亮：SRT 升级成 ASS

SRT 不支持局部变色，ASS 可以。用 `{\1c&H0000FFFF&}` 这样的行内标签把术语包起来，讲"传感器"时字幕里"传感器"三个字就是黄色的。注意长词优先替换，避免"机器人"和"扫地机器人"互相吞：

```python
def _hl(text: str) -> str:
    for kw in sorted(keywords, key=len, reverse=True):
        text = text.replace(kw, f"{{\\1c&H0000FFFF&}}{kw}{{\\1c&H00FFFFFF&}}")
    return text
```

### 概念标签：随讲解弹出

讲到"传感器是它的眼睛"，画面左上角就弹出"传感器 = 眼睛"的金色小标签。实现上就是 drawtext 配 alpha 淡入淡出，enable 时间窗对齐讲解句：

```python
f"drawtext=fontfile='{font}':text='传感器 = 眼睛':fontcolor=0xFFD700:"
f"fontsize=54:box=1:boxcolor=0xAA000000:boxborderw=16:x=w*0.06:y=h*0.26:"
f"alpha='{_fade_alpha(t0, t1)}'"   # t0/t1 = 该句在全局时间轴的起止
```

### 音效：本地合成，不买素材库

转场的 whoosh 用白噪声 + 低通 + 淡入淡出合成，强调音用 880Hz 正弦短音。然后按时间点 adelay 进配音轨道混音：

```python
run(["-f", "lavfi", "-i", "anoisesrc=color=white:duration=0.5:amplitude=0.6",
     "-af", "lowpass=f=1400,afade=t=in:st=0:d=0.22,afade=t=out:st=0.28:d=0.22,volume=0.45",
     "-ar", "44100", whoosh])
```

### 编码：CRF 替代固定码率

固定 8Mbps 的问题是静态画面浪费码率、动态画面又不够。改用 `-crf 18` 恒定质量，ffmpeg 按内容自动分配码率，观感更稳，文件还小了一半。

## 六、验证：不靠"感觉"，靠抽帧和量音量

"看起来还行"不算数，我给自己定了几条可量化的验证手段：

- **画面内容**：抽关键时间点的帧，统计颜色数/白色像素，确认字幕、标签、文字都渲染出来了；
- **平滑度**：连续帧做差分，均匀度小于 0.5 说明没有跳变抖动；
- **音画同步**：用音量包络找语音起点，再抽帧找字幕出现时间，两者误差应在 ±0.1s 内；
- **规格**：ffprobe 校验分辨率、帧率、编码、时长。

每改一版都跑一遍这四个检查，比肉眼反复看片高效得多。

## 七、最终效果

下面这张图是从成片里按时间点抽出来的关键帧拼成的：标题卡、引子、核心段的"传感器=眼睛"概念标签、总结段的大字卡，以及片尾。

![effect_grid.png](https://developer.qcloudimg.com/http-save/yehe-11770632/f624f12b581f3d703afbf7fd340f935a.png)
最终规格：

| 项 | 值 |
|----|----|
| 时长 | 45.1s |
| 分辨率 | 1920×1080 / 25fps |
| 编码 | H.264 / CRF18 |
| 音频 | AAC / 44100Hz |
| 体积 | 约 20MB |
| 音画同步 | 字幕与配音误差 ≤0.1s |

## 八、总结

回头看，这套东西的本质，是把"剪辑"这件事拆成了**可编程的步骤**：画面运动是滤镜参数，字幕是文本处理，转场是时间轴计算，音效是信号合成。全部都是确定性操作，不需要人盯着，也不需要调参的手感，一条命令就能重跑。

对我个人而言，最有价值的不只是最终成片，而是那几个坑——中文字体、逐字时间轴、亚像素抖动、双时间轴对齐。这些坑每个单独看都是小问题，但合在一起，才是"程序生成的视频看起来廉价"的真正原因。把细节做到位，输出质量就能跨过"能看"到"能发"的那条线。

给同样想做的同学两个建议：

1. **先跑通，再优化**。v1 那个满是空白的成片，价值在于它证明了链路是通的，后面所有改进都是在这个骨架上做的；
2. **量化验证代替肉眼**。抽帧数颜色、测音量、对时间轴，这些"笨办法"比反复看片快得多，也更能发现问题。

如果你只是想给图片配个讲解视频，这套思路可以直接抄；如果素材更复杂（真实视频、多讲师、多科目联动），把"镜头渲染"和"字幕加工"两个模块换掉，其余骨架不变。

## 九、一点真实的想法

写完这些，说点题外话。我动手做这套东西，很大程度上是被"穷"逼出来的——免费额度见底，又不想充钱，只能自己硬啃 ffmpeg。其实我心里清楚，这不是什么最优解：现在各种 AI 短剧、AI 视频工具已经很成熟了，输入一句话就能生成一段像模像样的画面，我这一通折腾，人家一个网页就搞定了。我也常常在想，是不是有更省事的办法，能把这件事做得更好。

但换个角度想，自己写代码的过程，让我第一次真正搞懂了视频是怎么被"组装"出来的：一条时间轴、几路滤镜、一堆参数，原来是这么回事。工具会迭代，今天你依赖的东西明天可能就被取代，但"理解原理"这件事不会过时。真要哪天被短剧工具取代了，至少我还能说一句：这段路我自己走过，不亏。

## 附：关键文件

- `make_micro_45s_v3.py` — 45 秒知识短视频合成主脚本（本文所有代码均出自这里暂时不上传，我觉得还有问题）
- `文稿.txt` — 输入文稿（每行一个知识点，可加 `图片:` 行指定段落配图）
 ![image.png](https://developer.qcloudimg.com/http-save/yehe-11770632/2ceb32fda95de59e588638bd75c23686.png)
- `1.png / 2.png / 3.png` — 输入图片（按顺序对应文稿段落）
  ![image.png](https://developer.qcloudimg.com/http-save/yehe-11770632/e8d4fb27c1700e2d5ff01e33f058e419.png)
- `output/机器人是什么_45s_v3.mp4` — 最终成片
  ![image.png](https://developer.qcloudimg.com/http-save/yehe-11770632/8d8584bdf2e3cabaa9193c86e89edfb5.png)
- `output/_micro45/global.ass` — 全局时间轴字幕（含关键词高亮）
  ![image.png](https://developer.qcloudimg.com/http-save/yehe-11770632/d52c6a79da6df4f0c9b21e6060924899.png)

运行方式：

```bash
set -a; source course_video_pipeline/.env; set +a
course_video_pipeline/.venv/bin/python make_micro_45s_v3.py
```

换文稿、换图片，重新跑一遍就是新的一支微课，全程大约两分钟。

起因很简单：一直想做点网课分享，把脑子里那些零散的知识点，做成一支支短小精悍的视频发出去。没有录课条件，也没有视频剪辑功底，唯一确定能拿出来的素材，是几张讲解用的图片和一份文稿。一开始我在云平台上领了免费额度,寻思够用了,结果没几下就烧光了——生成几张图、几段视频,额度哗哗地没。我不想充钱,又确实想做这事,那就只剩下一条路:能自己算的,全都自己算。

腾讯云 AI 加持：把三张图片和一段文稿，变成一支 45 秒的知识短视频

开发工具

本文分享如何用纯代码打造零成本微课视频制作流水线，通过ffmpeg实现图片动效、字幕渲染、音效合成，仅TTS依赖云服务。详细解析中文字体、时间轴对齐等5大技术坑，提供量化验证方案，最终产出45秒1080p视频仅20MB。适合技术爱好者低成本制作知识类短视频。

一键玩转AI人脸特效，新用户14.9元起


语音产品特惠新用户14.9元起


2026上云采购 | AI焕新·智启新局

ai-class

ai3d

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云 AI 加持：把三张图片和一段文稿，变成一支 45 秒的知识短视频-腾讯云开发者社区-腾讯云

腾讯云 AI 加持：把三张图片和一段文稿，变成一支 45 秒的知识短视频

腾讯云 AI 加持：把三张图片和一段文稿，变成一支 45 秒的知识短视频

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐