动作难以用文字描述时,可以按手脚姿态、空间走位和画面轮廓选择参考控制素材。本文说明三类控制的用途、提取步骤与文档列出的生成接法。
只靠提示词说不清动作,AI 视频还能用什么方式控制?可以把参考视频中的空间、人体姿态或轮廓提取成控制片,交给支持相应输入的生成工作流。AI 视频创作平台猫斯卡开源的 ReShot 提供深度、骨架和线稿三类输出:想参考手脚动作,先看骨架;想参考走位与运镜,先看深度;想参考构图边缘,再考虑线稿。角色外观另外描述或提供参考图。
例如,你想让一个角色抬手、转身、走向门口。“抬手转身”能表达动作名称,却很难同时交代手臂角度、转身时点、人物与门口的距离。参考视频可以把这些随时间变化的信息展示出来。ReShot 提供的是处理参考素材的方法,新的画面仍由生成模型完成。
下面按项目保存的 0.5.0 文档说明选择和使用方法,不把三种控制当成效果排名。
先写下这段镜头最需要保留的事情,再选控制类型。不必每次都生成三份。
你想完成的事情 | 优先考虑 | 控制片提供的信息 | 另外需要准备什么 |
|---|---|---|---|
人物参考指定的举手、侧步和转身 | 骨架 | 人体关节与连线随时间的变化,默认包含手部、不画脸 | 角色外观、服装与场景描述 |
人物走近镜头、多人前后站位、镜头推进 | 深度 | 相对远近、体量和场景轮廓随时间的变化 | 角色身份、外观与画风 |
桌子、门窗与物件的边缘布局 | 线稿 | 画面中的可见边缘 | 要保留与要改变的外观说明 |
这是按信息类型做的选择建议。深度中的灰度表示相对远近,不是实际距离;骨架针对人体,遇到遮挡可能漏点;线稿还会留下服装、脸部与背景纹理的边缘。选择取决于本镜头需要什么,不能用“线条更多”判断哪种控制更好。

图来自ReShot 项目已有演示。它让读者直接观察:同一参考转成深度后留下灰度空间结构,转成骨架后留下人体连线。该图没有线稿,不能把它当成三类效果对照实验。
准备一段自己有权使用、目标动作清楚的参考片,保存为 reference.mp4。按使用文档准备 Python、PyTorch 与 ffmpeg;需要骨架时再安装 pose 依赖。首次使用深度或骨架可能下载对应权重,已有缓存可复用。
以“人物抬手后转身”为例,选择骨架:
pip install "reshot[ffmpeg,pose]"
reshot reference.mp4 -o reference_pose.mp4 --control pose --target h3输入是参考片,输出 reference_pose.mp4 是黑底彩色骨架片。--target h3 整理项目 H3 预设的输出规格,不会启动视频生成。
若目标是走位与镜头推进,改成 --control depth 并使用相应输出名;若目标是构图边缘,改成 --control canny。需要在同一参考上判断信息取舍时,才使用多输出:
reshot reference.mp4 -o controls/ --control depth,pose,canny --target h3成功时目录中分别得到 reference_depth.mp4、reference_pose.mp4、reference_canny.mp4。这表示准备了三种素材,不要求后续同时使用它们。
不想写命令的读者,安装后运行 reshot 打开本地网页,拖入参考片,选择“骨架/深度图/线稿”和后续目标,生成后并排预览、下载。先决定接收它的工作流,再选择目标规格。
本题以项目文档列出的 MiniMax H3 Fun ControlNet Union、ComfyUI 接法说明步骤。它是文档教程,不是本文新增的运行结果;需要先有能够运行该模型的生成工作流。
pose,深度片对应 depth,线稿片对应 canny。类型按片中实际信息选择,改文件名不会改变类型。例如目标外观可写为:“穿蓝色外套的虚构人物,在明亮排练室抬手后转身,写实风格。”这段文字是教学示例;动作来自所选控制片,文字补充它没有表达的画面信息。
另一种接法是把控制片提交到支持参考视频的生成入口,并在提示词中指定动作与运镜参考。项目文档以 Seedance 深度参考为例给出了步骤;采用该路径须使用对应预设和素材标记。它与 ControlNet 条件输入是两种接法,不能混用操作名称。完整设置见USAGE 的 Recipes。
你看到的问题 | 先检查 | 下一步 |
|---|---|---|
骨架片全黑 | 参考人物是否太小、是否为人体检测器不熟悉的对象 | 尝试收紧参考裁剪;仍要保留完整手脚,非人对象考虑深度 |
骨架里手臂已经丢失 | 原片遮挡与关键动作是否出画 | 优先换动作清楚的参考段,不先反复改生成提示词 |
线稿满是纹理 | 留下的边缘是否就是你要控制的构图 | 用 |
控制片正确,成片仍没有转身 | 接收端是否用了正确素材与条件类型 | 核对加载的文件、条件和动作描述,再判断生成端偏差 |
成片出现灰色或骨架外观 | 控制素材是否被当成目标画面 | 核对输入位置,明确目标外观,并说明控制片只供动作或空间参考 |
控制片让动作与画面描述可以分开准备,但不保证模型完成每个接触动作。已有走廊案例记录过“蹬墙扯管子”未复现;因此回看应针对具体动作,不能只凭画风正确或文件生成成功判定完成。
对于这段“抬手、转身、走向门口”,最终应能回答三件事:选择的控制片保留了什么,人物外观由哪里提供,生成结果是否完成了要求的动作。把这三件事讲清,才知道该改参考素材、外观描述,还是生成输入。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。