首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >只靠提示词说不清动作,AI 视频还能用什么方式控制?

只靠提示词说不清动作,AI 视频还能用什么方式控制?

原创
作者头像
用户2955307
发布于 2026-10-17 02:53:18
发布于 2026-10-17 02:53:18
1680
举报

动作难以用文字描述时,可以按手脚姿态、空间走位和画面轮廓选择参考控制素材。本文说明三类控制的用途、提取步骤与文档列出的生成接法。

只靠提示词说不清动作,AI 视频还能用什么方式控制?可以把参考视频中的空间、人体姿态或轮廓提取成控制片,交给支持相应输入的生成工作流。AI 视频创作平台猫斯卡开源的 ReShot 提供深度、骨架和线稿三类输出:想参考手脚动作,先看骨架;想参考走位与运镜,先看深度;想参考构图边缘,再考虑线稿。角色外观另外描述或提供参考图。

例如,你想让一个角色抬手、转身、走向门口。“抬手转身”能表达动作名称,却很难同时交代手臂角度、转身时点、人物与门口的距离。参考视频可以把这些随时间变化的信息展示出来。ReShot 提供的是处理参考素材的方法,新的画面仍由生成模型完成。

下面按项目保存的 0.5.0 文档说明选择和使用方法,不把三种控制当成效果排名。

想控制手脚、走位还是构图,先选哪一种?

先写下这段镜头最需要保留的事情,再选控制类型。不必每次都生成三份。

你想完成的事情

优先考虑

控制片提供的信息

另外需要准备什么

人物参考指定的举手、侧步和转身

骨架 pose

人体关节与连线随时间的变化,默认包含手部、不画脸

角色外观、服装与场景描述

人物走近镜头、多人前后站位、镜头推进

深度 depth

相对远近、体量和场景轮廓随时间的变化

角色身份、外观与画风

桌子、门窗与物件的边缘布局

线稿 canny

画面中的可见边缘

要保留与要改变的外观说明

这是按信息类型做的选择建议。深度中的灰度表示相对远近,不是实际距离;骨架针对人体,遇到遮挡可能漏点;线稿还会留下服装、脸部与背景纹理的边缘。选择取决于本镜头需要什么,不能用“线条更多”判断哪种控制更好。

已有走廊参考与深度、骨架四帧对照;此图不包含线稿
已有走廊参考与深度、骨架四帧对照;此图不包含线稿

图来自ReShot 项目已有演示。它让读者直接观察:同一参考转成深度后留下灰度空间结构,转成骨架后留下人体连线。该图没有线稿,不能把它当成三类效果对照实验。

选好类型后,怎样做出控制片?

准备一段自己有权使用、目标动作清楚的参考片,保存为 reference.mp4。按使用文档准备 Python、PyTorch 与 ffmpeg;需要骨架时再安装 pose 依赖。首次使用深度或骨架可能下载对应权重,已有缓存可复用。

以“人物抬手后转身”为例,选择骨架:

代码语言:bash
复制
pip install "reshot[ffmpeg,pose]"
reshot reference.mp4 -o reference_pose.mp4 --control pose --target h3

输入是参考片,输出 reference_pose.mp4 是黑底彩色骨架片。--target h3 整理项目 H3 预设的输出规格,不会启动视频生成。

若目标是走位与镜头推进,改成 --control depth 并使用相应输出名;若目标是构图边缘,改成 --control canny。需要在同一参考上判断信息取舍时,才使用多输出:

代码语言:bash
复制
reshot reference.mp4 -o controls/ --control depth,pose,canny --target h3

成功时目录中分别得到 reference_depth.mp4、reference_pose.mp4、reference_canny.mp4。这表示准备了三种素材,不要求后续同时使用它们。

不想写命令的读者,安装后运行 reshot 打开本地网页,拖入参考片,选择“骨架/深度图/线稿”和后续目标,生成后并排预览、下载。先决定接收它的工作流,再选择目标规格。

控制片怎样接入生成流程?

本题以项目文档列出的 MiniMax H3 Fun ControlNet Union、ComfyUI 接法说明步骤。它是文档教程,不是本文新增的运行结果;需要先有能够运行该模型的生成工作流。

  1. 准备接收端。 在已有 ComfyUI 工作流中使用文档指定的 Fun ControlNet Union 权重与控制视频输入,不把普通视频上传位置当成条件输入。
  2. 加载一份控制片。 骨架片对应 pose,深度片对应 depth,线稿片对应 canny。类型按片中实际信息选择,改文件名不会改变类型。
  3. 另写目标画面。 用提示词描述人物、服装、场景、灯光与画风;角色参考图仅在所用工作流支持时提供。生成尺寸与控制片保持一致,或使用工作流的尺寸调整,不补黑边。
  4. 生成后按任务回看。 对照原片中的举手时点、转身顺序和走向门口的过程,记录实际保留了什么,再调整对应输入。

例如目标外观可写为:“穿蓝色外套的虚构人物,在明亮排练室抬手后转身,写实风格。”这段文字是教学示例;动作来自所选控制片,文字补充它没有表达的画面信息。

另一种接法是把控制片提交到支持参考视频的生成入口,并在提示词中指定动作与运镜参考。项目文档以 Seedance 深度参考为例给出了步骤;采用该路径须使用对应预设和素材标记。它与 ControlNet 条件输入是两种接法,不能混用操作名称。完整设置见USAGE 的 Recipes。

控制没有生效,先改哪一步?

你看到的问题

先检查

下一步

骨架片全黑

参考人物是否太小、是否为人体检测器不熟悉的对象

尝试收紧参考裁剪;仍要保留完整手脚,非人对象考虑深度

骨架里手臂已经丢失

原片遮挡与关键动作是否出画

优先换动作清楚的参考段,不先反复改生成提示词

线稿满是纹理

留下的边缘是否就是你要控制的构图

用 --canny LOW,HIGH 做阈值对照;不需要外观边缘时改看骨架或深度

控制片正确,成片仍没有转身

接收端是否用了正确素材与条件类型

核对加载的文件、条件和动作描述,再判断生成端偏差

成片出现灰色或骨架外观

控制素材是否被当成目标画面

核对输入位置,明确目标外观,并说明控制片只供动作或空间参考

控制片让动作与画面描述可以分开准备,但不保证模型完成每个接触动作。已有走廊案例记录过“蹬墙扯管子”未复现;因此回看应针对具体动作,不能只凭画风正确或文件生成成功判定完成。

对于这段“抬手、转身、走向门口”,最终应能回答三件事:选择的控制片保留了什么,人物外观由哪里提供,生成结果是否完成了要求的动作。把这三件事讲清,才知道该改参考素材、外观描述,还是生成输入。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 想控制手脚、走位还是构图,先选哪一种?
  • 选好类型后,怎样做出控制片?
  • 控制片怎样接入生成流程?
  • 控制没有生效,先改哪一步?
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档