首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >当人形机器人开始自己"发明"动作

当人形机器人开始自己"发明"动作

作者头像
点云PCL博主
发布2026-06-24 12:03:59
发布2026-06-24 12:03:59
1920
举报
文章被收录于专栏:点云PCL点云PCL

摘要

arXiv上最近出现的四篇论文:MotionWAM、VAIC、HANDOFF、MotionDisco——指向了同一个方向:人形机器人的智能,正在从"人类教什么就学什么"的模仿阶段,进入"自己发现该怎么做"的创造阶段。

这四篇论文的硬件平台全部使用了宇树科技的Unitree G1。这不是巧合,而是学术界的"用脚投票"。本文将对这四篇论文进行逐层技术拆解。

四篇论文在解决什么问题?

在拆解具体论文之前,需要先理解一个关键背景:当前人形机器人AI面临三道天花板。

架构天花板

上身操作+下身行走分两套系统,无法协同

MotionWAM

任务天花板

只能做训练过的动作,遇到新场景就"傻掉"

VAIC

数据天花板

依赖遥操作/动捕采集,成本高、速度慢

MotionDisco

论文全称:MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

硬件平台:Unitree G1

MotionWAM的核心命题极度锋利:为什么人形机器人需要一个"世界动作模型"(WAM),而不是继续在VLA(视觉-语言-动作)路线上修修补补?

答案是速度。传统VLA模型的推理链路是:视觉输入→语言推理→动作生成,每一步串行。对于桌面上的静态抓取,这种延迟可以接受。但当一个人形机器人需要在行走中同时操作物体——比如边走边搬运箱子——200毫秒的延迟就意味着摔倒。

MotionWAM的解决方案是"一步到位":用一个统一的Diffusion Transformer(DiT),直接从单目相机输入预测全身动作——包括脚步、躯干、手臂、手指。不经过语言中间层,不区分上下半身。

三段式训练框架:

阶段

训练数据

训练目标

第一阶段

2000+小时无动作标签的第一人称视频(人类+机器人)

预训练Video DiT,学习"世界如何运转"

第二阶段

混合机器人数据(多本体)

联合训练Motion DiT,学习"不同身体怎么动"

第三步

少量目标任务演示(G1实机)

端到端微调,适配特定硬件

关键数据:

  • 在9个真实世界G1任务上,成功率76%,比同样演示数据微调的VLA基线高出30个百分点以上
  • 推理仅需40毫秒(传统WAM需要数秒),实现真正的实时控制
  • 首次实现任务驱动的脚步交互——传统分层架构完全做不到

一个生动的例子:MotionWAM控制的G1机器人需要弯腰捡起地上的物体并放到高处架子上。在这个过程中,机器人的脚步会根据手臂的伸展距离自动调整站位,而不是先走到固定位置再伸手。这就是"统一动作空间"的意义——不是先站好再拿,而是为了拿到而站好。

"传统WAM需要先生成完整视频再提取动作,太慢了。我们的思路是:让策略直接读取扩散模型的中间特征——不需要看你画完这幅画,看草稿就知道你要画什么。"

VAIC:让机器人"滑滑板"——解耦指令如何解锁极端动态任务

论文全称:VAIC: Vision-Guided Humanoid Agile Object Interaction Control via Decoupled Commands

硬件平台:Unitree G1

如果说MotionWAM解决的是"统一性"问题,VAIC解决的则是**"开放性"问题**。你以为人形机器人最难的动态任务是跑酷?VAIC直接让机器人滑滑板。

滑滑板的本质是一个"欠驱动+欠感知"系统:机器人站在滑板上,既控制不了滑板的运动(只能通过重心偏移间接影响),也看不全滑板状态(机载深度相机有视角盲区)。VAIC与MotionWAM形成了有趣的对比:

维度

MotionWAM

VAIC

核心思路

统一世界模型→一步到位

两阶段蒸馏→从专家策略压缩到学生策略

输入

单目RGB

深度相机+本体感觉

指令接口

端到端(无显式指令)

解耦指令(不依赖全身动捕)

代表任务

捡放、搬运、开门

滑板、推车、搬运箱子

关键创新

中间特征条件化推理

循环物体适应模块(从深度流隐式推断物体动力学)

  • 第一阶段——在仿真中训练一个特权教师策略,它可以访问所有仿真状态:物体的精确位置、速度、质量、摩擦系数。教师的目标是尽情"炫技":滑板、推购物车、扛箱子上下楼梯。
  • 第二阶段——训练一个学生策略,输入从"全知全能"降级为"只有机载深度相机+本体感觉"。它看不到滑板的精确速度,不知道箱子里装了什么,也不了解地面摩擦系数。学生通过模仿教师的行为来学习——这就是"循环物体适应模块"的核心:学生学会了从深度流和本体感觉中隐式推断不可观测的物体动力学。

部署到真实机器人时,只用学生策略。结果:单一VAIC策略同时掌握了滑板、搬运箱子、推手推车等多项高动态任务,且全部零样本sim-to-real。

为什么解耦指令如此重要?传统方法需要给机器人每一帧每个关节的参考位置,这意味着人类必须先穿上动捕服把整个动作做一遍。VAIC只需要高层指令——"往前滑""左转""加速"——机器人自己填充全身动作。这相当于从"逐帧手绘动画"进化到了"关键帧自动补间"。

HANDOFF:VLM"大脑"调度三个"小脑"——零任务数据完成任务

论文全称:HANDOFF: Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers

硬件平台:Unitree G1

HANDOFF解决了一个极其现实的问题:现实世界的人形机器人任务千变万化,你不可能为"把红色箱子搬到蓝色桌子上"和"把蓝色箱子搬到红色桌子上"分别训练两个模型。HANDOFF的架构是精巧的三层结构:

第一层:VLM任务规划器("大脑")

↓ 自然语言→任务空间目标点

第二层:MoE混合专家门控网络("调度器")

↓ 根据上下文激活对应专家第三层:三个互补专家("小脑")×1

├── 运动跟踪专家(过滤了不安全数据)

├── 行走专家

└── 摔倒恢复专家

↓ 全身关节指令物理机器人(Unitree G1)

三个专家的分工:

  1. 运动跟踪专家:从海量动捕数据中学习,但用安全过滤器剔除了会导致摔倒、自碰撞、关节超限的危险片段。它不是"全盘模仿",而是"选择性模仿"。
  2. 行走专家:专注下半身,在各种地形和速度下保持平衡。这是三个专家中数据量最大的。
  3. 摔倒恢复专家:专门训练从各种摔倒姿态中站起来。平时不激活,只在检测到危险时才接管控制。

蒸馏技术——KL散度:三个专家各输出一个"动作概率分布"。MoE门控网络通过KL散度损失,学会在给定上下文时输出与最合适专家尽可能一致的动作分布。就像一个学徒向三位师傅学习——站着的姿势跟运动师傅学,走路跟行走师傅学,摔倒了跟恢复师傅学——但最终是一个统一的身体在执行。

最惊艳的结果HANDOFF在真实G1上完成了VLM指定的各种任务——"把那个杯子拿过来""走到桌子旁边把盒子放上去"——完全没有使用任何任务特定的训练数据,也没有对控制器进行任何微调。 这是全身控制领域目前最高水平的零样本任务执行。

MotionDisco:LLM"进化算法"让机器人自己发明动作——人类从未示范过

论文全称:MotionDisco: Motion Discovery for Extreme Humanoid Loco-Manipulation

硬件平台:Unitree G1

MotionDisco解决了一个根本性瓶颈:人类能教给机器人的动作是有限的。 一个熟练的遥操作员一天最多采集几十分钟有效数据。动捕工作室成本高达每小时数千美元。如果人形机器人只能学会人类示范过的动作,它的能力上限就是人类的动作库——而人类也不擅长同时用两只手和三条腿做不同的事。MotionDisco彻底抛弃了"人类示范"这个前提。它的工作流程如下:

Claude Opus 4.7(LLM)

↓ 生成候选"接触模式序列"(Python代码)

↓ "什么时候哪只手/哪只脚接触什么表面"

运动学可行性检查

↓ 通过→进入下一步

↓ 失败→结构化错误反馈返回LLM(如"模式5处IK无解")序列动力学轨迹优化

↓ 求解完整物理状态/控制力/接触力

↓ 成功→保存为发现的新技能

强化学习跟踪策略(仿真中训练)

↓ 零样本部署到真实Unitree G1

"群岛"种群模型是这套方法中最精巧的设计:不同于标准遗传算法中"最强个体产生所有后代",MotionDisco维护多个独立进化的"岛屿",每个岛屿独立进化自己的种群,偶尔交换"移民"。这保证了解决方案的多样性——同样是"翻越桌子",一个岛屿进化出"双手撑桌+跳跃",另一个进化出"侧身滑过+单臂支撑"。发现的8个任务包括:

  • "香蕉"任务:堆叠物体+攀爬(精细操作与全身运动的组合)
  • 穿越杂乱走廊(带货物)
  • 爬桌子+携带重物
  • 跑酷式越障(多级台阶+栏杆)

所有8个任务都在几分钟内找到了有效解,并且零样本部署到了真实的G1机器人上。

这是历史上首次有人展示:一个机器人可以通过LLM引导的进化搜索,自主发现并执行人类从未示范过、从未编程过的长序列全身运动技能。

论文横向对比总表

维度

MotionWAM

VAIC

HANDOFF

MotionDisco

核心突破

统一世界动作模型实时推理

解耦指令+循环物体适应

VLM规划+多专家蒸馏

LLM进化搜索自主发现

输入

单目RGB

深度+本体感觉

自然语言(VLM)

无需真人数据

是否需要人类示范

需要(少量)

需要(仿真教师)

需要(动捕数据)

不需要

是否需要任务微调

需要(少量)

需要(蒸馏)

不需要

不需要(从零发现)

代表任务

9个日常操作

滑板/推车/搬运

任意VLM指定任务

8个极端越障

关键指标

76%(超VLA基线30%+)

零样本sim-to-real

零样本任务执行

零样本sim-to-real

推理速度

40ms实时

实时

实时

离线发现+在线执行

硬件

Unitree G1

仿真+实机

Unitree G1

Unitree G1

这四篇论文揭示了一个结构性变化人形机器人的"大脑"路线正在分叉成三条路。

路线一:端到端统一模型(MotionWAM路线)

  • 代表势力:Physical Intelligence(π0.7)、MotionWAM团队
  • 核心信仰:一个模型控制一切,不分层,不模块化
  • 优势:上限极高,可以产生"涌现"行为
  • 风险:当前成功率(~76%)还不够工业级,缺乏可解释性
  • 类比:自动驾驶的"端到端派"(Wayve、特斯拉FSD v12+)

路线二:VLM大脑+执行小脑(HANDOFF路线)

  • 代表势力:Google DeepMind(Gemini Robotics+Atlas)、Figure AI(Helix 02)、HANDOFF团队
  • 核心信仰:认知和行动应该解耦,VLM负责"想",控制器负责"做"
  • 优势:零样本泛化能力强,自然语言交互
  • 风险:VLM推理延迟可能不适合高速动态任务
  • 类比:自动驾驶的"感知-规划-控制"传统架构+LLM

路线三:自主发现+技能库(MotionDisco路线)

  • 代表势力:MotionDisco团队、NVIDIA Isaac GR00T、Physical Intelligence RECAP方向
  • 核心信仰:人类不该设计动作,机器应该自己"进化"出最优运动策略
  • 优势:不受人类想象力限制,可发现反直觉的高效动作
  • 风险:进化出的动作可能在真实世界中不安全或不可预测
  • 类比:AlphaGo的自我对弈—机器发现了人类几千年没想过的下法

Unitree G1 = 人形机器人学术界的"NVIDIA GPU"?

这四篇论文还有一个共同点值得单独讨论:它们全部使用Unitree G1作为硬件平台。这不是巧合。G1售价1.6万美元(约11万人民币),是目前全球性价比最高的人形机器人平台。23个自由度,支持ROS 2,开放底层API,且提供Isaac Sim/Gazebo/MuJoCo全仿真支持。

这意味着人形机器人学术研究正在经历"标准化"——就像2012年深度学习爆发时,所有人都用NVIDIA GPU和ImageNet数据集。当硬件平台标准化,算法比较变得可行,论文复现成本大幅降低,整个领域的进步速度将进入指数阶段。

但这里有一个定时炸弹。MotionDisco的作者在论文中专门讨论了一个问题——他们的算法由德国和美国大学联合开发,但部署完全依赖中国制造的G1。"如果美国GUARD法案禁止中国机器人硬件,美国和中国的人形机器人研究生态将被割裂为两套互不兼容的技术栈。这是全世界都不愿意看到的。"

展望

  1. WAM路线与VLA路线的正面较量。MotionWAM已经在9个任务上证明WAM比VLA高30个百分点。如果出现一个开源WAM模型在100+任务上稳定超越VLA,人形机器人AI的全栈架构将面临重写。Physical Intelligence的π0.7已经展示出组合泛化能力。
  2. LLM进化搜索将成为"技能发现"的标准工具。MotionDisco的方法太优雅了——不需要数据、不需要遥操作、不需要动捕,只需要一个LLM和一台GPU服务器,就能"进化"出机器人技能。可以预见,这个方法将迅速扩展到双臂操作、多机器人协作甚至人机共融场景。
  3. Unitree G1将成为学术"标准基线"——除非政治打断。当一个硬件平台被四篇同期顶会级论文同时选为实验平台,一个"事实标准"正在形成。但如果GUARD法案真的通过,如同"一夜之间禁止所有AI论文使用PyTorch",学术生态需要数年时间重建。

这四篇论文,任何一篇单独拿出来都不足以称为"变革"。但当它们在同一时间出现、使用同一硬件平台、从不同角度攻击同一个问题——"如何让人形机器人真正理解物理世界"——它们的合力构成了一个明确的信号:

人形机器人的"大脑"正在从手工编程时代进入基础模型时代。

人类不再是动作的设计者,而只是目标的设定者。就像AlphaGo之后,再也没有人类敢说自己比AI更懂围棋—人形机器人的运动智能,或许也正站在同样的临界点上。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-06-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 点云PCL 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档