具身世界认知基座模型 Hy-Embodied-RxBrain-1.0 发布：让机器人大脑“会推理”且“会想象”

小腾资讯君

发布于 2026-07-17 08:58:02

800

7月15日，我们正式发布并开源具身世界认知基座模型 Hy-Embodied-RxBrain-1.0(RxBrain)。

由腾讯Robotics X 实验室、福田实验室联合腾讯混元打造的这一模型可以对世界理解、推理规划、行动后果预测等统一建模。依托 Hy-Embodied-VLM 系列基座开发，并且基于 5w+ 小时高质量具身数据训练，RxBrain 在一个模型中实现文本、图像、视频以及图文交错形式的统一理解与生成，将具身认知推理、行动规划和目标状态想象转化为更清晰、更稠密的多模态 Condition，可为下游动作模型提供高层指导。

开源模型下载链接：

https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0
https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0

让具身大脑同时“会推理”与“会想象”

机器人进入开放环境后，不仅需要知道“下一步做什么”，还需要理解“为什么这样做”以及“完成后世界应该变成什么样”。

当前具身智能主要沿两条路线发展：

具身 VLM/VLA 擅长场景理解、任务分解与语言推理，但目标物理状态通常是隐式的，往往还需要额外的世界模型或价值模型判断执行结果。
基于视频生成模型的 World Model 擅长预测未来观测和状态变化，但较难显式表达任务逻辑、约束条件与长程决策依据。

RxBrain 并非简单拼接语言模型与图像生成器，而是让文本推理与视觉想象围绕同一个任务目标，在一条连续认知序列中协同发生。

其中，语言负责表达任务分解、行动逻辑、约束与决策；视觉目标图像负责描述每一步应达到的中间状态和最终状态。

二者共同为下游动作模型提供更完整的条件：

语言计划支持任务理解与动作选择。
目标图像可作为goal-conditioned policy、逆动力学模型或动作解码器的视觉目标。
实际观测与目标图像之间的差异，可用于进度判断、失败检测与重规划。

模型关键能力展示

Hy-Embodied-RxBrain 在统一模型中支持多种具身任务，包括具身视觉问答、多帧视觉生成，以及结合视觉目标想象的文本推理。给定人类指令和视觉观测，模型能够对当前场景进行推理，想象未来状态或目标状态，并为具身交互生成逐步的视觉结果。

模型架构

为实现模型这样的能力，RxBrain采用了以模态为路由的 Mixture-of-Transformers 架构。文本、输入视觉和生成视觉 Token 被路由至对应的专用计算路径，同时在统一注意力空间中交换信息。文本通路与视觉理解通路各约 1.5B 参数；视觉生成采用额外的 2.4B FFN Expert。

• 共享理解与想象的视觉骨干：视觉理解 Token 与视觉生成 Token 使用同一个 Vision Transformer 并共享 QKV 投影，使“看见的世界”与“想象的世界”能够在同一视觉表示空间中交互；二者又通过独立 FFN 专家保留面向理解和生成的专门计算能力。

• 语言自回归 + 视觉 Flow Matching：文本使用 Causal Attention 和 Next-Token Prediction；图像与未来帧在连续 VAE Latent 中通过 Flow Matching 生成。帧内视觉 Token 使用双向注意力建模空间结构，跨帧保持因果时序。

• 交错式的文本与视觉生成：每一步生成出的目标图像会被转换为与输入观测一致的视觉表示，并重新加入上下文。后续文本或视觉输出因此不是独立调用，而是持续条件于模型之前已经推理和想象出的状态。

数据建设

为了让模型具备这一能力，我们构建了高质量的 Pre-train 与 Mid-Train 数据：超过 5 万小时高质量具身数据。

在预训练阶段，RxBrain 使用共计 50,177 小时操作数据，包括：

第一视角及UMI 数据：31,568 小时。
真实机器人数据：17,292 小时。
仿真数据：1,317小时。

其中开源数据为 28,597 小时，占比约 57%。所有数据均经过质量筛选，过滤无意义动作、状态变化不明确及不适合做视觉想象的样本。

团队进一步设计了自动视频分割与标注流水线，将无标注长视频转换为带有动作描述、起止状态和时间边界的原子动作序列。

基于标注后的动作序列，我们构建了约 2.1 亿条训练样本，覆盖四种粒度：

L0：连续动作状态想象；
L1：原子动作规划；
L2：高层子任务规划；
L3：最终目标状态想象。

在 Mid-training 阶段，进一步加入 3,500 万条具身能力数据，覆盖空间推理、多视角理解、因果推断、视觉定位、行为规划、三维感知、错误分析和多模态生成等任务，并在推理过程中引入辅助视觉想象，使模型逐步获得从场景认知到长程规划的综合能力。

模型评价

现有具身评测通常将视觉理解、具身推理和未来预测分别测试，但真正的具身规划需要模型同时表达“做什么”以及“完成后应达到什么状态”。

为此，我们构建了 RxBrain-Bench，包括三个递进任务：

Embodied Reasoning-VQA：1,381组问答，评价场景理解、任务规划、异常恢复和任务完成判断；
Embodied World State Prediction-Video Generation：1,116 个样本，评价短时未来状态预测；
Joint Subgoal Planning：3,640 个样本，评价模型自由滚动生成“文本子任务—视觉目标状态”交错序列的能力。

开源 Benchmark评测结果：在统一模型中同时保留理解与生成能力

RxBrain 在约 6.2B 参数规模下，兼具开放域图像生成与具身空间理解能力。

在文生图评测 GenEval 上，RxBrain 得分 82.4，与生成专用模型 BAGEL 的 82 分相当，高于 Cosmos3-Nano 的 71.68 分。

在具身与空间理解方面，RxBrain 在 CV-Bench 上取得 88.59、EmbSpatial取得82.3、DA-2k上取得83.4；在 3DRS-Bench、MMSI-Bench、MindCube 和 SITE-Bench-Image 等多视角与三维理解评测中取得最优结果，并在机器人轨迹预测及空间配置理解任务中保持领先。

这表明，RxBrain 并未以牺牲语言理解和具身推理为代价换取视觉生成能力，而是在统一模型中同时保留两类能力。

RxBrain-Bench 评测结果

在 RxBrain-Bench 的核心任务——联合具身规划上，RxBrain 在完全自由滚动的评测设置中取得 0.68 的综合规划得分。相比之下，基于 Cosmos3-Nano 构建的 Agent 得分为 0.521，统一图文模型 BAGEL-7B-MoT 为 0.503，而由 Qwen3-VL-2B 与 Qwen-Image-Edit 组合而成的模块化 Qwen-Agent 得分为0.431。

这一结果说明，将文本推理与视觉目标生成简单地串联起来，并不等于模型真正具备联合规划能力。模块化系统容易在多步执行过程中出现语言重复、图像与计划脱节以及视觉状态持续漂移等问题。RxBrain 则在同一个上下文中交替生成子任务文本和目标图像，并将上一轮生成结果重新纳入后续规划，因此在观察理解、子任务规划、文本—图像一致性和完整任务链生成等指标上均领先于对比模型。

从具体能力来看，RxBrain 在观察理解和子任务规划上的得分分别达到 0.83 和 0.78，说明模型能够较好地理解当前状态，并将长程目标拆解为合理步骤。目标图像正确性得分为 0.52，说明视觉想象仍是当前的主要性能瓶颈。且随着自由滚动步数增加，综合得分由两步规划时的 0.69 逐渐下降到八步时的 0.55。这表明，如何进一步提升目标图像的单帧质量，并降低长程视觉想象过程中的误差累积，是模型下一阶段重点优化的方向。

样例展示：

在短时未来视频生成任务上，RxBrain 获得 0.62 的综合得分，显著高于通用视频生成模型 Wan2.2-TI2V-5B 的 0.429，并与专门面向具身世界建模的 Cosmos3-Nano 的 0.591 接近。值得注意的是，Cosmos3-Nano 是基于更大规模视频数据训练的专用世界模型，而 RxBrain 需要在同一个模型中兼顾文本推理、视觉理解、图像生成和交错规划。结果说明，统一具身大脑不仅能够生成任务计划，也能够达到接近专用世界模型的短时未来预测能力。

具体来看，RxBrain 在观察动作正确性和连续性上的得分分别为 0.65 和 0.62，能够较好地保持场景布局，并表现出指令要求的物体状态变化。

样例展示：

在不牺牲语言理解与具身推理的前提下，RxBrain 获得了可用于规划的视觉生成能力；同时，相比“推理vlm模型 + 图像生成 Image 模型”的联合外部编排，它能在统一上下文中更好地保持步骤、目标图像与整条任务链之间的一致性。

将 RxBrain 扩展至动作生成

联合文本推理与视觉目标想象的最终价值，并不只是让模型生成更丰富的推理过程，而是为下游机器人操作提供更完整、更具物理意义的条件。

RxBrain 希望在同一个具身大脑中同时提供两种条件：语言负责表达任务逻辑、操作约束与步骤决策，目标图像负责表达每一步操作后希望达到的世界状态。对下游动作模型而言，语言回答“应该做什么”，目标图像回答“应该做到什么程度、世界应该变成什么样”。二者结合，使动作模型不仅能够根据指令执行，还能够围绕显式目标状态进行预测、校正和闭环控制。

增加 Action MoT：在统一架构中引入动作模态

为了验证这种具身认知能力能否进一步转化为机器人控制能力，腾讯 Robotics X 与腾讯混元进一步在 RxBrain 上扩展了动作生成分支。

该分支采用模态专用的 Action Mixture-of-Transformers 设计，为动作 Token 配置独立的注意力投影、前馈网络和归一化参数。同时，动作 Token 仍参与语言、视觉观察、视觉目标和机器人状态 Token 之间的全局注意力交互，使动作生成可以同时获得当前观察、文本指令和未来目标状态的条件信息。

Action MoT 的参数由视觉理解分支初始化，使其能够继承模型预训练阶段获得的视觉与物理表征。在此基础上，模型进一步设计了 Gated Expert Fusion 机制：动作专家不仅使用自身的 FFN，还可以通过一个逐通道门控，从视觉生成专家中选择性地引入未来状态预测与任务规划特征。

门控参数初始化为零，因此在动作训练开始时，模型与独立动作分支完全等价，不会因为直接注入生成特征而破坏已有能力。随着训练推进，模型能够自主学习：哪些动作通道需要借助视觉生成专家中所包含的世界状态预测知识，哪些通道更适合保留动作模态自身的专用表示。动作序列最终被组织为 Action Chunk，并使用与视觉生成一致的 Flow-Matching 方式进行预测和解码。

真机验证

研究团队进一步开展了真机验证，覆盖摆放餐具、折叠并收纳眼镜、丢垃圾等三个多阶段操作任务。这些任务同时涉及顺序执行、空间摆放、精细铰接物体操作、容器交互和跨平台部署，能够较为全面地验证模型在真实机器人系统中的执行能力。

在 DOBOT X-Trainer 和方舟无限 A5 两类机械臂本体上，模型在 Set the Table 、Fold and Store Glasses 和 Pick Trash 上分别取得 97%、95% 和 68% 的成功率，平均成功率达到 87%；相比之下，π0 和 π0.5 的平均成功率分别为 68% 和 82%。结果表明，从视觉生成专家中复用世界状态预测和规划表征，能够有效提升动作分支在多阶段机器人操作中的执行可靠性。

这项实验也进一步验证了 RxBrain 的核心设计：视觉想象并不是模型最终输出中的附加展示内容，而是可以被动作模型实际利用的中间认知表示。通过语言步骤、视觉目标与动作预测之间的联合建模，模型开始形成从场景理解、任务规划、目标状态想象到动作执行的完整链路。

操作任务真机 Demo

未来工作

未来，我们也将基于 Hy-Embodied-VLM-1.0 迭代 RxBrain，提升语言-视觉联合推理与想象能力，以及 Agentic 自主智能能力。敬请期待。