# 单图生成 3DGS 实战分享：Mugen3D API 接入与同输入图生3D以及交互3D展示


## 前言

业务里经常碰到同一件事：只有一张商品图或人像，能不能在几分钟内拿到可以环视的 3D。网格（GLB/FBX）已经很熟，splat 这条预览链路也在变快。我们用 **Mugen3D**（SumeruAI 的单图生成 3D Gaussian Splatting）做了同输入对比，也把 API 接进了自己的流程。下面是接入方法，以及我们实际看到的结果。

上面说的是单个物体。再往下是能走进去的整段环境。2026 年 9 月 28 日，AMD 和李飞飞创办的 World Labs 签了收购协议，还没交割。World Labs 做空间智能，用文字、图片和视频生成可交互的三维环境。环境要实时看着走，得有一种渲染格式。3DGS 正在从论文进到引擎和内容工具里，游戏项目的默认格式仍是网格。我们十一前按这个方向上了 [Worlds](https://www.sumeruai.us/worlds)，里面是可走进的 3DGS 环境，资料片在 **§2.3**。

同时我们也正在往图生可交互3D的方向再努力。图生可实时交互，AI通过语音驱动人体运动的3D数字人。这将降低用户创作3D数字人的技术成本，以及降低3D模型的训练成本。基于3dgs训练的3D模型已经环境，消费级显卡就可以进行。

这篇是技术分享，不是测评。除了 SumeruAI 官网标价，没有未公开的打分表。提到其他产品，只为对照交付物，商标归各自权利人。

---

## 一、Mugen3D 解决什么问题？

单张 RGB 图片，异步生成 **3DGS（PLY）**，再用 Unity 或 Web splat 查看器环视。

| 项目 | 说明 |
|------|------|
| 输入 | PNG/JPEG，建议单主体、背景干净；可选抠图 |
| 输出 | 3D Gaussian Splatting，文件为带尺度、旋转、不透明度和球谐系数的 **PLY**（不是普通点云） |
| 质量档 | **SQ**（标准）、**HQ**（高质） |
| 模型代际 | 对外称 **Gaussian v3** |
| 默认不交付 | 带骨骼绑定的 GLB、水密打印 mesh、CAD 计量（需下游或社区管线扩展） |

这不是扫描，也不是摄影测量。一张图看不见的背面，靠模型补，各家都会补错。

---

## 二、为什么选 3DGS，而不是默认 mesh？

Meshy、Tripo3D、Rodin、Hitem3D、混元 3D 这些图生 3D，默认交的是带纹理的网格。上一代 Microsoft TRELLIS 可以把结果解成 3DGS 或网格；**TRELLIS.2** 公开交的是带 PBR 的网格（GLB，O-Voxel），不是 3DGS。先看文件是 PLY 还是网格，再看预览好不好看。

| 维度 | Mugen3D（3DGS / PLY） | 典型 mesh 图生 3D |
|------|------------------------|-------------------|
| 实时环视 | splat 管线友好 | 依赖网格 + LOD |
| 绑定 / 动画 | 正在做生成式全身 3DGS：语音驱动口型和动作，不绑骨（见下节）。现在的 API 仍是无骨骼 PLY。社区里已有人绑骨 | 网格加骨骼最成熟 |
| 3D 打印 | 非默认 | 部分厂商强调水密 |
| 单视图背面 | 推断，有风险 | 同样存在 |
| 成本 | 消费级显卡即可跑通 | 模型越复杂对硬件要求更高 |

我们内部同输入并排时，会固定几个虚拟视角（正面、左右 30°、左右 90° 侧面、180° 背面）看：**身份是否一致、环视是否连续、有没有多脸 / 薄结构断 / 背景残留 splat**。

### 2.1 正在做的：生成式全身 3DGS，语音驱动口型和动作

我们在做的是生成出来的全身 3DGS 数字人，不是半身，也不是只有头。

口型和身体动作都听语音。AI 再按对话内容补动作，不绑骨骼，也不播一段做好的动画。詹天佑就是这样：声音直接带动表情和动作，没有骨架、蒙皮和权重。不用先绑骨，接入会轻很多。以后普通用户也可以按这个方式，直接得到能互动的 3D。


!video[上传一张图片生成可AI驱动的可实时对话运动的3DGS数字人录屏演示](https://cloud.tencent.com/developer/video/87983)

接口还没开。现在能调的，是单图生成无骨骼 PLY，以及 TalkingHead、AudioToFace。AudioToFace 出来的是网格人脸用的 BlendShape，套不到没有骨骼的 PLY 上。全身这条先看帖里的资料片。

能直接接进业务的产品里，还没看到第二家同时做到：生成出来的全身 3DGS、不绑骨、语音既驱动口型也驱动动作。相近的工作已经有了，各自差一块：

- 华为诺亚方舟的 ICo3D 是全身 3DGS，可以实时对话。脸听语音，身体是程序化动作，没有做骨骼蒙皮。素材来自多视角拍摄，不是生成模型，也不能当接口用。
- 阿里 TaoAvatar 是全身 3DGS 说话数字人，身体绑在参数化骨骼上。
- 阿里 LAM 和 Spatius 已经能接实时对话，范围在头部和表情。

网格数字人的实时对话更早，相芯、阿里云万相都有产品。全身、不绑骨、能对话，论文里已经做出来了。生成式全身，再加语音同时驱动口型和动作，我们还在做，接口没开。

只要环视，现在的 Mugen3D PLY 就能用。要全身、语音驱动口型和动作、又不先绑骨，先看资料片。要进骨骼和战斗逻辑，用 mesh，或者 PLY 下来之后自己绑。

#### 另外：社区已经有人把 3DGS 绑上了骨

不过这和上面不是一件事。

API 现在返回的是没有骨骼的 3DGS PLY，里面有位置、尺度、旋转、不透明度和球谐系数，不是普通点云，也不会自带 Humanoid 或 FBX 骨骼。已经有创作者把这种资产绑骨并驱动起来，splat 不是只能转着看。绑骨还是要另外做，比直接导入 GLB 费事。下面这条是别人的教程，不是我们的交付承诺：  
[B 站：3DGS 模型绑骨相关实践（BV1DXYX6pEhZ）](https://www.bilibili.com/video/BV1DXYX6pEhZ/)

### 2.2 3DGS 能不能进游戏管线？

很多人觉得 3DGS 不实用，进不了游戏管线。其实可以进。

3DGS 和 mesh 渲染时的格式不同，一个是高斯，一个是三角网格。预览、摆进场景、做互动，两边都能做。AI 生成的 mesh 能进游戏管线，3DGS 也能。

Unity 里可以直接用 splat 看 PLY，样例在文末。引擎自己不带 3DGS 时，用第三方 splat 插件，或者先转成 mesh，再进现有的材质、碰撞和关卡流程。

### 2.3 从一件物体，到能走进去的环境

现在的公开 API 交的是物体级 PLY，适合环视一个主体。场景要在引擎里实时转一整段环境，网格通常要拆 LOD、烘焙光照。3DGS 是把这段环境直接溅射出来。2023 年 Kerbl 等人做的就是多视图场景的实时渲染，后面单图生成把它用到了单个物体上。引擎和内容工具已经在接。碰撞、绑定、打印还是网格更顺手，但新的可预览场景，会越来越多先以 3DGS 进来。3DGS 是这个方向上的趋势。

2026 年 9 月 28 日，AMD 与李飞飞创办的 World Labs 签了全股票收购协议，估值约 82 亿美元，还没交割。World Labs 做的是可交互三维环境。和引擎侧正在接 3DGS 是同一类需求：内容从单个物体走到能走进去的场景。

我们顺着这个趋势做 3DGS 环境，后面会开放。质量目标和物体模型一样：散面更少，画面更精细。官网已放了可走的 demo：[Worlds](https://www.sumeruai.us/worlds)，素材来自测试者提供的视频。公开 API 现在仍是单图生成物体 PLY。环境接口开了再写进文档。


!video[我制作了一个通过视频生成3D环境的录屏演示](https://cloud.tencent.com/developer/video/87982)
此为3DGS环境录屏演示


---

## 三、5 分钟接入：API 流程

**Base URL**：`https://api.sumeruai.us`  
**文档与 Key**：<https://www.sumeruai.us/api>（API 钱包与 Mugen Studio 主站积分**不互通**）

调用分三步：用 Key 换 `accessToken`，上传图片提交生成，再用返回的任务号查结果。公开示例是异步任务，页面写的是按 id 轮询。控制台如果另外提供了回调，以控制台字段为准。

### 3.1 获取 Token

```http
POST /v1/access/auth
Content-Type: application/json

{
  "accessKey": "YOUR_ACCESS_KEY",
  "secretKey": "YOUR_SECRET_KEY"
}
```

后续请求使用返回体里的 `accessToken`：

```http
Authorization: Bearer <accessToken>
```

业务是否成功，先看 HTTP 状态，再看响应里的业务码和错误信息。字段名以一次真实响应为准。Token 过期后重新登录。

### 3.2 提交单图生成 3D（PLY）

公开示例只有这一条，上传字段名是 `file`：

```http
POST /v1/mugen-3d/sq
Authorization: Bearer <accessToken>
Content-Type: multipart/form-data
```

任务号取 `data.id`。页面写了 **SQ**、**HQ** 两档，公开示例只给了上面这条 SQ 上传，没有 HQ 的参数名，也没有另一条路径。HQ 怎么选，看控制台当前文档。

图片建议单主体、背景干净。这一步提交的是原图文件，不是图片 URL。

### 3.3 查询结果

用 `data.id` 查询任务，直到拿到下载地址或明确失败。查询 URL、状态字段和模型地址，公开示例里都没有，按控制台文档填写。

查询需要自己做三件事：

- 设超时。单图生成不是即时返回，间隔可以放宽到十几秒以上，避免空转。
- 把「还在处理」「成功」「失败」分开。失败要抛出响应里的错误信息，不能和成功走同一个返回。
- 拿到下载地址后尽快保存。预览使用结果里的 `.ply`。若下载的是压缩包，先解出 PLY，再交给 splat 查看器。

### 3.4 Python 示例（最小路径）

下面只演示公开示例里已经写明的提交。查询接在 `task_id` 之后，地址换成控制台文档中的查询接口。

```python
import requests

def submit_sq(access_token: str, image_path: str) -> str:
    with open(image_path, "rb") as f:
        body = requests.post(
            "https://api.sumeruai.us/v1/mugen-3d/sq",
            headers={"Authorization": f"Bearer {access_token}"},
            files={"file": f},
            timeout=120,
        ).json()
    return body["data"]["id"]

# task_id = submit_sq(token, "product.jpg")
# result = poll(token, task_id)  # URL 与状态字段以控制台文档为准
```

### 3.5 Unity 本地联调

开源样例：<https://github.com/sumeurai/Mugen3D-For-Unity>（Unity 2021+，内置 gsplat-unity 预览 PLY）。  
样例负责登录、上传、下载和本地预览。请求字段以控制台文档和上面的公开示例为准。样例界面上多出来的项，文档没写就不要当成接口。

---

## 四、官方 API 价格（请以账单为准）

来源：<https://www.sumeruai.us/api>，参考日期 **2026-10-08**。下表为当日参考价；落地页价格若未展示出来，以控制台 Billing 为准。

| API | 能力 | 计费 | From 价格（USD） |
|-----|------|------|------------------|
| 3DGS Model Generation | 单图 → 3DGS | 按次 | SQ：**0.75 / call** |
| AudioToFace | 音频 → 52 ARKit BlendShapes | 按秒 | **0.001 / sec** |
| TalkingHead | 照片 → 对话数字人资产 | 按次 | **0.75 / call** |

**组合估算**：只要 3D 环视 ≈ 1 次 3DGS。若同时调用口型，费用按 1 次 3DGS + 音频秒数 × 0.001 相加。AudioToFace 输出的是驱动网格人脸的 BlendShape，不能直接套到无骨骼 PLY 上。HQ 单次若落地页未写清，看控制台 Billing。

---

## 五、同输入对比：我们实际看到了什么？

下面是我们用**同一输入图**跑 Mugen3D 与常见图生 3D 服务时的并排节选。

### 5.1 人物 / 角色类

写实、主体单一、光照接近原图时，3DGS 比较能留住照片里的轮廓，适合头像和广告环视。二次元线稿、极端比例，单张图仍然难。全身的口型和动作可以不先绑骨，语音驱动这条还在做，资料片在 **§2.1**。社区绑骨是另一件已经有人做成的事。项目一定要骨骼和战斗逻辑，就用 mesh。进游戏管线见 **§2.2**。
![compare-slide-04.png](https://developer.qcloudimg.com/http-save/yehe-12324486/d0797e8a9f949f6e36a736dc4de9913a.png)
![compare-slide-05.png](https://developer.qcloudimg.com/http-save/yehe-12324486/7fabf22bf0962e2980494c57f1801cbc.png)
![compare-slide-10.png](https://developer.qcloudimg.com/http-save/yehe-12324486/a366d7dfeb423448942ca94ff7c71af3.png)
![compare-slide-13.png](https://developer.qcloudimg.com/http-save/yehe-12324486/fac35c7ca587850f1d7acfd31cb58f21.png)
![compare-slide-12.png](https://developer.qcloudimg.com/http-save/yehe-12324486/5782c75c415aca99254046eb32bfa57a.png)
### 5.2 动物 / 物体类

玩偶、树脂、雕塑、风格化小屋等**轮廓清晰**的主体更适合 splat；透明杯、细戒指、风扇叶片是共性难点。
![compare-slide-17.png](https://developer.qcloudimg.com/http-save/yehe-12324486/ac011dab9115c8fd9fc4483c3d3231eb.png)
![compare-slide-27.png](https://developer.qcloudimg.com/http-save/yehe-12324486/bf16a94a5b8ba49ebf37aff005f6d15c.png)
![compare-slide-35.png](https://developer.qcloudimg.com/http-save/yehe-12324486/2a9b56282f371e7faf7991d9ce85b1c3.png)
![compare-slide-30.png](https://developer.qcloudimg.com/http-save/yehe-12324486/bd4366014cc76747dfa9e089a7e440a3.png)
![compare-slide-32.png](https://developer.qcloudimg.com/http-save/yehe-12324486/bb6149c2fa8d242c164f3547505f830d.png)



### 5.3 服饰 / 食物类

鞋帽、皮衣等偏展示级电商素材；食物更偏「广告模型感」，别当计量级仿真。

![compare-slide-41.png](https://developer.qcloudimg.com/http-save/yehe-12324486/f3e53e1bd20156dd7f806788b2446b25.png)
![compare-slide-40.png](https://developer.qcloudimg.com/http-save/yehe-12324486/da95526157f3faea9e734b0b8034348e.png)
![compare-slide-42.png](https://developer.qcloudimg.com/http-save/yehe-12324486/40341fce086831f3a092024618073b49.png)
![compare-slide-44.png](https://developer.qcloudimg.com/http-save/yehe-12324486/ed146bbabeca28eab5d138759018301d.png)
![compare-slide-43.png](https://developer.qcloudimg.com/http-save/yehe-12324486/5e34268fccd12550c834c83aae87cc59.png)


---

## 六、踩坑

1. **多人、截断、透明**：一张图信息不够，尽量重拍，或抠成一个主体。  
2. **网格和 splat 不要混着比**：一边是 PBR 预览，一边是 splat 预览，清晰度没有可比性。先对齐交的是什么文件。  
3. **API 和 Studio 积分**：两套钱包，充值前看清楚。  
4. **Unreal**：引擎自己不带 3DGS，用第三方 splat 插件，或转成 mesh。  


---

## 七、常见问题（FAQ）

**Q：Mugen3D 和 Tripo、Meshy 差在哪？**  
A：默认交的文件不同。Mugen3D 是 PLY，也就是 3DGS。Tripo、Meshy 多数是 GLB 网格。要环视就看 PLY，要绑定或打印就看网格。

**Q：一次生成多少钱？**  
A：官网 From **$0.75/次（SQ）**（2026-10-08），以账单为准。

**Q：能输出 GLB 吗？**  
A：公开 API 现在交的是 PLY。有没有网格，看 Studio 和 API 文档，以页面上写的为准。

**Q：能和数字人一起用吗？**  
A：TalkingHead、AudioToFace 和 3DGS 现在可以分开调，按次或按秒计费。AudioToFace 的 52 个 ARKit BlendShape 是给网格人脸用的，套不到没有骨骼的 PLY 上。全身 3DGS 还在做：语音驱动口型和动作，不绑骨。詹天佑是这个例子，资料片在 **§2.1**，视频发在本帖里。接口还没开。公开能调用的产品里还没看到第二家同时做成这几件事，论文里已经有相近结果，见 **§2.1**。

**Q：3DGS 能不能做绑骨动画？**  
A：社区里已经有人做成了，API 本身不会返回带骨骼的文件。例子在 [BV1DXYX6pEhZ](https://www.bilibili.com/video/BV1DXYX6pEhZ/)。上线前要在自己的引擎里看蒙皮、帧率和工具链，这条教程不是我们的交付承诺。我们自己在做的是不绑骨、由语音驱动的全身 3DGS，见 **§2.1**。

**Q：3DGS 能不能进游戏管线？**  
A：可以。它和 mesh 的差别主要在渲染格式。Unity 能直接看 PLY。引擎不带 splat 时，用第三方插件，或转成 mesh 再进现有流程。见 **§2.2**。

**Q：现在能用 API 生成 3DGS 环境吗？**  
A：还不能。3DGS 环境会顺着实时场景这条趋势开放，目标是散面更少、画面更精细。现在能看的是 [Worlds](https://www.sumeruai.us/worlds) 上的 demo，资料片在 **§2.3**。公开 API 仍是单图生成物体 PLY。

---

## 八、总结与链接

- 官网：<https://www.sumeruai.us>  
- Worlds（可走进的 3DGS 环境）：<https://www.sumeruai.us/worlds>  
- API：<https://www.sumeruai.us/api>  
- Unity 样例：<https://github.com/sumeurai/Mugen3D-For-Unity>  
- 可交互数字人资料片、环境资料片：见 **§2.1**、**§2.3**，在本帖内上传  
- 社区参考（3DGS 绑骨，第三方）：<https://www.bilibili.com/video/BV1DXYX6pEhZ/>  

接入时如果卡在鉴权、回调或 PLY 进引擎，把现象和 `taskId` 发在评论里，Key 打码。我们看具体任务。

---

**版权声明**：本文为 SumeruAI 原创技术分享，转载请注明出处。文内第三方产品名称仅用于技术讨论，不代表官方合作或排名。


业务里经常碰到同一件事：只有一张商品图或人像，能不能在几分钟内拿到可以环视的 3D。网格（GLB/FBX）已经很熟，splat 这条预览链路也在变快。我们用 Mugen3D（SumeruAI 的单图生成 3D Gaussian Splatting）做了同输入对比，也把 API 接进了自己的流程。下面是接入方法，以及我们实际看到的结果。

单图生成 3DGS 实战分享：Mugen3D API 接入与同输入图生3D 观察以及交互3D展示

最近在业务里频繁遇到同一个问题：只有一张商品图或人像，能不能在分钟级拿到可环视的 3D 素材？ 三角网格（GLB/FBX）路线成熟，但预览链路和 splat 生态也在快速起来。我们基于 Mugen3D（SumeruAI 单图 → 3D Gaussian Splatting）做了一批同输入对比和 API 集成，整理成这篇帖子，方便在腾讯开发者社区里直接讨论实现细节、边界和选型。

人工智能

开发工具

音视频

单图生成3D高斯泼溅资产，Mugen3D API支持分钟级获取PLY文件并环视预览。对比Mesh方案，3DGS更适配快速预览与电商展示。本文详解接入流程、价格与选型边界，含角色/物体实测对比及踩坑清单，助你快速落地Splat工作流。

代码解释

Python

GitHub

JSON

2026上云采购 | AI焕新·智启新局

imageprocess

9.9元起，最快1天搭建自有直播平台


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

单图生成 3DGS 实战分享：Mugen3D API 接入与同输入图生3D 观察以及交互3D展示-腾讯云开发者社区-腾讯云

单图生成 3DGS 实战分享：Mugen3D API 接入与同输入图生3D 观察以及交互3D展示

单图生成 3DGS 实战分享：Mugen3D API 接入与同输入图生3D 观察以及交互3D展示

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐