混元 Hy3 的模型权重如何获取与本地部署？

1. 部署方式

在自有环境中部署时，官方给出的路径是先以 vLLM 或 SGLang 启动推理服务，再通过 OpenAI 兼容接口调用。以 vLLM 为例，启动时需要设置张量并行度为 8、启用 MTP 推测解码并指定工具调用解析器与推理解析器；以 SGLang 为例，则需设定张量并行度为 8 并启用 EAGLE 推测解码算法。此外还可通过 Docker Model Runner 以一条命令拉起模型镜像。

2. 硬件与资源要求

官方推荐以 8 张 GPU 提供服务，建议使用 H20-3e 或其他显存容量更大的加速卡。实际显存占用除权重本身外，还取决于所用精度（BF16 或 FP8）、KV Cache 占用、256K 上下文长度、推测解码配置以及并发请求规模。

3. 训练与二次开发

模型仓库同时提供完整的后训练流程与微调指南，支持全量微调与 LoRA 微调，并可通过 verl 的 GRPO 强化学习、Megatron-LM 训练与 vLLM rollout 完成定制化训练。