DeepSeek：流形约束Hyper-Connections

标题：mHC（流形约束超连接）

发表日期：2025-12-31

摘要：最近，以超连接（Hyper-Connections，HC）为代表的研究通过扩展残差流的宽度和多样化连接模式，拓展了过去十年来建立的普遍存在的残差连接范式。虽然取得了显著的性能提升，但这种多样化从根本上损害了残差连接固有的恒等映射特性，导致训练严重不稳定和可扩展性受限，并带来了显著的内存访问开销。为了应对这些挑战，我们提出了流形约束超连接（Manifold-Constrained Hyper-Connections，mHC），这是一个通用框架，它将HC的残差连接空间投影到特定流形上，以恢复恒等映射特性，同时结合严格的基础设施优化来确保效率。实证实验表明，mHC在规模训练方面效果显著，提供了切实的性能改进和卓越的可扩展性。我们预期，作为HC灵活且实用的扩展，mHC将有助于更深入地理解拓扑架构设计，并为基础模型的演进提出有前景的方向。

论文地址：https://arxiv.org/abs/2512.24880