三年磨一剑，重新发明HBM

【芯东西导读】寒序科技发布uHBM与uLPU推理计算架构，试图把大模型推理的思路从“继续搬得更快”推进到“让权重尽量不搬”。首代uHBM架构片内权重读出带宽设计值为24TB/s，uLPU面向4B多模态主干Decode提出超过2000Tokens/s的工程目标。首代完整工程产品已进入流片前收敛，两项指标均待完整硅片与系统验证。

芯东西8月31日报道，大模型推理有一笔很容易被忽略的成本：搬权重。

一颗FP4权重只有4bit，单次搬运几乎微不足道。但进入Decode阶段，每生成一个Token，数十亿颗权重都要被反复读取。模型越大、Token越多，存储到计算的这条路就越繁忙。

过去的办法，是继续把路修宽。寒序科技给出另一种思路：让最重的数据少上路。它把模型权重长期放在Persistent MRAM阵列里，并在同一颗Compute-Memory Die内完成矩阵-向量运算，系统主要传递规模更小的激活向量。

这就是寒序所说的“重新发明HBM”：高带宽不再只发生在存储器把数据送往GPU的接口上，而是被推进到权重所在的Die内部。再以uHBM为基础搭起uLPU，让整颗推理芯片围绕驻留权重来组织计算。

一句话概括：uHBM让权重留在原地，uLPU让计算围着权重展开。

▲图：寒序科技uHBM Compute-Memory Die

一、重新发明HBM：让权重少上路

大模型推理通常分为Prefill和Decode两个阶段。进入逐Token生成的Decode后，FFN、GEMV等权重密集型计算需要不断读取模型参数，系统很容易从“算得不够快”变成“数据喂不够快”。

以4B参数、FP4精度的稠密模型做一个直观估算，原始权重约为2GB。若每秒生成2000个Token，并粗略按每个Token逐层读取一次完整权重计算，仅权重读出就对应约4TB/s的数据量。这个估算只用于说明数量级，并不等同于uLPU的实际带宽公式。

寒序的Weight-Resident Compute把这条路径反过来：权重长期驻留在Persistent MRAM中，激活向量进入片内，权重读取、矩阵-向量乘和局部归约就近完成，结果再流出。可以把它理解成一句话：大矩阵尽量不动，小向量在系统里流动。

▲图：传统GPU+HBM与uHBM在典型Decode阶段的数据路径示意

首代uHBM架构公布的In-Die Read Bandwidth设计值为24TB/s。权重已经在Die内，高带宽直接服务于权重读取与计算。uHBM还规划通过UCIe、LPDDR5X、GDDR7等不同接口与GPU、NPU或其他主控协同，具体方案随封装和部署场景选择。

▲图：uHBM接口与封装形态示意。UCIe、LPDDR5X、GDDR7等对应不同工程场景

二、重新发明LPU：让计算围着权重展开

uHBM先让权重驻留下来，uLPU再围着这些权重搭起一颗推理芯片。

▲图：寒序当前规划的uHBM-z、uLPU-edge与uLPU-cloud产品族

在寒序当前规划中，端侧uLPU-edge由uHBM与NPU协同，NPU承担Prefill、Attention、KV Cache、动态算子和系统控制，FFN、GEMV等高带宽敏感任务由uHBM侧完成；云端uLPU-cloud则把uHBM与uIO Die组合，通过UCIe和高速SerDes向更大系统扩展。

▲图：uLPU芯片爆炸结构图

这套分工的核心没变：把最吃带宽、最频繁读取权重的路径固定下来，把Attention、KV Cache和系统控制等更动态的工作交给更适合的计算单元。

▲图：首代uLPU架构指标

对应到用户更容易感知的指标，寒序把uLPU面向4B多模态主干模型的Decode目标设为超过2000Tokens/s。该数字只指模型主干的逐Token生成阶段，不等同于完整VLA控制闭环，也不包含视觉编码、Prefill、Decode-Attention、KV Cache管理和执行器响应等全部环节。

▲图：uLPU与GPU+HBM的速度/能效关系

三、从一颗Die到一座Rack：同一个逻辑一路放大

这次发布，寒序没有只亮一颗芯片，而是把产品路线从Die一直画到了机柜：uHBMuLPUuLPU ModuleuLPU-TrayuLPU-Rack。

▲图：从uHBM到uLPU：寒序重新发明HBM与AI推理系统

底层逻辑一以贯之：权重尽量驻留，外部尽量传递更小的激活、指令和结果。往上做到Module、2U Tray和Rack后，问题才从一颗芯片的片内带宽，扩展为供电、散热、信号完整性、互联、任务调度、Scale-Up、Scale-Out和软件栈的系统工程。

结语：重新发明HBM，也重新发明LPU

过去十年，行业一直在做同一件事：给存储与计算之间修一条更宽、更快的路。uHBM让权重驻留片内，uLPU围绕权重重构推理。从Die、Module、Tray到Rack，寒序正在把这条路线推向完整的推理基础设施。云端，Rack持续生产Token，成为新的“Token工厂”；端侧，uLPU进入机器人、汽车和更多Physical AI设备，让模型真正跑进物理世界。

接下来，是流片、系统落地和大规模上量。从数据中心到每一台机器人，未来将产生海量Token。从一颗Die，到一座Rack，再到大规模上量——寒序想争夺的，是下一代推理基础设施。