Who Needs DRAM？Uppsala University团队提出光纤内存架构，LLM权重传输能耗降超70%

一、研究背景与核心洞察

生成式AI对高性能内存的需求持续攀升，叠加超大规模数据中心的扩张，全球DRAM供给与定价面临巨大压力。当前AI集群普遍采用在计算单元旁堆叠高带宽内存（HBM）或DDR DRAM的范式，为算术管线供给数十亿模型参数，这一模式已引发供给紧张、成本高企、散热与功耗超限等诸多问题。

该研究提出两大核心洞察，构成架构设计的底层逻辑：

第一，数据中心内DRAM的权重复制存在极致的效率浪费。同一大语言模型的注意力层、MLP层等参数会在所有服务节点上完整复制，且各节点对这些数据的访问请求与响应流程完全一致，大规模重复存储与读取带来了极高的能耗开销。

第二，光纤本身具备天然的存储属性。超大规模数据中心内部署的光纤总长度可达1万至10万公里，光信号在光纤中以约2/3光速传播，任意时刻光纤链路中都承载着海量在途比特。将光纤构造成环绕数据中心的闭合环路，即可形成容量达数TB的延迟线存储器——这是对早期电子计算机汞延迟线存储器的技术复刻，但在速度、容量与规模上实现了量级跃升。

基于上述洞察，架构的核心思路是：由单一中心光发射机将模型参数一次性注入共享光纤网络，推理节点通过无源抽头的方式直接获取环路中持续循环的权重数据，全程无需本地存储权重，也消除了集群范围内的冗余权重读取能耗。这一设计依托共封装光学（CPO）技术的普及落地，硅光引擎与处理器同封装集成的模式，让光信号可直接送入计算单元，跳过了功耗高昂的电收发器与数字信号处理单元，也无需在内存中做缓冲。

区别于现有数据中心网络方案仍依赖中间缓冲的设计，如NVIDIA NVNetIO SmartNIC通过GPUDirect RDMA将数据直写GPU显存，FPGA SmartNIC仍需流水线寄存器、小FIFO或块RAM做短时缓冲，该架构目标是彻底消除不可变数据的存储需求，同时省略数据流向计算单元过程中的所有缓冲环节。

二、光纤作为存储介质的物理基础

2.1 带宽时延积与存储容量原理

光纤的在途数据存储能力由带宽时延积（BDP）决定。石英光纤纤芯的折射率约为1.5，光在其中的传播速度为光速的2/3，即约2×10^8 m/s，对应200km/ms。长度为L的光纤总传播时延为长度与传播速度的比值，若发射机的总调制速率为B，则任意时刻单根光纤内存储的数据总量为速率与时延的乘积。

以单根商用光纤为例，采用超密集波分复用技术可实现约100Tb/s（12.5TB/s）的聚合带宽，代入10万公里的总光纤长度，单根光纤的在途存储容量可达6.25TB，足以完整容纳多个INT8或FP16量化的万亿参数大语言模型。

为进一步压缩物理空间，架构采用空分复用的19芯多芯光纤（MCF），19个独立纤芯集成在同一玻璃包层与保护护套中，可将延迟线的物理空间占用压缩90%以上，让千公里级环路可部署在标准数据中心线槽内。

2.2 环-Pod拓扑架构

整体网络采用环-Pod（Ring and Pod）分层拓扑。中心权重服务器将权重数据保存在非易失性内存中，系统启动时将权重写入多芯光纤构成的主环路；区域级无源光分路器将光信号广播到各个独立的本地Pod，每个Pod包含10个推理机箱；Pod内部通过局部分布总线完成信号分发。

三、光层硬件设计

3.1 非对称无源分路-放大接口

传统光收发器采用点到点工作模式，需完成光-电-光的完整转换，能耗高且会引入数百纳秒的数字处理延迟。该架构采用无源高度非对称的“分路-放大”（Tap-and-Amplify）接口替代传统收发器。

每个机箱通过1:99无源光分路器拆分入局的局部分布总线信号：抽头分支仅分出1%的光功率，直接送入本地AI加速器的共封装光接收器，分路器到硅光电探测器的距离仅数毫米，几乎无延迟，也不引入任何电缓冲；环路分支将剩余99%的光功率送回本地总线，继续向下游机箱传播。

这种高度非对称的分路设计让单机箱的直通插入损耗极低，仅约0.043dB，大幅降低了环路的总损耗预算。

3.2 全光放大与再生方案

架构采用工作在O波段（1310nm）的掺镨光纤放大器（PDFA）对多波长波分复用信号进行光域放大。PDFA以掺三价镨离子的氟化物玻璃为增益介质，可在1280-1330nm窗口提供宽范围稳定增益；其核心优势是上能级寿命长达约110μs，不会出现半导体光放大器（SOA）在多波长场景下的通道间交叉增益调制与快速增益饱和问题。

每个Pod内每条光缆仅需部署2台PDFA——Pod入口的功率放大级与总线中部的线路前置放大级，即可抵消所有分路、抽头与光纤传输损耗。PDFA的延迟完全由掺杂氟化物光纤段的光飞行时间决定，典型长度小于15m，对应延迟低于75ns。

为抑制噪声累积，区域级部署全光2R再生（重放大、重整形）单元，无需电光转换即可重置信号质量。

四、共封装光学与计算集成

4.1 数据并行机箱架构

架构的基础节点为8加速器基板机箱，对标NVIDIA HGX等高密度计算平台。单个机箱接入完整的14缆多芯光纤束，承载全部256个工作纤芯，可同时摄入完整的128GB模型流，保证每个机箱完全独立，无需通过后端网络传输激活值即可完成端到端推理。

4.2 芯片级光接口分配

将256路物理光纤直接接入单颗硅芯片存在制造与热管理难题，因此架构将256个光芯在机箱内的8个加速器间物理分配，单颗加速器封装仅接入32个纤芯。

每个加速器的本地光子集成芯片（PIC）中，由硅微环谐振器（MRR）阵列完成波分解复用，单纤芯仅解复用8个波长，单芯片共部署256个微环谐振器。该规模在现有硅光封装工艺下具备可制造性、热稳定性与商业可行性。光信号解复用后，原始权重参数可直接送入脉动阵列寄存器。

五、面向LLM推理的系统适配

5.1 权重与激活的存储分工

LLM执行的内存访问模式存在高度不对称性：自回归解码阶段，加速器逐token生成内容，每生成一个token都需要读取完整的模型权重；而激活数据主要是历史token的键值（KV）缓存，体量远小于权重。典型负载下，模型权重占总内存带宽消耗的90%至99%，例如FP16精度的700亿参数模型权重体量达140GB，而单token对应的激活与KV缓存传输量不足1.4GB。

由于LLM推理本质是内存带宽受限型负载，性能瓶颈在于权重从HBM的读取速度。因此该架构将激活值与KV缓存保留在加速器本地的小容量DRAM或高密度SRAM中，100%的大体积权重数据全部通过光纤流式供给。

5.2 数据流对齐与脉动阵列接口

光纤存储器采用推式确定性流式模型，区别于传统处理器通过内存地址请求数据的模式，加速器只需被动等待对应层的参数流过抽头即可。

为规范数据流格式，权重被封装为流权重包（SWP），包含四个组成部分：前导码为特征鲜明的光脉冲图案，用于接收端时钟与数据恢复电路锁定数据相位；帧头携带层ID、量化缩放因子等信息，支持节点从运行抖动与停顿中恢复，同时保护量化参数；载荷为原始权重矩阵元素，预先按照脉动阵列的处理布局展开；尾部循环冗余校验字段用于数据包边界最终校验。

权重矩阵由中心服务器预先完成布局展开，数据可直接从抽头送入执行寄存器，加速器端无需复杂的地址翻译、行译码或布局变换操作。

5.3 调度容错机制

延迟线系统的核心挑战是节点计算速率与恒定光流速率的匹配：若节点因高批量大小或KV缓存查找耗时过长导致处理延迟，可能错过下一个权重包的起始位置，必须等待一整个环路周期才能重新获取数据。

为提升鲁棒性与调度灵活性，中心权重服务器可采用交织复制与填充两种机制。一是在层数据包之间插入时序余量空间，即空闲光载波窗口或高频空闲图案，为节点完成激活计算与KV缓存交换提供安全裕度；二是在物理环路内的多个位置复制并交织权重数据，缩短节点启动新推理周期的最坏等待时间。需要注意的是，时序余量与交织复制都会占用光纤网络的有效存储容量。

六、定量案例分析：Llama-3-70B部署

研究以INT8量化的700亿参数Llama-3模型（70GB体量）为对象，针对包含10000个加速器的集群开展定量评估，验证架构的性能、延迟与能耗表现。

6.1 部署参数配置

模型总存储容量按128GB设计，预留约45%的时序余量空间，适配长上下文带来的注意力延迟提升。集群共包含1250个8加速器机箱，划分为125个区域Pod，每个Pod部署10个机箱。

空分复用层面，采用14条并行的19芯多芯光纤链路，每条链路由20段标准商用50km光纤盘级联组成，总环路长度1000km；全部链路共266个纤芯，其中256个为工作纤芯，剩余10个预留用于热插拔冗余。

光谱层面，利用石英光纤在O波段的天然零色散窗口，中心波长约1312nm，采用100GHz间隔(？)的密集波分复用，避免千公里传输中的码间干扰。每个工作纤芯承载8个50Gbaud PAM4波长，单波长速率100Gb/s，单芯总带宽800Gb/s；256个工作纤芯的聚合链路带宽达25.6TB/s。

6.2 环路时延与容量

1000km盘绕光纤环路的光传播时延为5ms，结合25.6TB/s的聚合带宽，环路内总在途存储容量为128GB，可完整容纳70GB的Llama-3-70B INT8模型，剩余58GB容量用于承载时序余量与交织数据包副本。

6.3 单加速器带宽

全带宽数据并行模式下，每个机箱接入全部25.6TB/s的模型带宽，内部均分到8个加速器，单颗加速器的权重传输带宽为3.2TB/s，与NVIDIA H100等高端AI处理引擎的HBM3带宽（3.35TB/s）相当，符合当前硅光技术的能力边界。

6.4 能耗对比

基线系统采用传统HBM3e配置，按权重读取能耗4.0pJ/bit计算，10000个节点的峰值权重传输功耗为1024kW。该计算为理论峰值假设，未计入大规模HBM3e集群固有的静态漏电与刷新功耗，属于偏保守的基线设定。

光纤存储器系统的总功耗由四部分构成：中心发射端激光器共2048路，总功耗约4.1kW；主环路级联放大共280台PDFA，总功耗约7.0kW；Pod级光网络设备包含PDFA与全光2R再生器，总功耗约94.5kW；万级节点的本地直接检测接收端总功耗约179.2kW。四部分合计总功耗为284.8kW。

对比可知，光纤存储器相比传统HBM3e配置实现了72.1%的权重传输功耗降低，同时完全消除了本地HBM堆叠的静态漏电、散热开销，以及700TB冗余静态权重存储带来的高额资本支出。

七、部署挑战与物理约束

7.1 传输与分路损耗

O波段多芯光纤内的单模纤芯物理衰减约为0.32dB/km，单机箱1:99抽头的直通插入损耗仅0.043dB，Pod内10个机箱的累积抽头损耗约0.43dB。单台PDFA可提供20dB至30dB的增益，Pod入口与总线中部的两级放大可完全补偿线路损耗、分路损耗与抽头损耗。

7.2 放大噪声累积

光放大器会引入放大自发辐射（ASE）噪声，每一级放大都会通过随机相位与幅度波动劣化光信噪比（OSNR），级联放大的噪声累积会限制信号的最大传输距离。对于50Gbaud PAM4格式，为保证前向纠错前误码率达标，通常要求OSNR高于15dB。

干线20级50km段的级联PDFA与Pod内的分路抽头会让信号OSNR接近阈值，因此架构在Pod级部署全光2R再生器。该器件利用非线性半导体光放大器或高非线性光纤中的交叉相位调制效应，将数据完整转移到全新的探测光束上，重置OSNR后再分发到Pod内的上百个加速器。

7.3 色度色散管控

架构将工作光谱严格限制在O波段零色散区域，8个DWDM通道的总光谱宽度约4.2nm，中心精准对准零色散波长1312nm，保证所有工作通道的色散系数绝对值不超过0.1 ps/(nm·km)，无需主动色散补偿即可将脉冲展宽控制在可接受范围内。

7.4 纠错与模型容错

为拉长光再生器的部署间隔，架构在加速器的PIC接收端集成高吞吐前向纠错（FEC）机制。低开销的里德-所罗门码或低密度奇偶校验码可将原始误码率10^-3修正至10^-12的运行标准，且延迟开销小于100ns。

同时量化大语言模型本身具备噪声鲁棒性：只要缩放因子与层归一化参数不受破坏，权重矩阵内的随机单比特翻转对模型输出的影响可忽略。因此架构对流权重包的头部与缩放因子施加强FEC保护，权重载荷可容忍少量未纠正的比特翻转，进一步放宽了对网络OSNR与光收发器的性能要求。

7.5 热管理与器件可靠性

硅光子芯片对温度变化高度敏感，微环谐振器依赖亚微米尺寸实现波长谐振，微小的温度偏移会导致折射率变化，造成谐振波长漂移、错过目标通道。此外激光二极管是光系统中可靠性最薄弱的部件，高温处理器基板上的高功率激光器会快速老化。

针对上述问题，架构采用外置激光源方案：将高功率激光器放置在机架前部独立、低温的可热插拔机箱模块中，远离发热的加速器芯片，通过无源光纤将光导入共封装光学封装。微环谐振器的波长对准则通过集成的微型热电加热器完成主动热调谐，单通道功耗仅为微瓦级。

八、结论与未来展望

该研究提出的光纤存储器架构，将数据中心光纤网络重构为有源循环延迟线存储系统，通过空分复用多芯光纤持续流式传输静态、高度复制的大语言模型权重，免去了每个计算节点部署大规模冗余HBM或DDR内存的需求。

定量分析表明，该设计具备实验原型开发的可行性；在万级加速器集群中，光纤存储器可将权重传输能耗相比HBM3e降低70%以上，同时大幅削减数据复制带来的成本。模型扩容路径清晰，只需增加50km光纤段与PDFA的数量，即可提升环路的在途存储容量以支撑更大规模模型。该工作属于架构层面的一阶可行性研究，为后续方向提供了基础论证。

后续研究将围绕多个方向推进：长上下文场景下的权重插入策略、高级同步协议设计、环网复用承载系统管理与用户查询等常规网络任务，以及可原生调度混合神经架构、匹配光速数据流的定制编译器流水线。