在循环模式下,SSM 像 RNN 一样逐时间步处理:每一步仅依据当前输入和上一时刻状态更新,产生当前输出。其单步计算成本为 O(1),与序列总长无关,因此特别适合推理阶段的自回归生成。
在线性时不变(LTI)假设下,整个序列的 SSM 处理可视为一次大型卷积运算。由于系统对任意长度序列的响应是固定的,可借助卷积定理和快速傅里叶变换实现并行计算,复杂度约为 O(N log N)。这种模式适合训练阶段的大批量并行处理。
循环与卷积两种模式在数学上等价,可按场景切换:训练时用卷积模式获得并行加速,推理时用循环模式获得恒定单步成本。这种"两全其美"的对偶性是现代 SSM(如 S4)的核心优势。需要注意的是,引入选择性机制的 Mamba 不再严格满足线性时不变假设,因此无法直接使用卷积模式,需改用并行扫描算法。