状态空间模型与线性注意力有何理论联系？

1. 结构化状态空间对偶（SSD）

2024 年发表的 Mamba-2 提出了结构化状态空间对偶（Structured State Space Duality，SSD）框架，从数学上揭示了 SSM 与注意力机制的深层联系：二者可视为同一结构化矩阵的不同分解形式。

2. SSM 与掩码注意力的等价性

SSD 框架证明，当状态矩阵为标量乘以单位矩阵（所有对角元素相同）时，SSM 递推在数学上等价于一种带 1-半可分因果掩码的掩码自注意力。这意味着同一次计算既可表达为 SSM 循环，也可表达为类注意力的矩阵乘法。

3. 统一视角的意义

这一理论统一表明，SSM 与 Transformer 并非截然对立的两种范式，而是序列模型谱系上的不同取值点。当所有状态值取 1 时，注意力形式退化为标准因果线性注意力。该联系为设计和混合两种架构提供了理论基础。