状态空间模型与 RNN 有什么本质区别？

1. 相似的循环结构

SSM 与 RNN 都是逐时间步更新隐藏状态的循环结构，都通过固定维度状态概括历史。这是二者表面的相似之处。

2. 线性结构带来的差异

关键区别在于 SSM 是线性的（不含 tanh 等非线性激活），这一结构特性使其兼具并行训练能力与稳定的长程依赖。传统 RNN 因非线性与梯度问题，训练难以并行且长程依赖较弱。

3. 参数化与记忆能力

现代 SSM（如 S4、Mamba）通过 HiPPO 初始化与选择性机制，使状态矩阵具备优化的长程记忆与内容感知能力。而朴素 RNN/LSTM 的记忆能力依赖门控结构，在超长序列上往往不如经过专门设计的 SSM。