S4 模型是如何将状态空间模型引入深度学习的？

1. 传统 SSM 的局限

基础状态空间模型虽已存在数十年，但在真实序列任务上表现不佳。根本问题在于状态矩阵 A 需要捕获长程依赖，而这难以通过梯度下降有效学习——朴素 SSM 在长序列任务上往往落后于 Transformer。

2. HiPPO 初始化

2022 年 Albert Gu 等人提出 S4（Structured State Space for Sequence Modeling），关键创新是用 HiPPO（High-Order Polynomial Projection Operators）框架初始化状态矩阵 A。HiPPO 提供了一种将长序列信息压缩进固定维度状态的最优多项式逼近方法，使状态矩阵从一开始就具备长程记忆能力，从而显著改善长程依赖建模。

3. 结构化参数与高效计算

S4 对 A 矩阵施加结构化约束（如低秩加对角形式），使计算复杂度从平方级降到线性级。同时，在线性时不变假设下，SSM 可等效为一个卷积，训练时可借助卷积与快速傅里叶变换并行加速。S4 在 Long Range Arena 等长程基准上取得了领先结果，证明了 SSM 在长序列任务上可与 Transformer 竞争。