状态空间模型最初用于描述物理与工程系统在连续时间下的演化。给定一维输入信号 x(t)、输出信号 y(t) 和隐藏状态 h(t),连续形式的状态空间方程为:
其中 A 控制隐藏状态随时间的衰减与演化,B 控制输入写入状态的程度,C 将隐藏状态映射为输出,D 提供从输入到输出的直连通路。这四个矩阵共同决定系统如何"记忆"和"读取"信息。
计算机处理的是离散序列,需将连续方程离散化。采用零阶保持(ZOH)等方法、以步长 Δ 离散后,得到递推形式:
其中 Ā、B̄ 由连续参数 A、B 与步长 Δ 计算得到。离散化后,模型在每个时间步接收当前输入 x_t、结合上一时刻状态 h_{t-1},产生新状态 h_t 与输出 y_t,本质上是一个线性循环结构。
SSM 的核心思想是用一个固定维度的隐藏状态 h_t 概括截至当前时刻的全部历史信息。无论序列多长,状态维度始终保持不变,因此内存占用与序列长度无关。这与 RNN 的循环记忆思路相似,但 SSM 的线性结构与特定参数化方式带来了可并行训练和稳定长程依赖的优势。