序列模型

用 $x_t$ 表示在时间步 $t$ 时的目标函数值。请注意， $t$ 对于本文中的序列通常是离散的，并在整数或其子集上变化。形式上序列建模就是对下面的概率分布函数建模：

$$x_t\sim P(x_t|x_{t-1},x_{t-2},...,x_1)$$

考虑到动力学规律的不变性，整个序列的概率估计为

$$P(x_1,...,x_T)=\prod _{t=1}^{T}P(x_t|x_{t-1},x_{t-2},...,x_1)$$

然而需要处理的数据会随着时间累积，我们需要对于这样的变化进行处理。有两种常用方法可以处理：1️⃣只利用长度为 $\tau$ 的序列信息；2️⃣将之前所有的序列信息压缩进入一个隐藏变量 $h_t$ ，每个时间步都会预测目标函数以及更新 $h_t$ ；

其中第一种叫做自回归模型，第二种叫做隐变量自回归模型

相关术语

如果已经观测到的数据到了 $x_t$ 那么在时间步 $t+k$ 处的预测输出 ${\hat{x}}_{t+k}$ 被称作“$k$ 步预测”；由于多步预测过程中，误差会逐步累积，因此多步预测有时很困难

这张图是在简单的多层感知机的基础上训练的，用于拟合含有高斯噪声的正弦时间序列