序列模型

统计工具

• 在时间\(t\)观察到\(x_t\),得到T个不独立的随机变量

\((x_1,...,x_T)\sim p(\tt x)\)

\(p({\bf x})=p(x_1)\cdot p(x_2|x_1)\cdot p(x_3|x_1,x_2)\cdot\dots\cdotp(x_T|x_1,...,x_{T-1})\)

序列模型

• 对条件概率建模

\(p(x_t|x_1,...,x_{t-1})=p(x_t|f(x_1,...,x_{t-1}))\)

对见过的数据建模,也称自回归模型

马尔科夫假设

• 当前之和最近少数数据相关,从而简化模型

\(p(x_t|x_1,...,x_{t-1})=p(x_t|x_{y-\tau},...,x_{t-1})=p(x_t|f(x_{t-\tau,..,x_{t-1} }))\)

潜变量模型

• 使用潜变量来概括历史信息

\(h_t=f(x_1,...,x_{t-1})\\x_t=p(x_t|h_t)\)

训练