马尔可夫链

定义

马尔可夫链的基本思想是：过去的全部信息都已经被保存到了现在，基于现在就可以预测未来。
考虑从物理学的角度出发，基于现在掌握的全部物理信息，我们就可以直接给出下一阶段的概率分布。但在实际实践中，掌握全部信息是不能实现的，因此我们聚焦于某一抽象研究对象，关注其有限状态空间，我们认为状态发生转换的转换概率仅与当下状态空间有关，即其具有“无记忆性”，由状态空间和状态转移概率矩阵构成的数学模型即马尔可夫链，马尔可夫链本质是对研究对象进行简化的一种数学方法。

设 $\{X(t), t \in T\}$ 为一随机过程，$E$ 为其状态空间。若对任意的 $t_1 < t_2 < \ldots < t_n < t$，任意的 $x_1, x_2, \ldots, x_n, x \in E$，随机变量 $X(t)$ 的条件分布函数满足：

$$ F(x, t | x_n, \ldots, x_1, t_n, \ldots, t_1) = F(x, t | x_n, t_n) $$

此性质称为马尔可夫性。若随机过程满足马尔可夫性，则称为马尔可夫过程。

马尔可夫链是离散状态、离散时间的马尔可夫过程。

对于一个马尔可夫链，有：

$$ P(X_{n+1} = x \mid X_1 = x_1, X_2 = x_2, \ldots, X_n = x_n) = P(X_{n+1} = x \mid X_n = x_n) $$

$X_i$ 的可能值构成的可数集 $S$ 叫做该链的“状态空间”。

通常用有向图或转移矩阵来表示不同状态之间发生状态转换的概率分布。

马尔可夫链常常被假定为时齐的。在这种情况下，图和转移矩阵与 $n$ 无关，马氏链也不表现为序列。