概率图模型理论与应用
—— 概率图模型的表示
主讲人：清华大学自动化系博士 董建家
本章内容
- 概率论与图论基础
- 贝叶斯网络
- 马尔科夫随机场
- 因子图
- 小结
概率图模型理论部分的三大部分：概率图模型的表示、概率图模型的推理、概率图模型的学习。
概率图模型的表示所要解决的核心问题是：解决如何在图上定义联合概率分布，所以它包括两大要素：图和概率论。
概率论
自然界中的两类现象：
- 确定性现象：每天早晨太阳从东方升起。
- 随机现象：掷一枚硬币，正面朝上？反面朝上？
随机现象的定义：在一定的条件下，并不总出现相同结果的现象称为随机现象。随机现象的各种结果会表现出一定的规律性，这种规律性称之为统计规律性。
样本空间（$\Omega$）：随机试验是对随机现象进行的实验和观察，随机试验的每一个可能结果称为样本点，样本空间是指所有样本点构成的。
随机事件：某些样本点组成的集合，常用 A、B、C....表示。
随机变量：表示随机现象结果的变量，常用大写字母 X、Y、Z....表示。
事件间的关系：
- 包含关系：A $\subset$ B, A 发生必然导致 B 发生。
- 相等关系：A = B <=> A $\subset$ B 而且 B $\subset$ A。
- 互不相容：A 和 B 不可能同时发生。
事件的运算:
- 并： A $\cup$ B A 与 B 至少有一个发生
- 交：A $\cap$ B A 与 B 同时发生
- 差：A - B A 发生但 B 不发生
- 对立：$\bar{A}$ A 不发生
样本空间的分割:
若 $A_{1}$, $A_{2}$, ...., $A_{n}$ 满足：
- $A_{i}$ 间互不相容；
- $A_{1}$ $\cup$ $A_{2}$ $\cup$ ...... $\cup$ $A_{n}$ = $\Omega$
则称 $A_{1}$ 、$A_{2}$、....., $A_{n}$ 为 $\Omega$ 的一组分割。
样本空间分割示例：
如掷骰子，样本空间的一组分割为 $\Omega$ = {1, 2, 3, 4, 5, 6}。
概率的定义
- 概率的直观定义：事件 A 出现的可能性大小。
- 概率的统计定义：事件 A在大量重复实验下，出现的频率的稳定值称为该事件的概率。
概率的公理化定义：
- 非负性公理：P(A) $\geq$ 0;
- 正则性定理：P($\Omega$) = 1;
- 可列可加性定理：若 $A_{1}$，$A_{2}$，...，$A_{n}$ 互不相容，则 P($\bigcup_{i=1}^{\infty} A_{i}$) = $\sum_{i=1}^{\infty}P(A_{i})$
条件概率的定义
定义： 对于事件 A、B，若 P(B) > 0，则称 P(A|B) = P(AB) / P(B) 为在 B 出现的条件下， A 出现的条件概率。
示例： 10 个产品中有 7 个正品、3个次品，从中不放回地抽取两个，已知第一个取到次品，求第二个又取到次品的概率。
解： 设 A = {第一个取到次品}， B = {第二个取到次品}。
P(AB) = $\frac{3}{10} * \frac{2}{9}$ = $\frac{1}{15}$
P(B|A) = $\frac{P(AB)}{P(A)}$ = $\frac{1}{15}$ * $\frac{3}{10}$ = $\frac{2}{9}$
条件概率的三大公式
1. 乘法公式：
- 若 P(B) > 0, 则 P(AB) = P(B)P(A|B);
- 若 P(A) > 0, 则 P(AB) = P(A)P(B|A)；
- 若 P($A_{1}$$A_{2}$.....$A_{n-1}$) > 0, 则 P($A_{1}$$A_{2}$.....$A_{n}$) = P($A_{1}$) P($A_{2}$|$A_{1}$)....P($A_{n}$|$A_{1}$$A_{2}$....$A_{n-1}$) (链式法则)
2. 全概率公式：
若事件 $B_{1}$, $B_{2}$, ..., $B_{n}$ 是样本空间 $\Omega$ 的一组分割，且 P($B_{i}$) > 0，则:
$P(A) = \sum_{i=1}^{n}P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$
当直接计算 P(A) 较为困难，将事件 A 分解成几个小事件，通过求小事件的概率，然后相加从而求得事件 A 的概率。找事件 B 的样本空间的一组分割，将事件 A 表示为：
A = A$B_{1}$ + A$B_{2}$ + ... + A$B_{i}$ + ... + A$B_{n}$
示例： 某车间用甲乙丙三台机床进行生产，各台机床次品率分别为 5%, 4%, 2%，它们各自的产品分别占总量的 25%, 35%, 40%，将它们的产品混在一起，求任取一个产品是次品的概率。
解：$P(A) = \sum_{i=1}^{n}P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$ = 25% 5% + 35% 4% + 40% * 2% = 0.0345
3. 贝叶斯公式：
若事件 $B_{1}$, $B_{2}$, ..., $B_{n}$ 是样本空间 $\Omega$ 的一组分割，且 P(A) > 0, P(B_{i}) > 0, 则：
$P(B_{i} | A) = \frac{P(AB_{i})}{P(A)} = \frac{P(B_{i}) P(A|B_{i})}{P(A)} = \frac{P(B_{i})P(A|B_{i})}{\sum_{j=1}^{n}P(B_{j})P(A|B_{j})}$ , i = 1, 2, ..., n
其中，$P(B_{i})$ 为先验概率， $P(B_{i} | A)$ 为后验概率。