概率图模型理论及应用教学大纲

教学大纲

统计推理和学习（Statistical Inference and Learning）是信号处理、模式识别、通信系统等工程应用中处理不确定性的一个重要方法。新兴的（概率）图模型是概率论与图论相结合的产物，为各种统计推理和学习提供了一个统一的灵活框架。

本课程介绍图模型基本理论，包括：图论相关知识，图模型上条件独立性，有向图模型（贝叶斯网络）、无向图模型（马尔可夫随机场），图模型的统计推理算法，图模型的学习算法（参数学习和结构学习）等，以及图模型在语音识别、图像处理、计算机视觉、通信信道编码（Turbo-coding）等应用中的具体实例。具体包括如下内容：第一章引言

统计推理和学习的概念

第二章图模型

图论相关知识（简介）

图模型上条件独立性（d-separation，Bayes ball）

有向图模型（贝叶斯网络），无向图模型（马尔可夫随机场）

在图模型框架下介绍：

多元高斯模型、

主成分分析（PCA）、

混合分布（Mixtures）、

因子分析（FA）、

隐马尔科夫模型（HMM）

第三章图模型上的推理（Inference）

图论知识深入：簇（Cliques）、可分解图（Decomposable graph），连接树（Junction tree），规范化（Moralization），三角化（Triangulation）等概念

Junction Tree算法

对HMM的前向-后向算法、Viterbi算法，线性动态系统的Kalman滤波的统一描述

1

第四章图模型的参数学习（Parameter Learning）

完整数据下的最大似然（ML）参数估计

不完整数据（Incomplete Data）下的ML参数估计（EM算法）

完整数据下的贝叶斯学习

不完整数据下的贝叶斯学习

第五章图模型的结构学习（Structure Learning）

模型选取准则，包括最小描述长度（Minimum Description Length，MDL），贝叶斯信息准则（Bayesian Information Criterion，BIC）等

结构EM算法（Structural EM）

结构的贝叶斯学习

第六章图模型的应用选讲

图模型在语音识别应用中的实例

图模型在图像处理应用中的实例

图模型在计算机视觉应用中的实例

图模型在通信信道编码（Turbo-coding）应用中的实例

（前面各章中配合理论的讲解，相应有应用实例的介绍。）

2