高斯混合模型聚类及其优化算法研究

目录

主要符号说明 ........................................................... I 第一章 绪论 .. (1)

1.1 前言 (1)

1.2 有限混合模型国内外研究现状和发展趋势 (2)

1.2.1 确定性方法中最主要的是最大似然估计法 (2)

1.2.2 非确定性算法中贝叶斯框架下的估计方法 (2)

1.2.3 模型选择问题 (3)

1.3 本文主要研究内容 (4)

1.3.1 基于标准EM算法的参数估计问题 (4)

1.3.2 基于MCMC算法的参数估计问题 (4)

1.3.3 贝叶斯变量选择 (5)

1.4 本文章节安排 (5)

第二章 高斯混合模型研究技术方案 (7)

2.1 加惩罚项的似然函数 (7)

2.2 对EM算法进行改进 (8)

2.3 学习并探索新的模型准则函数 (8)

2.4 对采样算法进行改进 (8)

第三章 最大似然框架下的参数估计及EM算法研究 (10)

3.1 高斯混合模型聚类及EM算法 (10)

3.2 Component-Wise EM算法 (11)

3.3 模型选择准则函数 (12)

3.4 基于局部保持流型正则化的改进高斯混合模型 (13)

3.5 改进的收敛算法 (14)

3.6 高维数据聚类实验及结果分析 (15)

第四章 多变量高斯混合模型在截断和删失数据聚类中的应用 (17)

4.1 基于截断数据的EM算法 (17)

4.2 基于删失数据的EM算法 (18)

4.3 基于截断和删失数据的EM算法 (18)

4.4 基于分裂与合并操作的改进的EM算法 (19)

4.5 实验及结果分析 (21)

第五章 贝叶斯框架下的参数估计及MCMC算法 (24)

5.1 贝叶斯估计概述 (24)

5.2 贝叶斯变量选择与模型选择 (25)

5.3 高斯混合模型的贝叶斯参数模型 (25)

5.4 高全条件概率以及RJ-MCMC算法 (26)

5.5 RJ-MCMC算法的操作 (27)

5.6 实验及结果分析 (29)

第六章 总结 (33)

6.1 主要工作回顾 (33)

6.2 本课题今后需进一步研究的地方 (36)

参考文献 (37)

个人简历 在读期间发表的学术论文 (40)

致谢 (41)

主要符号说明

主要符号说明

Y观测数据集合；

y(i)数据集合中的第i个数据点；

T 矩阵转置；

φ高斯函数；

()

f第j个高斯成分；

()

j

f高斯混合模型的函数表示；

()

a高斯成分混合比例；

j

k 高斯成分数；

θ第j个高斯成分的参数集合；

j

μ第j个高斯成分的均值向量；

j

∑第j个高斯成分的协方差矩阵；

j

Θ高斯混合模型的全体参数集合；

L高斯混合模型的对数似然函数；

z潜在变量或类别变量；

γ潜在类别变量的期望值；

D两个分布函数之间的差异或距离；

ij

W描述观测数据的空间几何关系的矩阵；

()

N y()i y的p个最靠近的数据的集合；

()i

P

g组基于截断数据的高斯函数；

()

π混合模型的权值；

Q对数似然函数的期望函数，下标TC表示截断和删失；

TC

E期望；

X删失数据集合；

()i

x删失数据点；

J合并操作的准则函数；

merge

J分裂操作的准则函数；

split

pθ参数的先验概率密度；

()

R接受概率。