Iris数据分类实验报告

一．实验目的
通过对Iris 数据进行测试分析,了解正态分布的监督参数估计方法，并利用最大似然估计对3类数据分别进行参数估计。

在得到估计参数的基础下，了解贝叶斯决策理论,并利用基于最小错误率的贝叶斯决策对3类数据两两进行分类。

二．实验原理
Iris data set,也称鸢尾花卉数据集，是一类多重变量分析的数据集。

其数据集包含了150个样本，都属于鸢尾属下的三个亚属，分别是山鸢尾 （Iris setosa ），变色鸢尾(Iris versicolor ）和维吉尼亚鸢尾（Iris virginica)。

四个特征被用作样本的定量分析，分别是花萼和花瓣的长度和宽度。

实验中所用的数据集已经分为三类,第一组为山鸢尾数据，第二组为变色鸢尾数据，第三组为维吉尼亚鸢尾数据. 1.参数估计
不同亚属的鸢尾花数据的4个特征组成的4维特征向量1234(,,,)T x x x x x =服从于不同的4维正态分布。

以第一组为例，该类下的数据的特征向量1234(,,,)T x x x x x =服从于4维均值列向量1μ，44⨯维协方差矩阵1∑的4元正态分布.其概率密度函数为如下:
111112
2
1
11
()exp(()())2
(2)
T d p x x x μμπ-=
--∑-∑
参数估计既是对获得的该类下的山鸢尾数据样本，通过最大似然估计获得均值向量1μ，以及协方差矩阵1∑。

对于多元正态分布，其最大似然估计公式如下：
111N k k x N μ∧
==∑ 1111
1()()N
T k k k x x N μμ∧∧∧=∑=--∑
其中N 为样本个数,本实验中样本个数选为15,由此公式，完成参数估计。

得到山鸢尾类别的条件概率密度 111111
2
2
1
11
()exp(()())2
(2)
T d p x x x ωμμπ-=
--∑-∑
同理可得变色鸢尾类别的条件概率密度2()p x ω，以及维吉尼亚鸢尾类别的条件概率密度3()p x ω
2.基于最小错误率的贝叶斯决策的两两分类
在以分为3类的数据中各取15个样本，进行参数估计，分别得到3类的类条件概率密度。

以第一组和第二组数据为例，对这两组数据进行分类。

因为两类的训练样本均为15个，且两类花在自然界所占比例近似，所以两类的状态先验概率1()P ω，2()P ω均设为0.5。

且由上一步参数估计已经得到两类的类条件概率密度1()p x ω,2()p x ω。

利用贝叶斯公式
1111122(|)()
(|)(|)()(|)()
p x P P x p x P p x P ωωωωωωω=
+
得到类别1ω的状态后验概率.对于两类问题，12(|)(|)1P x P x ωω+= .基于最小错误率的贝叶斯决策规则为：若12(|)(|)P x P x ωω>，即1(|)0.5P x ω>，则将特征向量x 分为第一类，否则将特征向量x 分为第二类。

三．实验过程 1.参数估计
从三类数据中分别随机选取15个数据作为样本，对每类所属的正态分布进行参数估计。

随机样本选择结果如图1：
图1. 进行参数估计的样本序号
该实验中,样本序号随机选择，所以每次试验结果不相同，这里仅显示出一次实验的结果。

按照随机选择的序号将每类的样本从原每组数据中取出，按照实验原理中的多元正态分布参数的最大似然估计公式，分别对每类的均值向量及协方差矩阵进行估计计算。

111N k k x N μ∧
==∑ 11111()()N
T k k k x x N μμ∧∧∧=∑=--∑
对三类数据分布参数的估计结果如图2所示
图2。

三类数据的参数估计结果
由参数估计结果得到，每一类所选的15个样本，基本可以表现出该类数据的分布特性。

样本数据越多，估计效果越好.
2.基于最小错误率的贝叶斯决策的两两分类
得到三类的分布参数估计值，即得到了三类的类条件概率密度
1111112
2
1
11
()exp(()())2(2)
T d p x x x ωμμπ-=
--∑-∑
1222212
2
2
11
()exp(()())2(2)
T d p x x x ωμμπ-=
--∑-∑
1333312
2
3
11
()exp(()())2
(2)
T d p x x x ωμμπ-=
--∑-∑
对第一组与第二组数据进行分类,基于最小错误率的贝叶斯分类准则如下
1111122(|)()
(|)(|)()(|)()
p x P P x p x P p x P ωωωωωωω=
+
在该实验中，我们设1()P ω，2()P ω均为0.5，所以只需计算
1112(|)
(|)(|)(|)
p x P x p x p x ωωωω=
+
第一组与第二组数据各随机选取了15个样本进行参数估计，我们对两组数据中剩余的70个数据进行分类，结果如图3所示
图3。

第一组与第二组剩余数据的分类结果
图3中，每一行为一被分类数据,总数为70。

因为一页无法全部显示，分两页进行显示。

每一行的前4列为待分类数据的4个特征，第5列表示该数据在原始数据中的位置，第6列为计算得到的待分类数据属于第一类的后验概率，第7列为待分类数据的分类结果.由结果可以看到，第一组中剩余的35个数（即上图中前35行数据，其在原数据的位置均在50以内）计算得到的属于第一类的类条件概率密度远大于属于第二类的类条件概率密度,所以由贝叶斯公式可得，其属于第一类的后验概率近似为1。

第二组中剩余的35个数（即上图中后35行数据，其在原数据的位置均在51到100之间)计算得到的属于第一类的类条件概率密度远小于属于第二类的类条件概率密度，所以由贝叶斯公式可得,其属于第一类的后验概率均很小，近似为0.由结果可得，第一组数据与第二组数据其类条件概率密度基本上无重叠部分,所以两类数据基本上完全可分。

同理,对第一组与第三组剩余70个数据进行分类，结果如图4。