用身高和体重数据进行性别分类的实验报告

用身高和体重数据进行性别分类的实验报告 一、 基本要求

用FAMALE.TXT 和MALE.TXT 的数据作为训练样本集，建立Bayes 分类器，用测试样本数据对该分类器进行测试。调整特征、分类器等方面的一些因素，考察它们对分类器性能的影响，从而加深对所学内容的理解和感性认识。

二、 具体做法

（1）应用两个特征进行实验：同时采用身高和体重数据作为特征，分别假设二者相关或不相关，在正态分布假设下估计概率密度，建立最小错误率Bayes 分类器，写出得到的决策规则，将该分类器应用到训练/测试样本，考察训练/测试错误情况。比较相关假设和不相关假设下结果的差异。在分类器设计时可以考察采用不同先验概率（如0.5 vs. 0.5, 0.75 vs. 0.25, 0.9 vs. 0.1等）进行实验，考察对决策和错误率的影响。 （2）自行给出一个决策表，采用最小风险的Bayes 决策重复上面的实验。

三、 原理简述及程序框图

A. 正态分布的监督参数估计

监督参数估计：样品所属的类别及类条件总体概率密度函数的形式

为已知，而表征概率密度函数的某些参数是未知的。

本实验符合上述条件且在正态分布假设下估计分布密度参数故使用正态分布的监督参数估计

对于多元正态分别，其最大似然估计的结果为：

1

1?N

K K X n μ

==∑ ()()1

1???N T K K K X X N μμ=∑=--∑ B. 最小错误率Bayes 分类器

在多元正态模型下的最小错误率角度来分析Bayes 分类器

(1) 假设身高与体重不相关 令协方差矩阵次对角元素为零

判别函数可简化为()0T T i i i i g x x W x w x w =++

其中 11

2

i i W -=-∑，1i i w μ-=∑

()1

01122

i

T i i i i w u u In InP ω-=-∑-∑+ 具体算法步骤如下：

第一步将训练样本集数据转为矩阵FA ，MA 。

第二步分别对FA ，MA 求取协方差12,∑∑，令协方差矩阵次对角

元素为零，平均值12,μμ并输入先验概率()()12,P P ωω

第三步将第二步所得数值代入判别函数表达式得()()12,g x g x 。

第四步将待测样本集数据转为矩阵T ，将T 中数值依次代()()12g x g x -

，若()()120g x g x ->，则判断其为第一类，反之，第二类。

(2) 假设身高与体重相关

判别函数可简化为()0T T i i i i g x x W x w x w =++

其中 11

2

i i W -=-∑，1i i w μ-=∑

()1

01122

i T i i

i i w u u In InP ω-=-∑-∑+ 具体算法步骤如下：

第一步将训练样本集数据转为矩阵FA ，MA 。

第二步分别对FA ，MA 求取协方差12,∑∑平均值12,μμ并输入先验

概率()()12,P P ωω

第三步将第二步所得数值代入判别函数表达式得()()12,g x g x 。

第四步将待测样本集数据转为矩阵T ，将T 中数值依次代()()12g x g x -，

若()()120g x g x ->，则判断其为第一类，反之，第二类。

C. 最小风险Bayes 分类器

（1）在已知先验概率()j P ω和类条件概率密度()j P x ω，j=1, …c 及给出带识别的x 的情况下，根据Bayes 公式计算后验概率：

()()()

()()

1

,1,,c j j j c

i

i

i P x P P x j P x P ωωωωω==

=∑

（2）利用后验概率及决策表，计算条件风险()i R a x

()()()1,1,,c

i i j j i R x P x i a αλαωω===∑

（3）()()1,,min k i i a

R a x R a x == ，k a 就是最小风险Bayes 决策。

其中（1）中先验概率()j P ω根据自行输入，类条件概率密度

()j P x ω=()()

()11

2

2

1

1exp ()22T d

P x x u x u π-??

=

--∑-????

∑

，本实验

为二维二类，故d=2,(2)中决策表自行输入。

四、 实验结果及分析总结

(1)用最小错误率Bayes 决策

假设身高与体重相关（以训练样本建立判别函数）

由表可知：

对于训练样本，当女生先验概率为0.5时，判别错误率最小

对于测试样本，当女生先验概率为1/6时，判别错误率最小

故可推测用最小错误率Bayes 决策假设身高与体重相关当女 生先验概率等于待测样本中女生样本占待测样本的概率时， 错误率最小，且越远离此概率，错误率越大。

最佳决策对于训练样本，当女生先验概率为0.5

对于测试样本，当女生先验概率为1/6

假设身高与体重不相关（以训练样本建立判别函数）

对于训练样本当女生先验概率接近0.5时错误率最小最佳决策对于训练样本，当女生先验概率为0.5

（2）用最小风险的Bayes决策

当决策表为

身高体重相关

对于训练样本，当女生先验概率为0.5时，判别错误率最小

对于测试样本，当女生先验概率为1/6时，判别错误率最小故可推测用最小风险Bayes决策假设身高与体重相关当女

生先验概率等于待测样本中女生样本占待测样本的概率时，

错误率最小，且越远离此概率，错误率越大。

最佳决策对于训练样本，当女生先验概率为0.5

对于测试样本，当女生先验概率为1/6

身高体重不相关

最佳决策对于训练样本，当女生先验概率为0.5

心得体会

拿到大作业题目，我们首先对题目进行了分析，并且根据以前所学过的知识和做过的例题找到了解题方法，然后先制定解题步骤，画出解题流程图。再根据流程图编写出MATLAB代码，最后进行调试，

运行，得出结果。整个过程中，我们在编程部分遇到了一些麻烦，但

很快我们就通过查找资料解决了这个问题。再给老师审核时，发现我

们并没有完完全全达到题目要求，后来我们又再次修改。通过这次大

作业，我们从原来拿到题目时的迷茫，到制定出解题方案，再到最后

具体操作，体会到了通过自己的努力解决一个问题的快乐，同时，也

懂得了遇到任何问题，只要通过认真分析，最终都会得到解决的道理，

而且我们也发现审题不清是我们小组的薄弱环节，我们将吸取教训认

真读题审题,且当身高体重不相关时，输出的结果可能有问题，还需

修改。

%éí??ì????à1?,?D±e2aê??ù±?

clc;

clear all;

%ê??ˉ?è?é???ê

P1=input('??éú?è?é???êê?:');

P2=input('?Déú?è?é???êê?:');

%?μá·?ù±?

[FH FW]=textread('C:\Users\xuyd\Desktop\homework\FEMALE.txt','%f %f'); [MH MW]=textread('C:\Users\xuyd\Desktop\homework\MALE.txt','%f %f'); FA=[FH FW];FA=FA';

MA=[MH MW];MA=MA';

a=cov(FA')*(length(FA)-1)/length(FA);

b=cov(MA')*(length(MA)-1)/length(MA);

W1=-1/2*inv(a);

W2=-1/2*inv(b);

Ave1=(sum(FA')/length(FA))';

Ave2=(sum(MA')/length(MA))';

w1=inv(a)*Ave1;

w2=inv(b)*Ave2;

w10=-1/2*Ave1'*inv(a)*Ave1-1/2*log(det(a))+log(P1);

w20=-1/2*Ave2'*inv(b)*Ave2-1/2*log(det(b))+log(P2);

% syms a ;

% syms b ;

% h=[a b]';

% h1=h'*W1*h+w1'*h+w10?D±eoˉêy

% h2=h'*W2*h+w2'*h+w20

%2aê??ù±?

[tH

tW]=textread('C:\Users\xuyd\Desktop\homework\test2.txt','%f %f %*s');

T=[tH tW];

T=T';

%??2aê??ù±?μ??D±e

for j=1:300

g1=T(:,j)'*W1*T(:,j)+w1'*T(:,j)+w10 ;

g2=T(:,j)'*W2*T(:,j)+w2'*T(:,j)+w20 ;

if g1>=g2

XF(:,j)=T(:,j);

else

XM(:,j)=T(:,j);

end

end

n=0;

for i=1:50

if XF(1,i)>0

n=n+1;

end

end

m=0;

for k=51:300

if XM(1,k)>0

m=m+1;

end

end

N=300-m-n;

H=N/300;

N

H

%XF

%XM

%éí??ì???2??à1??D±e2aê??ù±?

clc;

clear all;

%?è?é???ê

P1=input('??éú?è?é???êê?:');

P2=input('?Déú?è?é???êê?:');

%?μá·?ù±?

[FH FW]=textread('C:\Users\xuyd\Desktop\homework\FEMALE.txt','%f %f'); [MH MW]=textread('C:\Users\xuyd\Desktop\homework\MALE.txt','%f %f'); FA=[FH FW];FA=FA';

MA=[MH MW];MA=MA';

a=cov(FA')*(length(FA)-1)/length(FA);

b=cov(MA')*(length(MA)-1)/length(MA);

a(1,2)=0;

a(2,1)=0;

b(1,2)=0;

b(2,1)=0;

W1=-1/2*inv(a);

W2=-1/2*inv(b);

Ave1=(sum(FA')/length(FA))';

Ave2=(sum(MA')/length(MA))';

w1=inv(a)*Ave1;

w2=inv(b)*Ave2;

w10=-1/2*Ave1'*inv(a)*Ave1-1/2*log(det(a))+log(P1);

w20=-1/2*Ave2'*inv(b)*Ave2-1/2*log(det(b))+log(P2);

% syms a ;

% syms b ;

% h=[a b]';

% h1=w1'*h+w10?D±eoˉêy

% h2=w2'*h+w20

%2aê??ù±?

[tH

tW]=textread('C:\Users\xuyd\Desktop\homework\test2.txt','%f %f %*s'); T=[tH tW];

T=T';

%??2aê??ù±?μ??D??

for j=1:300

g1=T(:,j)'*W1*T(:,j)+w1'*T(:,j)+w10 ;

g2=T(:,j)'*W2*T(:,j)+w2'*T(:,j)+w20 ;

if g1>=g2

XF(:,j)=T(:,j);

else

XM(:,j)=T(:,j);

end

end

n=0;

for i=1:50

if XF(1,i)>0

n=n+1;

end

end

m=0;

for k=51:300

if XM(1,k)>0

m=m+1;

end

end

N=300-m-n;

H=N/300;

N

H

%XF

%XM

%×?D?·???Bayes??2?￡?éí??ì????à1??D±e2aê??ù±?

clc;

clear all;

%?μá·?ù±?

[FH FW]=textread('C:\Users\xuyd\Desktop\homework\FEMALE.txt','%f %f'); [MH MW]=textread('C:\Users\xuyd\Desktop\homework\MALE.txt','%f %f'); FA=[FH FW];FA=FA';

MA=[MH MW];MA=MA';

Ave1=(sum(FA')/length(FA))';

Ave2=(sum(MA')/length(MA))';

a=cov(FA')*(length(FA)-1)/length(FA);

b=cov(MA')*(length(MA)-1)/length(MA);

W1=-1/2*inv(a);

W2=-1/2*inv(b);

w1=inv(a)*Ave1;

w2=inv(b)*Ave2;

w10=-1/2*Ave1'*inv(a)*Ave1;

w20=-1/2*Ave2'*inv(b)*Ave2;

%2aê??ù±?

[tH

tW]=textread('C:\Users\xuyd\Desktop\homework\test2.txt','%f %f %*s'); T=[tH tW];

T=T';

%?è?é???ê?°??2?±í

P1=input('??éú?è?é???êê?:');

P2=input('?Déú?è?é???êê?:');

R=input('??2?±í?a￡o');

R11=R(1,1);

R12=R(1,2);

R21=R(2,1);

R22=R(2,2);

%??2aê??ù±?μ??D±e

for j=1:300

g1=T(:,j)'*W1*T(:,j)+w1'*T(:,j)+w10 ;

g2=T(:,j)'*W2*T(:,j)+w2'*T(:,j)+w20 ;

P1F=1/(2*pi)/(det(a))^0.5*exp(g1);

P1M=1/(2*pi)/(det(b))^0.5*exp(g2);

PF1=P1F*P1/(P1F*P1+P1M*P2);

PM1=1-PF1;

R1=R11*PF1+R12*PM1;

R2=R21*PF1+R22*PM1;

if R2>=R1

XF(:,j)=T(:,j);

else

XM(:,j)=T(:,j);

end

end

n=0;

for i=1:50

if XF(1,i)>0

n=n+1;

end

end

m=0;

for k=51:300

if XM(1,k)>0

m=m+1;

end

end

N=300-m-n;

H=N/300;

R

N

H

%×?D?·???Bayes??2?￡?éí??ì???2??à1??D±e 2aê??ù±?

clc;

clear all;

%?μá·?ù±?

[FH FW]=textread('C:\Users\xuyd\Desktop\homework\FEMALE.txt','%f %f'); [MH MW]=textread('C:\Users\xuyd\Desktop\homework\MALE.txt','%f %f'); FA=[FH FW];FA=FA';

MA=[MH MW];MA=MA';

Ave1=(sum(FA')/length(FA))';

Ave2=(sum(MA')/length(MA))';

a=cov(FA')*(length(FA)-1)/length(FA);

b=cov(MA')*(length(MA)-1)/length(MA);

a(1,2)=0;

a(2,1)=0;

b(1,2)=0;

b(2,1)=0;

W1=-1/2*inv(a);

W2=-1/2*inv(b);

w1=inv(a)*Ave1;

w2=inv(b)*Ave2;

w10=-1/2*Ave1'*inv(a)*Ave1;

w20=-1/2*Ave2'*inv(b)*Ave2;

%2aê??ù±?

[tH

tW]=textread('C:\Users\xuyd\Desktop\homework\test2.txt','%f %f %*s'); T=[tH tW];

T=T';

%?è?é???ê?°??2?±í

P1=input('??éú?è?é???êê?:');

P2=input('?Déú?è?é???êê?:');

R=input('??2?±í?a￡o');

R11=R(1,1);

R12=R(1,2);

R21=R(2,1);

R22=R(2,2);

%??2aê??ù±?μ??D±e

for j=1:300

g1=T(:,j)'*W1*T(:,j)+w1'*T(:,j)+w10 ;

g2=T(:,j)'*W2*T(:,j)+w2'*T(:,j)+w20 ;

P1F=1/(2*pi)/(det(a))^0.5*exp(g1);

P1M=1/(2*pi)/(det(b))^0.5*exp(g2);

PF1=P1F*P1/(P1F*P1+P1M*P2);

PM1=1-PF1;

R1=R11*PF1+R12*PM1;

R2=R21*PF1+R22*PM1;

if R2>=R1

XF(:,j)=T(:,j);

else

XM(:,j)=T(:,j);

end

end

n=0;

for i=1:50

if XF(1,i)>0

n=n+1;

end

end

m=0;

for k=51:300

if XM(1,k)>0 m=m+1;

end

end

N=300-m-n;

H=N/300;

R

N

H