信息论实验-熵和平均互信息
信息论举例讲解信息量熵及互信息量
计算机科学领域的应用
数据压缩
计算机科学中的数据压缩技术同样基于信息论的原理，通 过去除数据中的冗余信息，实现数据的压缩存储和传输。
加密与安全
信息论在密码学和安全领域也有广泛应用，如利用信息论中的 混淆和扩散原则设计加密算法，保护信息的机密性和完整性。
机器学习
在机器学习中，信息论用于特征选择、模型评估等方面。例如 ，利用互信息来衡量特征与目标变量之间的相关性，从而进行
熵的性质
非负性
熵的值总是非负的，表示系统的不确定性或混乱程度不可能为负值。
可加性
对于相互独立的事件或系统，其熵的和等于各事件或系统熵的和， 表示不确定性或混乱程度可以叠加计算。
最大值性
当系统中各个事件发生的概率相等时，该系统的熵达到最大值，表 示此时系统的不确定性或混乱程度最高。
熵的计算举例
二进制信源熵的计算
举例1
对于离散随机变量 X 和 Y，其联合概率分布为 p(x,y)=[0.1, 0.2, 0.3, 0.4]，边缘概率分布为 p(x)=[0.3, 0.7] 和 p(y)=[0.5, 0.5]。根据互信息量的定义公式，可以计算出 I(X;Y)=0.1979。
举例2
对于连续随机变量 X 和 Y，其联合概率密度函数为 f(x,y)，边缘概率密度函数为 fX(x) 和 fY(y)。可以通过 数值积分的方法计算出互信息量。例如，对于正态分布 N(0,1) 和 N(0,2) 的随机变量 X 和 Y，其互信息量 为 I(X;Y)=0.5×log2≈0.3466。
要点一
目的
通过举例讲解信息量、熵和互信息量的概念，使读者更好 地理解和掌握这些概念。
要点二
意义
信息量、熵和互信息量是信息论中的基本概念，对于理解 和应用信息论具有重要意义。通过本次讲解，读者可以更 加深入地了解这些概念，并能够在实际问题中加以应用。 同时，这些概念在其他领域也有广泛的应用，如计算机科 学、控制论、统计学等，因此本次讲解也有助于读者在其 他领域中更好地应用信息论的知识。
信息论上机实验报告
信息论与编码实验报告实验一：计算离散信源的熵一、实验设备: 1、计算机2、软件：Matlab 二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程； 三、习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨云 大雨晴 乙地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦小雨晴 求此两个信源的熵。
求各种天气的自信息量。
代码：x=[1/2,1/4,1/8,1/8]; y=[7/8,1/8];HX=sum(-x.*log2(x)) HY=sum(-y.*log2(y)) IX=-log2(x) IY=-log2(y) 答案：() 1.75;()0.5436H X H Y ==2、 某信息源的符号集由A 、B 、C 、D 、E 组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。
代码：x=[1/4,1/8,1/8,3/16,5/16]; HX=sum(-x.*log2(x))答案：H(X) = 2.2272bit/符号3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。
试计算其平均信息量。
代码：x=[1/4,1/8,1/8,1/2]; HX=sum(-x.*log2(x)) 答案：H(X) =1.75bit/符号4. 设一个二元信源（只有0和1两种符号）其概率空间为：(),1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦0 1编程画出H 与p 的关系，并说明当P 呈什么分布时，平均信息量达到最大值。
（说明：H=-p.*log2(p)-(1-p).log2(1-p);） 代码：p= 1/1000000:1/1000:1;H=-p.*log2(p)-(1-p).*log2(1-p); plot(p,H) grid on xlabel('p'); ylabel('HP'); 图：实验二：验证熵的可加性与强可加性1. 【例2.6】有一离散无记忆信源123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦验证二次扩展信源2X 的熵等于离散信源X 的熵的2倍，即2()2()H X H X =代码：x=[1/2,1/4,1/4];hx=sum(x.*log2(1./x))x2=[1/4,1/16,1/16,1/8,1/8,1/8,1/16,1/8,1/16] hx2=sum(x2.*log2(1./x2)) 答案：2() 1.5;() 3.0H X H X ==2. 验证两个统计独立的信源,X Y ，验证：()()()H XY H X H Y =+其中：123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦123111(),,333b b b Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦代码：x=[1/2,1/4,1/4]; y=[1/3,1/3,1/3];xy=[1/6,1/6,1/6,1/12,1/12,1/12,1/12,1/12,1/12] hx=sum(x.*log2(1./x)) hy=sum(y.*log2(1./y)) Hxy=sum(xy.*log2(1./xy)) 答案：() 1.5,() 1.585() 3.085H X H Y H XY ===3、条件熵的计算与熵的强可加性 验证离散二维平稳信源，满足：12121()()(|)H X X H X H X X =+某一离散二维平稳信源0121141(),,3694X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦12X X 其联合概率分布12()p X X 为：编程计算：1) 联合熵12()H X X 2) 条件熵21(|)H X X3) 验证：12121()()(|)H X X H X H X X =+代码：x1=[11/36,4/9,1/4]; x2=[11/36,4/9,1/4];b=[1/4,1/18,0;1/18,1/3,1/18;0,1/18,7/36]; HXY=0;for i=1:size(b,1) for j=1:size(b,2) if b(i,j)>0HXY=HXY-b(i,j).*log2(b(i,j)); end end end HXYHx1=sum(x1.*log2(1./x1)) Hx2=sum(x2.*log2(1./x2))b0=b(1,:); b1=b(2,:); b2=b(3,:);x1x2=[b0./x2;b1./x2;b2./x2]; Hx1x2=0;for i=1:size(x1x2,1) for j=1:size(x1x2,2) if x1x2(i,j)>0Hx1x2=Hx1x2-b(i,j).*log2(x1x2(i,j)); end end end Hx1x2 答案：12112121() 1.5426;(|)0.8717() 2.4144()(|) 2.4144H X H X X H X X H X H X X ===+=实验三：离散信道的平均互信息的计算1. 【习题3.1】 设信源12()0.6,0.4X x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦通过一干扰信道，接收到符号为12[,]Y y y =，其信道矩阵为：516631,44P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦1) 求信源X 中事件1x 和2x 分别含有的自信息；2) 收到消息(1,2)j y j =后，获得的关于(1,2)i x i =的信息量；3) 求信源X 和输出变量Y 的信息熵； 4) 信道疑义度(|)H X Y 和噪声熵(|)H Y X ； 5) 接收到消息Y 后获得的平均互信息；代码：x=[0.6,0.4];p=[5/6,1/6;3/4,1/4]; Ix1=log2(1./(x(1,1))) Ix2=log2(1./(x(1,2)))pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)]; py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)]; I=log2(p./[py;py]) Hx=sum(x.*log2(1./x)) Hy=sum(py.*log2(1./py))Hx_y=sum(sum(pxy.*log2(1./px_y))) Hy_x=sum(sum(pxy.*log2(1./p)))Ixy=sum(sum(pxy.*log2(p./[py;py])))答案：12111221221.()0.737() 1.32192.(;)0.0589,(;)0.263,(;)0.0931,(;)0.32193.()0.971,()0.72194.(|)0.9635(|)0.71455.(;)0.0074I x I x I x y I x y I x y I x y H X H Y H X Y H Y X I X Y ====-=-======2. 二元信道的互信息与信源分布的关系 有二元信源：01()1X p x ωω⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦有二元信道，其传递矩阵为：11p p P p p -⎡⎤=⎢⎥-⎣⎦， 其中0.2p =，即传递矩阵0.80.20.20.8P ⎡⎤=⎢⎥⎣⎦编程实现下面题目：1) 画出平均互信息(;)I X Y 随信源分布ω的关系曲线，并求出最大平均互信息。
信息论
自信息、互信息、信息熵、平均互信息，定义、公式（1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。
随机事件的自信息量定义为该事件发生概率的对数的负值。
设事件 的概率为 ，则它的自信息定义为 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。
一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。
（3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。
比如抛掷一枚硬币的试验所包含的信息量。
随机变量X 的每一个可能取值的自信息 的统计平均值定义为随机变量X 的平均自信息量: （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。
为了从整体上表示从一个随机变量Y 所给出关于另一个随机变量 X 的信息量，我们定义互信息 在的XY 联合概率空间中的统计平均值为随机变量X 和Y 间的平均互信息画出各种熵关系图。
并作简要说明I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)当X,Y 统计独立时，I(X;Y)=0实际信源往往是有记忆信源。
对于相互间有依赖关系的N 维随机变量的联合熵存在以下关系（熵函数的链规则） ：定理3.1 对于离散平稳信源，有以下几个结论： （1）条件熵 随N 的增加是递减的；（2）N 给定时平均符号熵大于等于条件熵 （3）平均符号熵 随N 的增加是递减的；（4）如果 ，则 存在，并且分组与非分组码，奇异与非奇异码，唯一可译码与非唯一可译码。
即时码与非即时码1. 分组码和非分组码将信源符号集中的每个信源符号固定地映射成一个码字 Si ，这样的码称为分组码W i 。
用分组码对信源符号进行编码时，为了使接收端能够迅速准确地将码译出，分组码必须具有一些直观属性。
信息论中的信息熵与互信息
信息论中的信息熵与互信息信息论是一门研究信息传输和处理的学科，它的核心概念包括信息熵和互信息。
信息熵是衡量信息的不确定性和随机性的度量，而互信息则是衡量两个随机变量之间的相关性。
本文将从信息熵和互信息的定义、计算方法以及实际应用等方面进行探讨。
一、信息熵的定义与计算方法信息熵是信息论中的一个重要概念，它衡量了一个随机变量的平均不确定性。
在信息论中，我们通常用离散概率分布来表示随机变量的不确定性。
对于一个离散随机变量X，其概率分布为P(X)，则其信息熵H(X)的定义如下：H(X) = -ΣP(x)log2P(x)其中，x表示随机变量X的取值，P(x)表示该取值出现的概率。
信息熵的单位通常用比特（bit）来表示。
信息熵的计算方法非常直观，我们只需要计算每个取值的概率乘以其对应的对数，并求和即可。
信息熵越大，表示随机变量的不确定性越高；反之，信息熵越小，表示随机变量的不确定性越低。
二、互信息的定义与计算方法互信息是衡量两个随机变量之间相关性的度量。
对于两个离散随机变量X和Y，其互信息I(X;Y)的定义如下：I(X;Y) = ΣΣP(x,y)log2(P(x,y)/(P(x)P(y)))其中，P(x,y)表示随机变量X和Y同时取值x和y的概率，P(x)和P(y)分别表示随机变量X和Y的边缘概率分布。
互信息的计算方法与信息熵类似，我们只需要计算每个取值同时出现的概率乘以其对应的对数，并求和即可。
互信息越大，表示两个随机变量之间的相关性越强；反之，互信息越小，表示两个随机变量之间的相关性越弱。
三、信息熵与互信息的实际应用信息熵和互信息在信息论中有广泛的应用，并且在许多领域中也得到了广泛的应用。
在通信领域中，信息熵被用来衡量信源的不确定性，从而确定数据传输的最佳编码方式。
互信息则可以用来衡量信道的容量，从而确定数据传输的最大速率。
在机器学习领域中，信息熵被用来衡量决策树的不确定性，从而确定最佳的划分属性。
互信息则可以用来衡量特征与标签之间的相关性，从而确定最佳的特征选择方法。
信源熵及平均互信息
通常只需研究上凸函数
14
詹森(Jenson)不等式
引理
若f(x)是定义在区间[a,b]上的实值连续上凸函数，则对 于任意一组 x1, x2,..., xn [a,b] 和任意一组非负实数
4
平均自信息量—信息熵
定义 2.1.6 集X上，随机变量I(xi)的数学期 望定义为平均自信息量
n
H (X ) E I (xi) E log p(xi) p(xi) log p(xi) i 1
集X的平均自信息量又称做是集X的信息熵， 简称做熵。含义上信息熵与热熵有相似之处。
5
平均不确定性
i, pi 1,其余的pk 0 (k i)
即，信源虽然有不同的输出符号，但它只有一个符号几 乎必然出现，而其它符号几乎都不可能出现，那么，这 个信源是一个确知信源，其信源熵等于零。
这种非负性对于离散信源的熵是正确的，但是对于 连续信源来说，该性质不存在。
17
熵函数的性质—— 3.扩展性
lim
如：
二元熵函数 H(X)
1.0
0
1.0 p
二图元3熵.1熵函函数数
23
各种熵之间的关系
1.联合熵与信息熵、条件熵的关系
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)-H(X/Y)=H(Y)-H(Y/X) H(X1,X2,...,XN)
=H(X1)+H(X2/X1)+...+H(XN/X1X2...XN)
X P( X
)
0.x910, ,
互信息和信息熵
互信息与信息熵的区别
01
互信息只衡量两个随机变量之间的相关性，而信息 熵则衡量单个随机变量的不确定性。
02
互信息可以是负值，表示两个随机变量之间的负相 关性；而信息熵总是非负的。
03
互信息的计算需要考虑联合概率分布，而信息熵的 计算只需要单个随机变量的概率分布。
互信息与信息熵的应用场景
互信息可以应用于信号处理、模式识 别、机器学习等领域，例如在特征选 择和降维中用于衡量特征之间的相关 性。
机器学习中信息熵的运用
分类问题
在分类问题中，信息熵可以用于构建决策边界，通过最大化类别信息熵来提高分类器的 泛化能力。
聚类分析
信息熵在聚类分析中可以用于衡量聚类结果的纯度，通过最小化簇内信息熵来实现更有 效的聚类。
互信息和信息熵在机器学习中的优劣比较
互信息的优点
能够衡量特征间的相关性，有助于特征选择和降维；能够发现非线性 关系，适用于非高斯分布的数据。
互信息的缺点
计算量大，尤其是当特征维度较高时；无法处理连续型特征；可能受 到异常值和噪声的影响。
信息熵的优点
能够度量数据的混乱程度，适用于分类和聚类问题；能够处理连续型 特征。
信息熵的缺点
对数据的分布敏感，对于非高斯分布的数据可能表现不佳；在处理不 平衡数据集时可能会受到较大影响。
06
互信息和信息熵在通信系统 中的应用
在不确定性较大的数据中效果较差。
互信息和信息熵在数据压缩中各有优劣，实际应用中 可以根据具体情况选择使用。
05
互信息和信息熵在机器学习 中的应用
机器学习中互信息的运用
特征选择
互信息可以用于特征选择，衡量特征与目标变量之间的关联程度，帮助去除无关或冗余特征，从而提高模型的性 能。
西电信息论第二章 平均互信息和熵的关系2011
H ( X N ) = NH ( X )
若若符号离散信源的数 学其其为 :
x2 ,..., xi ,.., xn n X x1 , P( X ) = p( x ), p( x ),..., p( x ),..., p( x ), ∑ p( xi ) = 1 1 2 i n i =1 N N 则信源 X的 N次次次信源用 X 来表来 , 该该信源该 n 个个个 (消息消消 )
∑ ∑ P ( a ) P (b
i =1 j =1 r s i
r
s
j
ai ) log ai ) log
P ( b j ai ) P (b j ) P (b j ai )
∑ ∑ P ( a ) P (b
i =1 j =1 i
j
∑ P ( a )P ( b
i =1 i
r
j
ai )
I ( X;Y)
P ={P(ai )}i X
X
Y
H (Y / X ) = H ( XY) − H ( X ) = H (Y ) − I ( X ;Y )
H ( XY ) = H ( X ) + H (Y / X ) = H (Y ) + H ( X / Y ) = H ( X ) + H (Y ) − I ( X ; Y ) = H ( X / Y ) + H (Y / X ) + I ( X ; Y ) I ( X ;Y ) = H ( X ) − H ( X / Y ) = H (Y ) − H (Y / X ) = H ( XY ) − H (Y / X ) − H ( X / Y ) = H ( X ) + H (Y ) − H ( XY )
信息论实验报告
桂林理工大学实验报告班级：通信09-2班学号：3090731219 姓名：崔泽实验名称：计算离散信源的熵日期：2011年5月10日一、实验目的1、熟悉离散信源的特点2、熟悉离散信源平均信息量的计算方法二、实验内容1、写出计算自信息量的Matlab程序2、写出计算离散信源平均信息量的Matlab程序3、掌握二元离散信源的最大信息量与概率的关系4、完成习题三、习题1、程序：x=[0.5 0.25 0.125 0.125 ];y=[0.875 0.125];b=-x.*log2(x)H1=sum(b)c=-y.*log2(y)H1=sum(c)X=-log2(x)Y=-log2(y)程序运行结果：b = 0.5000 0.5000 0.3750 0.3750H1 =1.7500c = 0.1686 0.3750H1 = 0.5436X = 1 2 3 3Y =0.1926 3.0000由上面结果可以看出，甲信源的熵为： 1.7500已信源的熵为：0.5436甲地各种天气的信息量晴，云，大雨，小雨分别为1 2 3 3已地各种天气的信息量晴，小雨分别为0.1926 3.00002、Matlab程序：x=[1/4 1/8 1/8 3/16 5/16];a=-x.*log2(x);H=sum(a)程序运行结果：H = 2.22723、Matlab程序：X=[1/4 1/8 1/8 1/2];a=-x.*log2(x);H=sum(a)程序运行结果：H = 1.75003、Matlab程序：p=0.00011:0.1:0.99999;x=[p,1-p];a=-x.*log2(x);H=sum(a)plot(x,a)pHH = 7.0879当p呈等概率分布时，平均信息量达到最大值7.0879桂林理工大学实验报告班级：通信09-2班学号：3090731225 姓名：崔泽实验名称：离散信道德平均互信息及其信道容量的计算日期：2011年5月20日一、实验目的1、了解信道传输概率的状态图和信道转移概率的矩阵的特点2、了解什么是信道容量和最佳输入概率分布3、熟悉计算平均互信息和信道容量的计算步骤二、实验内容1、写出计算互信息和平均互信息的Matlab程序2、写出计算几种特殊离散信道的信道容量的Matlab程序3、完成习题三、习题1、Matlab程序：w=0.01:0.1:0.99;a1=log2(0.8./(0.6.*w+0.2));a2=log2(0.2./((-0.6).*w+0.8))I=0.8.*w.*a1+0.2.*(1-w).*a2+0.2.*w.*a2+0.8.*(1-w).*a1plot(w,I)程序运行结果：Imax=1.1681；即 C=1.1681；2、（1）原理：C=logr Matlab程序：r=3;c=log2(r)运算结果：c =1.5850（2）原理：C=log2(s)Matlab程序:S=2;C=log2(s)运行结果：C=1（3）原理：C=log2(s)-H(p1,p2,…,ps); Matlab程序:s=4;c=log2(s)+2/3*log2(1/3)+1/3*log2(1/6) 运行结果：c =0.0817（4）4、一般信道，其信道矩阵为：111244121636113884P⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦桂林理工大学实 验 报 告班级：通信09-2班 学号：3090731225 姓名：崔泽 实验名称：有噪信道编码定理 日期：2011年5月30日一、实验目的1、理解有噪信道编码定理的物理意义2、熟悉 Matlab 编程二、实验内容1、学习应用有噪信道编码定理解决实际问题2、将程序在计算机上仿真实现，验证程序的正确性3、完成习。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验3
• Y=X+N • X为-1和1的等概分布信源 • N服从（ -sqrt(3), sqrt(3)）的均匀分布，方 差为1 • N服从均值为0，方差为1的高斯分布 • 比较两种情况下的y的错误率，试说明原因。
熵和平均互信息
1 信息熵的定义与计算
离散信源X的熵定义为自信息的平均值,记为H(X)
H ( X ) p ( x ) log p ( x )
x
简记为 H ( X ) H ( p 1 , p 2 , p n )
2.熵的基本性质(1)
对称性
非负性 p=(p1,p2,…,pn)中，各分量的次 序可以任意改变 自信息非负，熵为自信息的 平均 熵非负
实验1
• 二元信源X输出符号为{0,1}，PX(0)=0.5， 条件概率分别为PY|X(0|0) = PY|X(1|1)=1-p， PY|X(1|0)= PY|X(0|1)=p。 • 比较x和y的错误率与p的关系 • I（X;Y）与p的关系
Page 7
实验2
• 一个三元无记忆信源，符号集为{0,1,2} ， 为 的概率，用Matlab软件绘制熵函数曲线， 并分析信源熵的性质。
扩展性
可加性
0
lim log 0 lim0 H q 1 ( p 1 , p 2 , , p n - , ) H q ( p 1 , p 2 , , p n )
即：小X )
H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN|X1…XN-1) 复合事件集合的不确定性为各个分事件集合的不确定性的和
Page 3
3.熵的基本性质(2)
极值性
定理2. 4. 3 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生 时，熵达到最大值
平均互信息的定义
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
平均互信息的性质
• • • • • 非负性 线性变换下平均互信息的不变性 凸函数 定理1： I ( X ; Y ) 是输入概率分布p ( x )的上凸函数 I 定理2： 对于固定的概率分布p ( x ) ，( X ; Y ) 为条 件概率p ( y | x ) 的下凸函数。