实验一 绘制二进熵函数曲线
验证最大离散熵定理 使用matlab 绘制二进制信源的熵随概率变化的曲线
验证最大离散熵定理使用matlab 绘制二进制信源的熵随
概率变化的曲线
摘要：
I.引言
- 介绍最大离散熵定理
- 熵的定义和计算方法
II.验证最大离散熵定理
- 使用matlab 进行验证
- 绘制二进制信源的熵随概率变化的曲线
III.结论
- 总结最大离散熵定理的验证过程
- 分析熵随概率变化的趋势
正文：
I.引言
熵是信息论中一个重要的概念，用于衡量信息的不确定性或混乱程度。
最大离散熵定理是信息论中的一个重要定理，它指出在一定条件下，离散信源的最大熵分布是概率分布。
本文将通过使用matlab 绘制二进制信源的熵随概率变化的曲线，来验证最大离散熵定理。
II.验证最大离散熵定理
首先，我们需要使用matlab 进行验证。
matlab 是一种功能强大的数学软件，可以方便地进行各种数学计算和图形绘制。
我们可以使用matlab 编写
代码，计算二进制信源的熵，并绘制熵随概率变化的曲线。
接下来，我们绘制二进制信源的熵随概率变化的曲线。
通过观察曲线，我们可以发现熵随概率变化的趋势。
当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。
III.结论
通过使用matlab 绘制二进制信源的熵随概率变化的曲线，我们验证了最大离散熵定理。
我们发现，当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。
信息论编码实验二熵的计算
实验二 熵的计算一、实验目的通过本次实验的练习，使学生进一步巩固熵的基本概念，掌握熵的统计方法，培养学生使用编程工具进行分析计算的基本能力。
二、实验仪器与软件1. PC 机 1台2. MATLAB7.0环境三、实验原理(一)信息熵的基本原理离散信源数学模型如下（设该信源可能取的符号有n 个）：⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, , , , )( 2121n i n i a p a p a p a p a a a a X P X 则该信源的信息熵为)(log )()(21i n i ix p x p X H ∑==H(X)是信源X 中每个事件出现的平均信息量，或者说H(X)表示了信源X 中各符号出现的平均不确定性。
图像的信息熵设数字图像的灰度级集合为{r 1,r 2,…,r m }，其对应的概率分别为p (r 1),p (r 2),…,p (r m )，则图像的信息熵可以定义为：图像的信息熵表示像素各个灰度级位数的统计平均值，它给出了对此输入灰度级集合进行无失真图像编码时所需要的平均位数的下限。
（二）图像文件的读取（1）函数imread （） MATLAB 通过函数imread 完成图像的读取，该函数语法格式如下：I = imread(filename,fmt)用于读取由filename 指定的图像数据到数组A 中，参数fmt 对应于所有图像处理工具所支持的图像文件格式。
如I=imread （'rice.tif'）；（2）函数imhist （） 显示图像的直方图。
用法：imhist(I,n) 计算和显示图像I 的直方图，n 为指定的灰度级数目，默认为256。
如果I 是二值图像，那么n 仅有两个值。
[counts,x] = imhist(I) 返回直方图数据向量counts 或相应的色彩值向量x 。
（3）函数size(a) 表示矩阵a 每个维度的长度如size([1 2 3;4 5 6])，返回[2 3]，表示该矩阵有2行3列（4）find 寻找非零元素下标如：x = [11 0 33 0 55];find(x)ans =135find(x == 0)ans =24(5)相关函数点运算在MATLAB中，有一种特殊的运算，因为其运算符是在有关算术运算符前面加点，所以叫点运算。
信源熵函数曲线Matlab仿真
信源熵函数曲线Matlab仿真信源熵函数曲线Matlab仿真实验目的1.掌握离散信源熵的原理和计算方法。
2．熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。
3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。
实验原理离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。
设第i个变量x i发生的概率为p i=P{X=x i}。
则：定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。
即：I（x i）= -log2p(x i)定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即：单位为比特/符号或比特/符号序列。
平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。
必须注意一下几点：a.某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。
b.信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。
c.熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。
或者说获得这么大的信息量后，信源不确定度就被消除了。
信源熵和平均自信息量两者在数值上相等，但含义不同。
当某一符号x i的概率p(x i)为零时，p(x i)log p(x i) 在熵公式中无意义，为此规定这时的p(x i)log p(x i) 也为零。
当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。
关于信源熵的实验报告讲解
实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号**********日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
绘制二元单符号离散信源熵的变化曲线
绘制二元单符号离散信源熵的变化曲线二元单符号离散信源熵是信息论中的一个重要概念，用于衡量一个二元符号序列中所包含的信息量。
在信息论中，熵表示了一个信源的不确定性，即信源输出的符号的平均信息量。
为了绘制二元单符号离散信源熵的变化曲线，我们需要考虑信源的概率分布。
在二元单符号离散信源中，每个符号的概率可以用一个长度为2的概率分布向量表示。
设P = (p1, p2)为信源的概率分布向量，其中p1和p2分别代表了两个符号的概率。
根据信息论的定义，信源的熵H可以通过以下公式计算：H = -p1*log2(p1) - p2*log2(p2)在绘制曲线之前，我们可以先确定概率分布的范围。
由于概率的范围是[0, 1]，我们可以选择一些典型的概率分布进行计算和绘图。
例如，我们可以选择p1从0到1变化，p2则为1-p1。
这样，我们就可以得到一个关于p1的二元单符号离散信源熵的变化曲线。
另外，我们还可以考虑其他形式的概率分布。
例如，可以选择p1从0到0.5变化，然后p2从0.5到1变化，这样可以得到一条从左上角到右下角的曲线。
通过使用计算机编程语言（如Python）和绘图库（如Matplotlib），我们可以根据上述公式和概率分布范围进行计算和绘制。
具体步骤如下：1. 导入所需的库和模块，如NumPy和Matplotlib。
2. 定义一个函数，用于计算给定概率分布的二元单符号离散信源熵。
该函数将概率分布作为输入，并返回对应的熵值。
3. 定义概率分布的范围，如p1从0到1变化，p2为1-p1。
4. 使用一个循环，遍历概率分布范围中的每个概率值。
5. 对于每个概率值，调用计算熵的函数，并将结果保存到一个列表中。
6. 使用Matplotlib库绘制概率值与熵值的变化曲线。
绘制二元单符号离散信源熵的变化曲线可以帮助我们理解不同概率分布下信源的不确定性变化情况。
这个曲线可以被应用于许多领域，如数据压缩和通信系统设计等。
信息熵曲线
信息熵曲线
对于一个二进制信源，信息熵曲线描述了不同码长下的平均编码位数与概率分布之间的关系。
在信息论中，熵是衡量信息的不确定性的度量，而信息熵曲线则展示了不同码长下的平均信息量。
信息熵曲线通常呈现出以下特点：
1. 随着码长增加，平均编码位数逐渐减小。
这是由于较长的码
字可以用来表示较低概率的符号，从而节省了编码位数。
2. 当码长趋近于无穷大时，平均编码位数趋近于信息熵。
信息
熵是信源的平均信息量，表示了信源输出的平均不确定性。
3. 信息熵曲线在不同信源分布下可能呈现不同的形状。
对于均
匀分布的信源，信息熵曲线是一条平直的线；而对于不均匀分布的信源，信息熵曲线可能会有起伏或呈现其他形态。
信息熵曲线在信息论和编码理论中具有重要的应用价值。
通过了解信源的概率分布和信息熵曲线，我们可以设计出更高效的编码方案，以实现信息的压缩和传输的优化。
同时，信息熵曲线也有助于我们理解信息传输中的信息量和不确定性，并为数据压缩、通信系统设计等领域提供理论基础。
信息理论与编码实验指导书
《信息理论与编码》实验指导书武汉理工大学教材中心2009年7月实验一 绘制二进熵函数曲线一、实验目的1.熟悉 Matlab 工作环境及工具箱；2.掌握 Matlab 绘图函数；3.理解熵函数表达式及其性质。
二、实验内容实验内容与要求内容：用 Matlab 软件绘制二进熵函数曲线。
要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。
知识要点1. 信源熵的概念及其性质。
参照教材及参考书。
2. 二进熵公式：1201,01()1x x X p P X p p = = ⎧⎫⎡⎤= ≤≤⎨⎬⎢⎥ -⎣⎦⎩⎭()()log ()[log (1)log(1)]()i i iH X p x p x p p p p H p =- =-+-- =∑注意：虽然理论上定义 0 · log0 = 0 ，但是，在实际运算时，对数函数 logx 的变量 x 不能取 0 值，而应设置一个系统默认的最小值 eps 。
三、实验总结1、绘制二进熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析二进熵函数曲线的特点。
四、思考与提高1、绘制三元熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析三元熵函数曲线的特点。
实验二一般信道容量迭代算法一、实验目的1、熟悉Matlab 工作环境及工具箱；2、掌握一般信道容量迭代算法的原理。
二、实验内容实验内容与要求内容：用Matlab 软件编程实现一般信道容量迭代算法。
要求：1、提前预习实验，认真阅读相应的参考书，熟悉实验原理；2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3、独立完成实验，认真做好实验记录；4、实验结束后，认真填写实验报告。
知识要点:：1、一般信道容量迭代算法的原理。
参照教材及参考书。
绘制二元单符号离散信源熵的变化曲线
绘制二元单符号离散信源熵的变化曲线
我很抱歉，作为AI语言模型，我无法绘制图表。
但是，我可以为您提供有关二元单符号离散信源熵变化曲线的一些解释。
在通信系统中，熵是评估信息源不确定性的一种量度。
在二元单符号离散信源中，源符号只有两个取值，比如“0”和“1”，并且它们的出现概率是已知的。
二元单符号离散信源的熵可以通过以下公式计算：
H = -p*log_2(p) - (1-p)*log_2(1-p)
其中，p是“0”符号出现的概率，1-p是“1”符号出现的概率。
这个公式可以用来计算任何二元单符号离散信源的熵。
在二元单符号离散信源中，熵的最大值为1比特（当两个符号的出现概率相等时），最小值为0比特（当只有一个符号出现时）。
绘制二元单符号离散信源熵的变化曲线可以通过绘制不同概率值下的熵值来实现。
例如，可以绘制p从0到1变化时熵的变化曲线，以显示不同概率值下的熵值。
信息论实验信息熵函数的计算
信息论实验信息熵函数的计算信息熵是信息论中的一个重要概念，用于度量信息的不确定性或者随机性。
它可以描述信息源的平均信息量，也可以用于衡量编码的效率。
本文将介绍信息熵的计算方法，并通过实例来说明如何计算信息熵。
首先，我们需要了解如何计算一个离散概率分布的信息熵。
对于一个离散概率分布，它可以由一个概率密度函数来描述，其中每个事件的概率都是非负的，并且所有事件的概率之和为1、令p(x)表示事件x的概率，则该分布的信息熵H(X)可以通过以下公式计算：H(X) = -∑ [p(x) * log₂(p(x))]其中，∑表示对所有事件求和。
log₂表示以2为底的对数函数。
该公式的物理意义是，对于每个事件x，我们将其概率p(x)与以2为底的对数计算结果相乘，并将所有结果相加，得到的值即为信息熵。
为了更好地理解信息熵的计算过程，我们可以通过一个实例来进行展示。
假设有一个硬币的抛掷实验，在该实验中，正面向上和反面向上的概率分别为p(正)=1/2和p(反)=1/2、则该实验的信息熵可以使用以下公式进行计算：H(硬币实验) = -[1/2 * log₂(1/2) + 1/2 * log₂(1/2)]首先，我们需要计算log₂(1/2)的值。
根据对数的定义，我们可以将此式化简为：H(硬币实验)=-[1/2*(-1)+1/2*(-1)]=-(-1/2+1/2)=-0正如我们所期望的，在这个实验中，硬币是确定性的，即每次抛掷都会出现正面或反面。
因此，硬币实验的信息熵为0，意味着在该实验中我们不需要任何信息来描述结果。
接下来，我们来计算一个更复杂的实例，假设有一组骰子的抛掷实验，其中每个面出现的概率分别为p(1)=1/6，p(2)=1/6，p(3)=1/6，p(4)=1/6，p(5)=1/6，p(6)=1/6、我们可以使用以上公式计算该实验的信息熵：H(骰子实验) = -[1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 *log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6)]首先，我们需要计算log₂(1/6)的值。
实验1
《信息论与编码》实验1 离散信源熵实验一、实验目的熟悉工作环境及Matlab 软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理信息熵自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。
熵的表示[]()()()()()log ()i i i i iiH X E I X p x I x p x p x ===-∑∑注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。
特殊公式：某个pk=0时，0log0=0 (0lim log 0→=x x x )在熵的定义中忽略零概率事件。
平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均:()()()()()();/;/=-=-I X Y H X H X Y I Y X H Y H Y X三、实验内容1.用 Matlab 软件绘制二进熵函数曲线。
二元信源1011⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭X p P p p二元信源的熵为(,1)log (1)log(1)-=----H p p p p p p绘制当p 从0到1之间变化时的二元信源的信息熵曲线.Matlab 程序： p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);title('二进熵函数曲线'); ylabel('H(p,1-p)') 2．绘制三元信源的熵三元信源1231212120,11()⎛⎫⎛⎫=≤≤ ⎪⎪--⎝⎭⎝⎭x x x X p p p p p p P x三元信源的熵为111111221212(,,1)log log (1)log(1)--=-------H p p p p p p p p p p p p 绘制当12,p p 从0到1之间变化时的三元信源的信息熵曲线.3．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤=⎢⎥⎢⎥=-⎣⎦⎣⎦X P x平均互信息：根据：1()()(|)1===∑rj i j i i P b P a P b a所以：21(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p21(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p1111(;)()()()log ()log [log log ]()()()ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p pH p p H p 绘制当,ωp 从0到1之间变化时的平均互信息熵曲线.(;)()(/)=-I X Y H Y H Y X 1()()(/)log(/)=-∑∑XYH Y P x P y x P y x 11()()[loglog ]=-+∑XH Y P x p p p p11()[loglog ]()()=-+=-H Y p p H Y H p p p四、实验报告要求简述实验目的；简述实验原理；分别绘制二元信源和三元信源的熵及平均互信息量图形。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
未信的我
1 0.9 0.8 0.7 0.6
信源熵
0.5 0.4 0.3 0.2 0.1 0
0
0.1
0.2
0.3
0.4
0.5 概率
0.6
0.7
0.8
0.9
1
未信的我
实验一
一、实验目的：
绘制二进熵函数曲线（2 个学时）
1. 掌握 Excel 的数据填充、公式运算和图表制作 2. 掌握 Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质
i
四、实验内容：
用 Excel 或 Matlab 软件制作二进熵函数曲线。 方法一 用 Excel 软件制作程序。 2、 准备一组数据 p。 在 Excel 的一个工作表的 A 列 （或其它列） 输入一组 p，
未信的我
取步长为 0.01，从 0 至 1. 产生 101 个 p （利用 Excel 填充功能） 。 若无法直接填充出 0~1 的 101 个数字， 可以先填充出 1~100，然后在旁边 B 列使用公式“=A1/100” ，再进行填充。 3、取定对数底 c，在 B 列计算 H(x) ,注意对 p=0 与 p=1 两处，在 B 列对应 位置直接输入 0。Excel 中提供了三种对数函数 LN(x),LOG10(x)和 LOG(x,c)，其 中 LN(x)是求自然对数，LOG10(x)是求以 10 为底的对数，LOG(x,c)表示求对数。 选用 c=2,则应用函数 LOG(x,2)。 在单元格 C2 中输入公式：=-B2*LOG(B2,2)-(1-B2)*LOG(1-B2,2) 双击 B2 的填充柄，即可完成 H(p)的计算。 4、使用 Excel 的图表向导，图表类型选“XY 散点图” ，子图表类型选“无 数据点平滑散点图” ， 数 据 区 域 用 计 算 出 的 H(p) 数 据 所 在 列 范 围 ， 即 $C$1:$C$101。在“系列”中输入 X 值(即 p 值)范围，即$B$1:$B$101。在 X 轴 输入标题“概率” ，在 Y 轴输入标题“信源熵” 。
X P( X x1 0 ) p x 2 1 , 0 p 1 1 p
H ( X ) p( xi ) log p( xi ) p log p 1 p log 1 p H( p ) 信源熵的基本性质： 1.非负性 H( X ) 0 2.对称性 p( xi )的顺序任意互换时，熵的值不变 3.最大离散熵定理 信源X中包含n个不同离散信息时，信源熵 a . H ( X ) log 2 n 当且仅当X中各个消息出现的概率全相等时，上式取等号。 b. H P 1 Q H ( P ) 1 H ( Q )
信源熵散点图 1.2 1
信源熵
0.8 0.6 0.4 0.2 0 0 50 概率 100 150 系列1
方法二 用 matlab 绘制 x=0:0.01:1; y=zeros(1,101); for i=2:100 y(i)=-x(i)*log2(x(i))-(1-x(i))*log2(1-x(i)) end plot(x,y); xlabel('概率'); ylabel('信源熵');