二元对称信道平均互信息的图形分析 - 信息论与编码实验报告
信息论与编码实验2-实验报告
信息论与编码实验2-实验报告信息论与编码实验 2 实验报告一、实验目的本次信息论与编码实验 2 的主要目的是深入理解和应用信息论与编码的相关知识，通过实际操作和数据分析，进一步掌握信源编码和信道编码的原理及方法，提高对信息传输效率和可靠性的认识。
二、实验原理（一）信源编码信源编码的目的是减少信源输出符号序列中的冗余度，提高符号的平均信息量。
常见的信源编码方法有香农编码、哈夫曼编码等。
香农编码的基本思想是根据符号出现的概率来分配码字长度，概率越大，码字越短。
哈夫曼编码则通过构建一棵最优二叉树，为出现概率较高的符号分配较短的编码，从而实现平均码长的最小化。
（二）信道编码信道编码用于增加信息传输的可靠性，通过在发送的信息中添加冗余信息，使得在接收端能够检测和纠正传输过程中产生的错误。
常见的信道编码有线性分组码，如汉明码等。
三、实验内容与步骤（一）信源编码实验1、选取一组具有不同概率分布的信源符号，例如：A（02）、B （03）、C（01）、D（04）。
2、分别使用香农编码和哈夫曼编码对信源符号进行编码。
3、计算两种编码方法的平均码长，并与信源熵进行比较。
（二）信道编码实验1、选择一种线性分组码，如（7,4）汉明码。
2、生成一组随机的信息位。
3、对信息位进行编码，得到编码后的码字。
4、在码字中引入随机错误。
5、进行错误检测和纠正，并计算错误纠正的成功率。
四、实验结果与分析（一）信源编码结果1、香农编码的码字为：A（010）、B（001）、C（100）、D （000）。
平均码长为 22 比特，信源熵约为 184 比特，平均码长略大于信源熵。
2、哈夫曼编码的码字为：A（10）、B（01）、C（111）、D （00）。
平均码长为 19 比特，更接近信源熵，编码效率更高。
（二）信道编码结果在引入一定数量的错误后，（7,4）汉明码能够成功检测并纠正大部分错误，错误纠正成功率较高，表明其在提高信息传输可靠性方面具有较好的性能。
信息论与编码技术实验报告
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码实验报告
NANCHANG UNIVERSITY信息论与编码实验报告（2018年11月27日）学院：信息工程学院系电子信息工程系专业班级：学生姓名：学号：指导教师：目录实验一自信息量和熵源.............................................................................................. 实验二准对称信道容量.............................................................................................. 实验三费诺不等式...................................................................................................... 实验四香农编码.......................................................................................................... 实验五费诺编码.......................................................................................................... 实验六霍夫曼编码......................................................................................................实验一自信息量和熵源一、实验要求1、画出I=-的函数图；2、画出H(p)=-p-(1-p)函数图。
二、实验原理及理论分析自信息量：一个事件的自信息量就是对其不确定性的度量。
信息论与编码实习报告
信息论与编码实习报告一、引言信息论与编码是通信工程、计算机科学和电子工程等领域的重要基础课程。
本次实习旨在通过实际操作，深入理解和掌握信息论与编码的基本原理和技术，提高我们的实际操作能力和问题解决能力。
二、实习内容1、信息论基础：实习的第一部分，我们通过自学和讨论的方式，深入学习了信息论的基本概念和原理，包括信息的度量、熵、信道容量等。
2、编码理论：在这一阶段，我们重点学习了线性编码、循环编码、哈夫曼编码等编码方法，并了解了编码的效率及其可靠性。
3、模拟与数字通信系统：我们通过模拟软件，设计和实现了简单的模拟通信系统，同时，也通过实验箱，了解了数字通信系统的基本原理和技术。
4、无线通信和网络：在这一部分，我们重点学习了无线通信和网络的基础知识，包括无线信道模型、无线调制解调技术、无线网络协议等。
5、实习项目：最后，我们根据所学的知识，完成了一个实习项目——设计并实现一个具有高可靠性和高效率的通信系统。
三、实习收获通过这次实习，我们收获颇丰。
首先，我们对信息论与编码的基本概念和原理有了更深入的理解和掌握，能够更好地将理论知识应用到实际中。
其次，我们提高了自己的实际操作能力和问题解决能力，能够在实践中发现和解决问题。
最后，我们了解了通信系统的基本原理和技术，对未来的学习和工作有了更好的准备。
四、结论本次实习是我们学习信息论与编码的重要环节，我们通过实际操作，深入理解和掌握了信息论与编码的基本原理和技术，提高了自己的实际操作能力和问题解决能力。
我们也发现了自己的不足之处，将在未来的学习和工作中更加努力，不断提高自己的能力和水平。
信息论与编码曹雪虹课后习题答案随着科技的发展，信息已经成为现代社会中不可或缺的一部分。
在大学中，信息论与编码作为一门重要的学科，已经成为了计算机科学、通信工程、电子工程等专业的必修课程。
而在这门课程中，曹雪虹教授的教材《信息论与编码》被广泛使用。
本文将介绍一些该教材的课后习题答案，以帮助读者更好地掌握信息论与编码的相关知识。
信息论与编码实验报告
信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。
二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。
实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。
信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。
根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。
信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。
信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。
编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。
常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。
三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。
2.设置信道模拟器的信道参数，模拟信道传输过程。
3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。
4.计算信道容量和实际传输速率，比较两者的差异。
5.改变信道参数和编码方式，观察对实际传输速率的影响。
四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。
这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。
在实验中，我们还可以观察到不同编码方式对传输速率的影响。
例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。
而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。
此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。
信息论与编码实验二
实验二 离散信道及其容量一、实验目的1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法； 3、 掌握二元扩展信道的设计方法并会求其平均互信息量。
二、实验原理若某信道输入的是N 维序列x ，其概率分布为q(x),输出是N 维序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C 定义为()max (X;Y)q x C I =。
三、实验内容1、给定BSC 信道，信源概率空间为信道矩阵 0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。
2 、编写一M 脚本文件t03.m ，实现如下功能：在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。
3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为XP ０ １ 0.6 0.4= XPx ０ １ ２ 0.3 0.5 0.2=求： 平均互信息量；4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。
四、程序设计与算法描述1)设计思路1、信道容量()max (X;Y)q x C I 因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。
程序代码：clear all,clc;w=0.6;w1=1-w;p=0.01;X=[0 1];P =[0.6 0.4];p1=1-p;save data1 p p1;I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))-(p*log2(1/p)+p 1*log2(1/p1));C=1-(p*log2(1/p)+p1*log2(1/p1));fprintf('互信息量:%6.3f\n 信道容量:%6.3f',I_XY,C);p=eps:0.001:1-eps;p1=1-p;C=1-(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C');load data1;w=eps:0.001:1-eps;w1=1-w;I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))-(p .*log2(1./p)+p1.*log2(1./p1));subplot(1,2,2),plot(w,I_XY)xlabel('w'),ylabel('I_XY');0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1P=实验结果：2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。
信息论与编码理论课程实验报告
二、实验环境及相关情况（包含使用软件、实验设备、主要仪器及材料等）
设备：PC机
软件：matlab 2007
0.0055 0.0115 0.0061 0.0176 0
构建信源模型如下：
h i j k l m n
0.0267 0.0672 0.0042 0.0030 0.0521 0.0212 0.0733
o p q r s t u
0.0842 0.0254 0.0048 0.0648 0.0933 0.0739 0.0327
9.实验报告独立完成，无抄袭现象，并按时提交，格式规范。
综合评定：
附录（程序源代码）
1.编写MATLAB程序
clc
clear all
%随机输入一组数据
string='abdddssdsssdabaabaddkkidkidkdiakdjjaidjaid';
%将上述中所有英文字母化为小写
string=lower(string);
自评/互评成绩：100（评阅者签名：熊萌萌）
2、教师评价
评价标准
评语等级
优
良
中
及格
不合格
1.实验态度认真，实验目的明确
2.实验方案或流程图思路清晰、合理
3.实验程序设计合理，能运行
4.实验步骤记录详细，具备可读性
5.实验数据合理
6.实验结论正确
7.实验总结分析合理、透彻
8.实验报告完整、文字叙述流畅，逻辑性强
信息论与编码实验报告
《信息论与编码》实验报告《信息论与编码》实验报告实验序号：02 实验项目名称：离散信道及其信道容量结论：1、当输入和输出符号个数相同，且都等于r 时，则此信道称为强对称信道或均匀信道；2、这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。
实验内容二：平均互信息I （X ；Y ）是凸函数的论文一、 问题：由信源的概率分布P （Y ）=对x 求和P （X ）*P(Y|X)和平均互信息I(X;Y)=对x,y 求和p(x)*P(y|x)*logP(y|x)/P(y)可知，平均互信息只与信源的概率分布和信道的传递概率有关，但是它们之间有种什么关系？二、 证明定理一：平均互信息I(X;Y)是输入信源的概率分布P(x)的形函数（上凸函数）解： 根据上凸函数的定义来证明，先固定信道，即信道的传递概率P(y|x)是固定的。
那么平均互信息I(X;Y)将只是P(x)的函数，简写成I[P(x)]。
现选择输入信源X 的两种已知的概率分布P1(x)和P2(x)。
其对应的联合分布概率为P1(xy)=P1(x)P(y|x)和P2(xy)=P2(x)P(y|x)，因而信道输出端的平均互信息分别为I[P1(x)]和I[P2(x)]。
再选择输入变量X 的另一种概率分布P(x)，令01θ<<，和1θθ+=，而P(x)= 12()()P x P x θθ+，因而得其相应的平均互信息为I[P(x)]。
根据平均互信息的定义得1212,,,12[()][()][()](|)(|)(|)()log()log ()log ()()()x yx y x y I P x I P x I P x P y x P y x P y x P xy P xy P xy P y P y P y θθθθ+-=+-∑∑∑结论：平均互信息与信源的概率分布有关，有上可知，平均互信息是输入信源的概率分布P(x)的形凸函数。
定理二：平均互信息I(X;Y)是信道传递概率P(Y|X)的形凸函数（又称下凸函数）猜想：由平均互信息是输入信源的概率分布的形凸函数知，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算机与信息工程学院设计性实验报告
一、实验目的
分别画出在给定条件下，平均互信息的上凸性和下凸性的图形，然后利用计算机仿真二元对称信道，观察改变变量w 或p 时，所绘图形的变化情况。
二、实验仪器或设备
1、一台计算机。
2、MATLAB r2013a 。
三、设计原理
设二元对称信道的输入概率空间：
01⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
X P p
p 信道矩阵：
⎡⎤εε=⎢⎥εε⎢⎥⎣⎦
P .
其中：
1
00(0)()(|)εε====+∑i i i p b p a p b a p p
110
(1)()(|)εε====+∑i i i p b p a p b a p p
11()()log
()log ()εεεεεεεεεε=+++=+++H Y p p p p H p p p p p p
(|)()(|)log (|)
(|)log (|)
[log log ]
()
εεεεε=- =- =-+ =∑∑∑i j i j i i
j
j i j i j
H Y X p a p b a p b a p b a p b a H
(;)()(|)()()εεε=-=+-I X Y H Y H Y X H p p H 四、实验步骤
（1）试验程序，依次输出题目要求的三个图形
%信源w 固定，当w=0.5时,互信息随信道转移概率P 的变化情况 figure(1)
w=0.5; %信源w=0.5
p=0:.01:1; %信道不固定,在0~1变化
IXY=ESC2H(w.*(1-p)+(1-w).*p)-ESC2H(p); plot(p,IXY);
title('信源w=0.5时,互信息随信道转移概率P 的变化情况') xlabel('p')
ylabel('互信息IXY')
%信道P 固定，当P 取值不是0.5,互信息随信源w 的变化情况 figure(2)
p=0.3; %信道P 固定,取值不是0.5 w=0:.01:1; %信原不固定，在0~1变化 IXY=ESC2H(w.*(1-p)+(1-w).*p)-ESC2H(p); plot(w,IXY)
title('信道P=0.3时（不为0.5），互信息随信源w 的变化情况') xlabel('w')
ylabel('互信息IXY')
%信道P 固定，当p=0.5,互信息随信源w 的变化情况 figure(3)
p=0.5; %信道P 固定,取值不是0.5 w=0:.01:1; %信原不固定，在0~1变化 IXY=ESC2H(w.*(1-p)+(1-w).*p)-ESC2H(p); plot(w,IXY)
title('信道P=0.5，互信息随信源w 的变化情况') xlabel('w')
ylabel('互信息IXY')
（2）ESC2H.m ：%简单求二元熵函数
function [l_ans]=ESC2H(l_input) % [l_ans]=ESC2H(l_input) %输入：二元信源（信道），其中一元的概率 %输出：二元熵
if l_input>1|l_input<0
error('输入值有误，其值超出了概率范围') else
l_find=[find(l_input==0),find(l_input==1)]; l_input(l_find)=0.5;
l_ans=-l_input.*log2(l_input)-(1-l_input).*log2((1-l_input));
l_ans(l_find)=0;
end
（3）yanshi.m：%当取定的数值在0~1变化时，上凸（下凸）函数的变化情况function [m]=yanshi(movie)
%当取定的数值在0~1变化时，上凸（下凸）函数的变化情况
%[m]=yanshi(movie)输入演示序号，输出图形动画及getframe函数产生的电影帧%输入：movie=1：演示第一个图形动画
% movie=2：演示第二个图形动画
%输出：m：getframe函数产生的当前动画的电影帧，可使用movie函数进行操作%example： [m]=yanshi(1)
% [m]=yanshi(2)
if movie==1
%对于信源w固定，互信息随信道转移概率P的变化图形，
%当w在0~1之间变化时，函数图形的变化情况
%此时，函数图形规律变化
w=0;
for i=1:100
w=w+0.01; %信源在一帧图形中固定，动画中在0~1变化
p=0:.01:1; %信道不固定，在0~1变化
IXY=ESC2H(w.*(1-p)+(1-w).*p)-ESC2H(p);
plot(p,IXY);
axis([-0.1 1.1 -0.1 1.1])
title('信源W从0到1逐渐变化，具体取值见command window')
xlabel('p')
ylabel('互信息IXY')
m(i)=getframe;
disp(['当前的W取值为',num2str(w)])
end
else if movie==2
%对于信道P固定，互信息随信源w的变化图形，
%当p在0~1之间变化时，函数图形的变化情况
%此时，函数图形变化不规律
p=0;
for i=1:99
p=p+0.01; %信道在一帧图形中固定，动画中在0~1变化
w=0:.01:1; %信原不固定，在0~1变化
IXY=ESC2H(w.*(1-p)+(1-w).*p)-ESC2H(p);
plot(w,IXY)
title('信道P从0到1逐渐变化，具体取值见command window') xlabel('w')
ylabel('互信息IXY') m(i)=getframe;
disp(['当前的p 取值为',num2str(p)]) end end end
五、结果分析与总结
（1）程序1输出的图形：
00.10.20.30.4
0.50.60.70.80.91
0.2
0.4
0.6
0.8
1
信源w=0.5时,互信息随信道转移概率P 的变化情况
p
互信息I X Y
00.10.20.30.4
0.50.60.70.80.91
0.020.040.060.080.1
0.12信道P=0.3时（不为0.5），互信息随信源w 的变化情况
w
互信息I X Y
00.10.20.30.4
0.50.60.70.80.91
-1
-0.5
0.5
1
信道P=0.5，互信息随信源w 的变化情况
w
互信息I X Y
（2）程序1得出的结论：
1、信源w 固定，当w=0.5时，互信息I 是关于信道转移概率P 的下凸函数。
2、信道P 固定，当P 取值不是0.5时，互信息I 是关于信源w 的上凸函数。
3、信道P 固定，当p=0.5时，互信息I 为0，不随w 变化。
（3）程序3得出的结论：
1、对于信源w 固定，互信息随信道转移概率p 的变化图形，当w 在0~1之间变化时，函数图形的变化情况，此时，函数图形规律变化。
2、对于信道P 固定，互信息随信源w 的变化图形，当p 在0~1之间变化时，函数图形的变化情况，此时，函数图形变化不规律。
教师签名：
年 月 日。