信息论与编码实验1-3
信息论与编码实验报告
信息论与编码实验报告信息论与编码实验报告实验一：英文文本信息量的计算一、实验目的及要求a）实验目的1、通过本实验熟悉Matlab 软件编程环境2、编写M 文件实现对英文文本信息量的统计，掌握信息量、信源熵的计算方法b）实验要求1、了解matlab 中M 文件的编辑、调试过程2、编写程序实现对给定英文文本信息量的统计3、英文文本中字母不区分大小写，考虑空格的信息量，但不考虑标点符号的信息量4、建议英文文本采用txt 格式二、实验步骤及运行结果记录a）实验步骤1、查找各个英文字母及空格出现的频率2、在Matlab 中读取给定的英文文章3、计算英文文章的长度4、统计在该文章中各个字母及空格出现的次数并放入数组N 中5、计算各个字母和空格的信息量及整篇文章的信息量6、计算信源熵b）实验结果sumI = +003；H = 三、程序流程图四、程序清单，并注释每条语句五、实验小结通过本次实验熟悉了Matlab 软件编程环境和一些函数的功能及使用，掌握了信息量、信源熵的计算方法。
1 附一：开始读取英文文章计算文章的长度嵌套的for 循环语句假判断是否符合循环条件真if 否elseif 判断字是否为大写母输入相应的频率否elseif 判断是否为小写字母计算各个字母、空格及整篇文章的信息量是判断是否为小写字母是计算信源熵是放入数组N 中对应的位置放入数组N 中对应的位置放入数组N 中对应的位置结束附二: wenzhang=textread(‘实验一：english ‘,’\’); M=size(wenzhang); row=M(1,1); line=M(1,2); N=zeros(1,27); for i=1:row for j=1:line %读取英文文章%文章的长度ifdouble(wenzhang(i,j))>96&&double(wenz hang(i,j))double(wenzhang(i,j))>64&&double(wenz hang(i,j))N(1,double(wenzhang(i,j))-64)=N(1,doubl e(wenzhang(i,j))-64)+1; elseif double(wenzhang(i,j))==32N(1,27)=N(1,27)+1; end end end %统计各字母和空格出现的个数并存入N数组中。
信息论与编码实习报告
信息论与编码实习报告指导老师：姓名：班级：学号：实验一绘制二进制熵函数曲线一、内容用Matlab软件制作二进制熵函数曲线。
二、要求1.掌握Matlab绘图函数2.掌握、理解熵函数表达式及其性质三．Matlab程序及实验结果1.matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title('二进制熵函数曲线');ylabel('H(P,1-P)')2.运行结果：结果分析：从图中可已看出当p=0.5即信源等概时熵取得最大值。
实验二一般信道容量迭代算法一、内容编程实现一般信道容量迭代算法。
伪代码见教材。
二、要求1.掌握一般信道容量迭代算法的原理2.掌握MA TLAB开发环境的使用（尤其是程序调试技巧），或者使用C语言完成程序设计三．Matlab程序及运行结果1.matlab程序：clc;clear all;N = input('输入信源符号X的个数N=');M = input('输入信源符号Y的个数M=');p_yx=zeros(N,M); %程序设计需要信道矩阵初始化为零fprintf('输入信道矩阵概率\n')for i=1:Nfor j=1:Mp_yx(i,j)=input('p_yx='); %输入信道矩阵概率if p_yx(i)<0error('不符合概率分布')endendEndfor i=1:N %各行概率累加求和s(i)=0;for j=1:Ms(i)=s(i)+p_yx(i,j);endendfor i=1:N %判断是否符合概率分布if (s(i)<=0.999999||s(i)>=1.000001)error('不符合概率分布')endendb=input('输入迭代精度：'); %输入迭代精度for i=1:Np(i)=1.0/N; %取初始概率为均匀分布endfor j=1:M %计算Q(j)Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endendF(i)=exp(f(i));endx=0;for i=1:N %计算x x=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=1;while((IU-IL)>=b) %迭代计算for i=1:Np(i)=p(i)*F(i)/x; %重新赋值p(i) endfor j=1:M %计算Q(j) Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endEndF(i)=exp(f(i));endx=0;for i=1:N %计算xx=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=n+1;endfprintf('信道矩阵为：\n');disp(p_yx);fprintf('迭代次数n=%d\n',n);fprintf('信道容量C=%f比特/符号',IL);2.运行结果为：若输入信道矩阵为：0.8500 0.15000.7500 0.2500则运行结果为：实验四线性分组码的信道编码和译码一、内容编程实现线性分组码（6,2）重复码的信道编码和译码。
信息论与编码技术》实验教案
信息论与编码技术实验教案第一章：信息论基础1.1 信息的概念与度量介绍信息的基本概念，信息源的随机性，信息的不确定性。
讲解信息的度量方法，如香农熵、相对熵等。
1.2 信道模型与容量介绍信道的概念，信道的传输特性，信道的噪声模型。
讲解信道的容量及其计算方法，如单符号信道、多符号信道等。
第二章：信源编码与压缩2.1 信源编码的基本概念介绍信源编码的定义、目的和方法。
讲解信源编码的基本原理，如冗余度、平均冗余度等。
2.2 压缩算法与性能评价介绍无损压缩算法，如霍夫曼编码、算术编码等。
讲解有损压缩算法，如JPEG、MP3等。
分析各种压缩算法的性能评价指标，如压缩比、重建误差等。
第三章：信道编码与错误控制3.1 信道编码的基本概念介绍信道编码的定义、目的和方法。
讲解信道编码的基本原理，如纠错码、检错码等。
3.2 常见信道编码技术介绍常用的信道编码技术，如卷积码、汉明码、奇偶校验等。
分析各种信道编码技术的性能，如误码率、编码效率等。
第四章：数字基带传输4.1 数字基带信号与基带传输介绍数字基带信号的概念，数字基带信号的传输特性。
讲解数字基带信号的传输方法，如无编码调制、编码调制等。
4.2 基带传输系统的性能分析分析基带传输系统的性能指标，如误码率、传输速率等。
讲解基带传输系统的优化方法，如滤波器设计、信号调制等。
第五章：信号检测与接收5.1 信号检测的基本概念介绍信号检测的定义、目的和方法。
讲解信号检测的基本原理，如最大后验概率准则、贝叶斯准则等。
5.2 信号接收与性能分析分析信号接收的方法，如同步接收、异步接收等。
讲解信号接收性能的评价指标，如信噪比、误码率等。
第六章：卷积编码与Viterbi算法6.1 卷积编码的基本原理介绍卷积编码的定义、结构及其多项式。
讲解卷积编码的编码过程，包括初始状态、状态转移和输出计算。
6.2 Viterbi算法及其应用介绍Viterbi算法的原理，算法的基本步骤和性能。
讲解Viterbi算法在卷积编码解码中的应用，包括路径度量和状态估计。
信息论与编码技术实验报告
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码实验报告
信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。
二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。
实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。
信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。
根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。
信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。
信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。
编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。
常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。
三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。
2.设置信道模拟器的信道参数，模拟信道传输过程。
3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。
4.计算信道容量和实际传输速率，比较两者的差异。
5.改变信道参数和编码方式，观察对实际传输速率的影响。
四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。
这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。
在实验中，我们还可以观察到不同编码方式对传输速率的影响。
例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。
而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。
此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。
信息论与编码技术》实验教案
信息论与编码技术实验教案第一章：信息论基础1.1 实验目的1. 了解信息的基本概念及其度量方法；2. 掌握信息的熵、冗余度和信道容量等基本概念。
1.2 实验原理1. 信息的基本概念：信息、消息、信源等；2. 信息的度量：平均信息量、熵、冗余度等；3. 信道容量和编码定理。
1.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
1.4 实验步骤1. 讲解信息的基本概念及其度量方法；2. 分析实际例子，演示信息的熵、冗余度和信道容量的计算过程；3. 让学生通过实验软件进行相关计算和分析。
1.5 思考与讨论1. 信息量与消息长度的关系；2. 信道容量在实际通信系统中的应用。
第二章：数字基带编码2.1 实验目的1. 掌握数字基带编码的基本原理；2. 学会使用相关软件进行数字基带编码的仿真。
2.2 实验原理1. 数字基带编码的定义和分类；2. 常用数字基带编码方法：NRZ、RZ、曼彻斯特编码等；3. 数字基带编码的性能评估：误码率、带宽利用率等。
2.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
2.4 实验步骤1. 讲解数字基带编码的基本原理和方法；2. 演示常用数字基带编码的仿真效果；3. 让学生通过实验软件进行数字基带编码的仿真实验。
2.5 思考与讨论1. 数字基带编码的优缺点；2. 如何在实际通信系统中选择合适的基带编码方法。
第三章：信道编码与误码控制3.1 实验目的1. 了解信道编码的基本原理；2. 掌握常见的信道编码方法；3. 学会使用相关软件进行信道编码的仿真。
3.2 实验原理1. 信道编码的定义和作用；2. 常用信道编码方法：卷积编码、汉明编码、里德-所罗门编码等；3. 误码控制原理：检错、纠错等。
3.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
3.4 实验步骤1. 讲解信道编码的基本原理和方法；2. 演示常用信道编码的仿真效果；3. 让学生通过实验软件进行信道编码的仿真实验。
信息论与编码实验1-3
实验一关于信源熵的实验班级：电子131501姓名：赵英凯学号：201315020137时间：2016.5.22一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab求解图像熵。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p) 即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
2) 去除信源中符号分布概率为零的元素。
3) 根据平均信息量公式，求出离散信源的熵。
5. 图像熵的相关知识图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
信息论与编码实验报告
《信息论与编码》实验报告《信息论与编码》实验报告实验序号：02 实验项目名称：离散信道及其信道容量结论：1、当输入和输出符号个数相同，且都等于r 时，则此信道称为强对称信道或均匀信道；2、这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。
实验内容二：平均互信息I （X ；Y ）是凸函数的论文一、 问题：由信源的概率分布P （Y ）=对x 求和P （X ）*P(Y|X)和平均互信息I(X;Y)=对x,y 求和p(x)*P(y|x)*logP(y|x)/P(y)可知，平均互信息只与信源的概率分布和信道的传递概率有关，但是它们之间有种什么关系？二、 证明定理一：平均互信息I(X;Y)是输入信源的概率分布P(x)的形函数（上凸函数）解： 根据上凸函数的定义来证明，先固定信道，即信道的传递概率P(y|x)是固定的。
那么平均互信息I(X;Y)将只是P(x)的函数，简写成I[P(x)]。
现选择输入信源X 的两种已知的概率分布P1(x)和P2(x)。
其对应的联合分布概率为P1(xy)=P1(x)P(y|x)和P2(xy)=P2(x)P(y|x)，因而信道输出端的平均互信息分别为I[P1(x)]和I[P2(x)]。
再选择输入变量X 的另一种概率分布P(x)，令01θ<<，和1θθ+=，而P(x)= 12()()P x P x θθ+，因而得其相应的平均互信息为I[P(x)]。
根据平均互信息的定义得1212,,,12[()][()][()](|)(|)(|)()log()log ()log ()()()x yx y x y I P x I P x I P x P y x P y x P y x P xy P xy P xy P y P y P y θθθθ+-=+-∑∑∑结论：平均互信息与信源的概率分布有关，有上可知，平均互信息是输入信源的概率分布P(x)的形凸函数。
定理二：平均互信息I(X;Y)是信道传递概率P(Y|X)的形凸函数（又称下凸函数）猜想：由平均互信息是输入信源的概率分布的形凸函数知，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一
关于信源熵的实验
班级：电子131501
姓名：赵英凯
学号：201315020137
时间：2016.5.22
一、实验目的
1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab
求解图像熵。
二、实验原理
1. 离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)
随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：
2.二元信源的信息熵
设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：
则该二元信源的信源熵为：
H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p) 即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤1
3. MATLAB二维绘图
用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，
6.2
>>y =cos(x )； %计算余弦向量
>>plot(x ,y ) %绘制图形
4. MATLAB求解离散信源熵
求解信息熵过程：
1) 输入一个离散信源，并检查该信源是否是完备集。
2) 去除信源中符号分布概率为零的元素。
3) 根据平均信息量公式，求出离散信源的熵。
5. 图像熵的相关知识
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令
Pi 表示图像中灰度值为i 的像素所占的比例，则定义灰度图像的一元灰度熵为Pi对应灰度值自信息量的概率平均值。
图像熵计算过程：
1) 输入一幅图像，并将其转换成灰度图像。
2) 统计出图像中每个灰度阶象素概率。
3) 计算出一幅图像的一维熵。
三、实验内容
1、使用matlab 软件绘制二元信源熵函数曲线，并说明其物理意义。
2、使用 matlab 软件求解离散单符号信源熵，请自己构造两个信源空间，根据求解结果说明其物理意义。
3、使用 matlab 软件计算图像一维图像熵，请自己选择任意两幅图像，根据求解结果说明其物理意义。
四、程序设计与算法描述
（1）绘制二元信源熵函数曲线
实验代码：
clc;
p=0.00:0.01:1;
H=-(p).*log2(p)-(1-p).*log2(1-p);
plot(p,H);
实验结果如下：
物理意义：（1）信源熵为信源的平均不确定性，而概率的大小决定了信息量的大小。
（2）由上图可知概率为1时，信息量最小，不确定性最低；概率等于0.5时熵最大。
（2）求解离散单符号信源熵
程序代码：
p1=[0.1,0.4,0.5,0.1];
h1=sum(-p1.*log2(p1));
p2=[0.3,0.2,0.4,0.1];
h2=sum(-p2.*log2(p2));
h1,h2
实验结果：
h1 =
1.6932
h2 =
1.8464
计算结果表明了信源的平均不确定度。
计算图像一维图像熵
选择的图像如下：
实验代码如下：
（1）clear all;
close all;
image1=imread(‘lenna.jpg’);
imshow(image1,[]);
[C1 R1]=size(image1);
image1_size=C1*R1;
H1=0;
n=zeros(256,1);
for i=1:C1
for j=1:R1
image1_level=image1(i,j)+1; n(image1_level)=n(image1_level)+1;
end
end
for k=1:256
P(k)=n(k)/image1_size;
if P(k)~=0;
H1=-P(k)*log2(P(k))+H1;
end
end
H1
五、实验心得
通过本次的实验，又重新开始使用这个软件，感觉不怎么会操作了，但是和同学们讨论使用这个软件后，感觉又得重新开始学习下操作是很有必要的，这次上机操作学会了一些简单的函数编程和对图片的一些修改操作。