南昌大学信息论与编码实验
信息论实验2
《信息论与编码》实验2 香农编码规则及其软件实现一、实验目的1、通过上机实践，实现常用的信源编码方案，以加深对编码理论的理解，促进对本课程所学知识的理解和把握。
2、通过信源编译码，理解香农第一定理3、通过信源编译码，掌握信源编码的方法和手段二、实验原理信源编码主要可分为无失真信源编码和限失真信源编码。
无失真信源编码主要适用于离散信源或数字信号，如文本、表格及工程图纸等信源，它们要求进行无失真地数据压缩，要求完全能够无失真地可逆恢复。
凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可称为最佳码。
为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。
其中香农编码是能获得最佳码的编码方法之一。
香农第一定理指出，选择每个码字的长度i K 满足下式I(i x )≤i K <I(i x )+1 ，i ∀就可以得到这种码。
这种编码方法称为香农编码。
香农编码步骤：设离散无记忆信源二进制香农码的编码步骤如下：(1)将信源符号按概率从大到小的顺序排列，为方便起见，令p (x 1)≥ p (x 2)≥…≥ p (xn )(2)令p (x 0)=0，用)(j a x P ，j =i +1表示第i 个码字的累加概率，则：n j x P x P j i i j a ,...,2,1,)()(10==∑-=12112,,,,,,()1(),(),,(),,()()n i n ii i n x x x x X p x p x p x p x p x P X =⎧⎫⎡⎤==⎨⎬⎢⎥⎣⎦⎩⎭∑(3)确定满足下列不等式的整数i K ，并令i K 为第i 个码字的长度－log2 p (xn )≤i K <－ log2 p (xn )+1(4)将)(j a x P 用二进制表示，并取小数点后i K 位作为符号xi 的编码。
三、实验内容1）充分掌握信源编码方案之一的香农编码算法设计；2）以教材例题为算例，将该编码方法用代码实现。
信息论与编码实验2-实验报告
信息论与编码实验2-实验报告信息论与编码实验 2 实验报告一、实验目的本次信息论与编码实验 2 的主要目的是深入理解和应用信息论与编码的相关知识，通过实际操作和数据分析，进一步掌握信源编码和信道编码的原理及方法，提高对信息传输效率和可靠性的认识。
二、实验原理（一）信源编码信源编码的目的是减少信源输出符号序列中的冗余度，提高符号的平均信息量。
常见的信源编码方法有香农编码、哈夫曼编码等。
香农编码的基本思想是根据符号出现的概率来分配码字长度，概率越大，码字越短。
哈夫曼编码则通过构建一棵最优二叉树，为出现概率较高的符号分配较短的编码，从而实现平均码长的最小化。
（二）信道编码信道编码用于增加信息传输的可靠性，通过在发送的信息中添加冗余信息，使得在接收端能够检测和纠正传输过程中产生的错误。
常见的信道编码有线性分组码，如汉明码等。
三、实验内容与步骤（一）信源编码实验1、选取一组具有不同概率分布的信源符号，例如：A（02）、B （03）、C（01）、D（04）。
2、分别使用香农编码和哈夫曼编码对信源符号进行编码。
3、计算两种编码方法的平均码长，并与信源熵进行比较。
（二）信道编码实验1、选择一种线性分组码，如（7,4）汉明码。
2、生成一组随机的信息位。
3、对信息位进行编码，得到编码后的码字。
4、在码字中引入随机错误。
5、进行错误检测和纠正，并计算错误纠正的成功率。
四、实验结果与分析（一）信源编码结果1、香农编码的码字为：A（010）、B（001）、C（100）、D （000）。
平均码长为 22 比特，信源熵约为 184 比特，平均码长略大于信源熵。
2、哈夫曼编码的码字为：A（10）、B（01）、C（111）、D （00）。
平均码长为 19 比特，更接近信源熵，编码效率更高。
（二）信道编码结果在引入一定数量的错误后，（7,4）汉明码能够成功检测并纠正大部分错误，错误纠正成功率较高，表明其在提高信息传输可靠性方面具有较好的性能。
信息论与编码技术实验报告
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码实验报告
NANCHANG UNIVERSITY信息论与编码实验报告（2018年11月27日）学院：信息工程学院系电子信息工程系专业班级：学生姓名：学号：指导教师：目录实验一自信息量和熵源.............................................................................................. 实验二准对称信道容量.............................................................................................. 实验三费诺不等式...................................................................................................... 实验四香农编码.......................................................................................................... 实验五费诺编码.......................................................................................................... 实验六霍夫曼编码......................................................................................................实验一自信息量和熵源一、实验要求1、画出I=-的函数图；2、画出H(p)=-p-(1-p)函数图。
二、实验原理及理论分析自信息量：一个事件的自信息量就是对其不确定性的度量。
信息论与编码实验报告
信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。
二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。
实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。
信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。
根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。
信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。
信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。
编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。
常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。
三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。
2.设置信道模拟器的信道参数，模拟信道传输过程。
3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。
4.计算信道容量和实际传输速率，比较两者的差异。
5.改变信道参数和编码方式，观察对实际传输速率的影响。
四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。
这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。
在实验中，我们还可以观察到不同编码方式对传输速率的影响。
例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。
而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。
此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。
息论与编码》上机实验指导书
北京信息科技大学《信息论与编码》实验指导书李红莲编光电信息与通信工程学院二〇一〇年八月目录实验一信息熵、信道容量的计算............................ . (3)一、实验目的 (3)二、实验内容 (3)三、实验原理............................................................. (3)四、实验方法与实验步骤 (3)五、思考题 (3)六、实验报告要求 (3)实验二霍夫曼编码、率失真函数的计算 (4)一、实验目的 (4)二、实验内容 (4)三、实验原理............................................................. (4)四、实验方法与实验步骤 (4)五、思考题 (4)六、实验报告要求 (4)实验一：信息熵、信道容量的计算实验项目：信息熵、信道容量的计算实验项目性质：验证性实验课程：《信息论与编码》计划学时：4学时一、实验目的掌握使用计算机计算信息熵、信道容量的方法。
二、实验内容利用matlab语言编程实现信息熵、信道容量的计算。
三、实验原理1．参照教材（焦瑞莉等编著《信息论基础教程》）第14页式（2-16）理解信息熵的定义2．参照教材（焦瑞莉等编著《信息论基础教程》）第68页式（3-15）理解信道容量的定义四、实验方法与实验步骤（一）参照教材第215页信源熵程序建立文件entropy.m（二）建立文件exercise2_3_1.m通过调用entropy.m计算教材第59页练习2.3（1）（参考答案：0.8113比特）（三）参照教材第215页离散无记忆信道容量的迭代计算程序建立文件channelcap.m（四）建立文件exercise3_2_b.m通过调用channelcap.m计算教材第92页练习3.2（b）（参考答案：0.0817比特）五、思考题使用计算机编程进行信道容量的迭代计算是否肯定收敛，即是否一定能得出近似正确结果？六、实验报告要求（1）简述实验目的、实验原理和实验任务；（2）列出源程序代码；（3）给出计算结果（4）收获与体会。
信息论与编码实验报告
信息论与编码实验报告实验课程名称：赫夫曼编码（二进制与三进制编码）专业信息与计算科学班级信息与计算科学1班学生姓名李林钟学号 2013326601049指导老师王老师一、实验目的利用赫夫曼编码进行通信可以大大提高通信利用率，缩短信息传输时间，降低传输成本。
赫夫曼编码是信源编码中最基本的编码方法。
●理解赫夫曼编码，无论是二进制赫夫曼编码，还是m 进制赫夫曼编码，都要理解其编码原理和编码步骤。
● 回顾无失真信源编码定理，理解无失真编码的基本原理和常用编码方法。
●掌握二进制赫夫曼编码和m 进制赫夫曼编码的基本步骤，能计算其平均码长，编码效率等。
●应用二进制赫夫曼编码或m 进制赫夫曼编码处理简单的实际信源编码问题。
二、实验环境与设备1、操作系统与编程软件：windows 操作系统，cfree5.0， Visual C++ 6.0。
2、编程语言：C 语言以及C++语言 三、实验内容1. 二进制赫夫曼编码原理及步骤： （1）信源编码的计算设有N 个码元组成的离散、无记忆符号集，其中每个符号由一个二进制码字表示，信源符号个数n 、信源的概率分布P={p(s i )},i=1,…..,n 。
且各符号xi 的以li 个码元编码，在变长字编码时每个符号的平均码长为∑==ni li xi p L 1)( ；信源熵为：)(log )()(1xi p xi p X H ni ∑=-= ；唯一可译码的充要条件：11≤∑=-ni Ki m ；其中m 为码符号个数，n 为信源符号个数，Ki 为各码字长度。
（2）二元霍夫曼编码规则（1）将信源符号依出现概率递减顺序排序。
（2）给两个概率最小的信源符号各分配一个码位“0”和“1”，将两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含（n-1）个信源符号的新信源。
称为信源的第一次缩减信源，用s1 表示。
（3）将缩减信源 s1 的符号仍按概率从大到小顺序排列，重复步骤(2)，得到只含（n-2）个符号的缩减信源s2。
《信息论与编码技术》实验教案
卷积码编码与译码方法探讨
卷积码原理
理解卷积码的基本原理和编码过程，包括卷积码 的生成函数和约束长度等概念。
编码实现
通过编程实现卷积码的编码过程，掌握卷积码编 码算法的实现方法。
译码方法
探讨卷积码的译码方法，包括维特比译码算法等 ，并通过仿真实验进行验证。
差错控制编码技术应用实践
应用场景
了解差错控制编码技术在通信、存储等领域的 应用场景和需求。
差错控制编码方法
介绍常用的差错控制编码方法，如奇偶校验码、循 环冗余校验码（CRC）等，并分析其性能特点。
阐述差错控制的基本概念、原理及其在数字 通信系统中的重要性。
差错控制策略设计与实现
通过实验，设计并实现一种基于特定编码方 法的差错控制策略，评估其在数字通信系统 中的性能。
图像压缩编码算法研究及实现
实验内容
设计并实现一个离散信道信息传输系统，通过输入不同的信源符号序列和信道 参数，观察并分析系统性能。
离散信道中的信息传输实验
实验步骤
1
2
1. 确定信源符号集及其概率分布；
3
2. 设计合适的信道编码方案；
离散信道中的信息传输实验
01
3. 在离散信道中实现编码后的信号传输；
02
4. 在接收端进行解码并计算误码率；
详细阐述Turbo码的编码算法、译码算法的具体实现步骤，包括交 织器设计、分量编码器选择、迭代译码算法等。
性能评估方法
介绍Turbo码性能评估的主要指标，如误码率、误帧率等，以及相 应的仿真实验方法和结果分析。
LDPC码编译码算法研究
LDPC码基本原理
介绍LDPC码的定义、分类、编码原理、译码原理等基本概念。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x=find(HH==max(HH));
text(p(x),HH(x),'\leftarrow log(r)','Fontsize',12);
n=(r-1)/r;
H1=-n*log2(n)-(1-n)*log2(1-n);
HH1=H1+n*log2(r-1);
hold on
plot(n,HH1,'*')
text(p(1001),HH(1001),'\leftarrow log(r-1)','Fontsize',12);
plot(p(1001),HH(1001),'*') title('费 诺 不 等 式 示 意 图')
fontt=10;
xlabel('p','FontName','Times New Roman','fontsize',fontt)
图 1 自信息量 I=-log2(p)函数图 图 2 H(p)=-plog2(p)-(1-p)log2(1-p) 函数图
程序如下
图 1 准对称信道容量图
clc;
close all;
clear;
r=2;
p=linspace(0,1,50);
q=1-p;
I=-log2(p);
H=-p.*log2(p)-q.*log2(q);
7
香农编码
6
5
4
码长
3
2
1
0
1
2
3
4
5
6
7
信源
费诺编码：
4
费诺编码
3.5
3
2.5
码长
2
1.5
1
0.5
0
1
2
3
4
5
6
7
信源
霍夫曼编码
霍夫曼编码
4
3.5
3
2.5
码长
2
1.5
1
0.5
0
1
2
3
4
5
6
7
信源
验证例 3.18 信源为
码长均值与均方差结果比较：
霍夫曼编码 概率之和向上排
2
平均码长
ห้องสมุดไป่ตู้
均方差
1.5
码长及均方差
ylabel('HH','FontName','Times New Roman','fontsize',fontt)
axis([0 1.2 0 1.8])
此时信源概率矩阵为 p=[ 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ] （验证书上例 3.14，3.15，3.17）
用图表示码长结果 香农编码：
C=log2(r)-p.*log2(r-1)-H;
C(1,1)=log2(2);C(1,50)=log2(2);
plot(p,C);
k=1/r;
hold on
H1=-k*log2(k)-(1-k)*log2(1-k);
C1=log2(r)-k*log2(r-1)-H1;
plot(k,C1,'o'); title('准 对 称 信 道 容 量 图')
1
0.5
0
1
1.5
2
2.5
3
3.5
4
4.5
5
霍夫曼编码 概率之和向下排
2.4
平均码长
均方差
2.2
2
码长及均方差
1.8
1.6
1.4
1.2
1
1.5
2
2.5
3
3.5
4
4.5
5
由以上两图可知，两种编码法的平均码长相等，但概率之和往下排的均方 差较大，一般取均方差小的方法进行译码。
clc;clear;close all
图 1 费诺不等式示意图
r=3;
linwidd=1;
p=1*10^-5:0.001:1.001;
q=1-p;
H=-(p.*log2(p)+q.*log2(q));
HH=H+p.*log2(r-1); figure ('name','费诺不等式')
plot(p,HH);
fontt=10;
grid on
xlabel('p','FontName','Times New Roman','fontsize',fontt)
ylabel('C bit/sig','FontName','Times New Roman','fontsize',fontt)
axis([0 1 -0.01 1.01])