《信息论与信源编码》实验报告
信源编码的实验报告
一、实验目的1. 理解信源编码的基本原理和过程。
2. 掌握几种常见的信源编码方法，如哈夫曼编码、算术编码等。
3. 分析不同信源编码方法的编码效率。
4. 培养动手实践能力和分析问题、解决问题的能力。
二、实验环境1. 操作系统：Windows 102. 编程语言：Python3.73. 实验工具：PyCharm IDE三、实验内容1. 哈夫曼编码2. 算术编码四、实验步骤1. 实验一：哈夫曼编码（1）读取信源数据，统计每个字符出现的频率。
（2）根据字符频率构建哈夫曼树，生成哈夫曼编码表。
（3）根据哈夫曼编码表对信源数据进行编码。
（4）计算编码后的数据长度，并与原始数据长度进行比较，分析编码效率。
2. 实验二：算术编码（1）读取信源数据，统计每个字符出现的频率。
（2）根据字符频率构建概率分布表。
（3）根据概率分布表对信源数据进行算术编码。
（4）计算编码后的数据长度，并与原始数据长度进行比较，分析编码效率。
五、实验结果与分析1. 实验一：哈夫曼编码（1）信源数据：{a, b, c, d, e}，频率分别为{4, 2, 2, 1, 1}。
（2）哈夫曼编码表：a: 0b: 10c: 110d: 1110e: 1111（3）编码后的数据长度：4a + 2b + 2c + 1d + 1e = 4 + 2 + 2 + 1 + 1 = 10（4）编码效率：编码后的数据长度为10，原始数据长度为8，编码效率为10/8 = 1.25。
2. 实验二：算术编码（1）信源数据：{a, b, c, d, e}，频率分别为{4, 2, 2, 1, 1}。
（2）概率分布表：a: 0.4b: 0.2c: 0.2d: 0.1e: 0.1（3）编码后的数据长度：2a + 2b + 2c + 1d + 1e = 2 + 2 + 2 + 1 + 1 = 8（4）编码效率：编码后的数据长度为8，原始数据长度为8，编码效率为8/8 = 1。
六、实验总结1. 哈夫曼编码和算术编码是两种常见的信源编码方法，具有较好的编码效率。
信息论与编码实验2-实验报告
信息论与编码实验2-实验报告信息论与编码实验 2 实验报告一、实验目的本次信息论与编码实验 2 的主要目的是深入理解和应用信息论与编码的相关知识，通过实际操作和数据分析，进一步掌握信源编码和信道编码的原理及方法，提高对信息传输效率和可靠性的认识。
二、实验原理（一）信源编码信源编码的目的是减少信源输出符号序列中的冗余度，提高符号的平均信息量。
常见的信源编码方法有香农编码、哈夫曼编码等。
香农编码的基本思想是根据符号出现的概率来分配码字长度，概率越大，码字越短。
哈夫曼编码则通过构建一棵最优二叉树，为出现概率较高的符号分配较短的编码，从而实现平均码长的最小化。
（二）信道编码信道编码用于增加信息传输的可靠性，通过在发送的信息中添加冗余信息，使得在接收端能够检测和纠正传输过程中产生的错误。
常见的信道编码有线性分组码，如汉明码等。
三、实验内容与步骤（一）信源编码实验1、选取一组具有不同概率分布的信源符号，例如：A（02）、B （03）、C（01）、D（04）。
2、分别使用香农编码和哈夫曼编码对信源符号进行编码。
3、计算两种编码方法的平均码长，并与信源熵进行比较。
（二）信道编码实验1、选择一种线性分组码，如（7,4）汉明码。
2、生成一组随机的信息位。
3、对信息位进行编码，得到编码后的码字。
4、在码字中引入随机错误。
5、进行错误检测和纠正，并计算错误纠正的成功率。
四、实验结果与分析（一）信源编码结果1、香农编码的码字为：A（010）、B（001）、C（100）、D （000）。
平均码长为 22 比特，信源熵约为 184 比特，平均码长略大于信源熵。
2、哈夫曼编码的码字为：A（10）、B（01）、C（111）、D （00）。
平均码长为 19 比特，更接近信源熵，编码效率更高。
（二）信道编码结果在引入一定数量的错误后，（7,4）汉明码能够成功检测并纠正大部分错误，错误纠正成功率较高，表明其在提高信息传输可靠性方面具有较好的性能。
信息论与编码技术实验报告
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码实习报告
信息论与编码实习报告一、引言信息论与编码是通信工程、计算机科学和电子工程等领域的重要基础课程。
本次实习旨在通过实际操作，深入理解和掌握信息论与编码的基本原理和技术，提高我们的实际操作能力和问题解决能力。
二、实习内容1、信息论基础：实习的第一部分，我们通过自学和讨论的方式，深入学习了信息论的基本概念和原理，包括信息的度量、熵、信道容量等。
2、编码理论：在这一阶段，我们重点学习了线性编码、循环编码、哈夫曼编码等编码方法，并了解了编码的效率及其可靠性。
3、模拟与数字通信系统：我们通过模拟软件，设计和实现了简单的模拟通信系统，同时，也通过实验箱，了解了数字通信系统的基本原理和技术。
4、无线通信和网络：在这一部分，我们重点学习了无线通信和网络的基础知识，包括无线信道模型、无线调制解调技术、无线网络协议等。
5、实习项目：最后，我们根据所学的知识，完成了一个实习项目——设计并实现一个具有高可靠性和高效率的通信系统。
三、实习收获通过这次实习，我们收获颇丰。
首先，我们对信息论与编码的基本概念和原理有了更深入的理解和掌握，能够更好地将理论知识应用到实际中。
其次，我们提高了自己的实际操作能力和问题解决能力，能够在实践中发现和解决问题。
最后，我们了解了通信系统的基本原理和技术，对未来的学习和工作有了更好的准备。
四、结论本次实习是我们学习信息论与编码的重要环节，我们通过实际操作，深入理解和掌握了信息论与编码的基本原理和技术，提高了自己的实际操作能力和问题解决能力。
我们也发现了自己的不足之处，将在未来的学习和工作中更加努力，不断提高自己的能力和水平。
信息论与编码曹雪虹课后习题答案随着科技的发展，信息已经成为现代社会中不可或缺的一部分。
在大学中，信息论与编码作为一门重要的学科，已经成为了计算机科学、通信工程、电子工程等专业的必修课程。
而在这门课程中，曹雪虹教授的教材《信息论与编码》被广泛使用。
本文将介绍一些该教材的课后习题答案，以帮助读者更好地掌握信息论与编码的相关知识。
信息论与编码实验报告
信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。
二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。
实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。
信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。
根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。
信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。
信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。
编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。
常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。
三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。
2.设置信道模拟器的信道参数，模拟信道传输过程。
3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。
4.计算信道容量和实际传输速率，比较两者的差异。
5.改变信道参数和编码方式，观察对实际传输速率的影响。
四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。
这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。
在实验中，我们还可以观察到不同编码方式对传输速率的影响。
例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。
而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。
此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。
信源编码实验报告
电子科技大学实验报告课程名称信息论与编码实验名称信源编码任课教师姓名学号时间2018 年11月28 日一、实验目的和要求1.掌握对信源变长编码定理的理解；2.掌握信源编码技术，如香农编码，费诺编码，哈夫曼编码或其他无失真信源编码技术；3.对英文小说“Game of Thrones”中出现的26个英文字母和空格符号（一共27个符号）进行信源编码。
4.至少对前两章“Prologue”和“Bran”中出现的符号进行统计。
5.任意选择一种编程平台，C++，Java，Python，Matlab等等。
6.运行程序后，能够在屏幕上显示每一个符号对应的码字，原始信源的熵，平均码字长度，码字长度的方差，以及编码效率。
二、 实验内容1. 对英文小说“Game of Thrones ”中出现的26个英文字母和空格符号（一共27个符号）进行信源编码。
2. 在屏幕上显示每一个符号对应的码字，原始信源的熵，平均码字长度，码字长度的方差，以及编码效率。
三、 实验原理1. 采用哈夫曼编码完成实验要求2.哈夫曼（Haveman ）编码算法是满足前缀条件的平均二进制码长最短的编-源输出符号，而将较短的编码码字分配给较大概率的信源输出。
算法是：在信源符号集合中，首先将两个最小概率的信源输出合并为新的输出，其概率是两个相应输出符号概率之和。
这一过程重复下去，直到只剩下一个合并输出为止，这个最后的合并输出符号的概率为1。
这样就得到了一张树图，从树根开始，将编码符号1 和0 分配在同一节点的任意两分支上，这一分配过程重复直到树叶。
从树根到树叶途经支路上的编码最后就构成了一组异前置码，就是霍夫曼编码输出。
离散无记忆信源：例如Uu 1u 2u 3u 4u 5P (U ) = 0.4 0.2 0.2 0.1 0.1通过上表的对信源缩减合并过程，从而完成了对信源的霍夫曼码。
四、实验步骤1.主函数为sourcecoding，用fopen打开text文本，并用fread读取文本，得到ASCII码向量seq;2.利用自己编写statistic.m函数统计seq向量中出现的符号和概率，并通过处理得到所需向量seq2. statistic函数采用了对seq处理的三种形式。
信息论与编码理论课程实验报告
二、实验环境及相关情况（包含使用软件、实验设备、主要仪器及材料等）
设备：PC机
软件：matlab 2007
0.0055 0.0115 0.0061 0.0176 0
构建信源模型如下：
h i j k l m n
0.0267 0.0672 0.0042 0.0030 0.0521 0.0212 0.0733
o p q r s t u
0.0842 0.0254 0.0048 0.0648 0.0933 0.0739 0.0327
9.实验报告独立完成，无抄袭现象，并按时提交，格式规范。
综合评定：
附录（程序源代码）
1.编写MATLAB程序
clc
clear all
%随机输入一组数据
string='abdddssdsssdabaabaddkkidkidkdiakdjjaidjaid';
%将上述中所有英文字母化为小写
string=lower(string);
自评/互评成绩：100（评阅者签名：熊萌萌）
2、教师评价
评价标准
评语等级
优
良
中
及格
不合格
1.实验态度认真，实验目的明确
2.实验方案或流程图思路清晰、合理
3.实验程序设计合理，能运行
4.实验步骤记录详细，具备可读性
5.实验数据合理
6.实验结论正确
7.实验总结分析合理、透彻
8.实验报告完整、文字叙述流畅，逻辑性强
信息论与编码实验报告
实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、求解：1、习题：A 地天气预报构成的信源空间为：()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6/14/14/13/1x p X 大雨小雨多云晴 B 地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求各种天气的自信息量和此两个信源的熵。
2、程序代码：p1=[1/3,1/4,1/4,1/6];p2=[7/8,1/8];H1=0.0;H2=0.0;I=[];J=[];for i=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息I分别为：');Idisp('信息熵H1为：');H1for j=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息J分别为');Jdisp('信息熵H2为：');H23、运行结果：自信息量I分别为：I = 1.5850 2.0000 2.0000 2.5850信源熵H1为：H1 = 1.9591自信息量J分别为：J =0.1926 3.0000信源熵H2为：H2 =0.54364、分析：答案是：I =1.5850 2.0000 2.0000 2.5850 J =0.1926 3.0000H1 =1.9591； H2 =0.5436实验2：信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与信源编码》实验报告1、实验目的(1) 理解信源编码的基本原理；(2) 熟练掌握Huffman编码的方法；(3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。
2、实验设备与软件(1) PC计算机系统(2) VC++6.0语言编程环境(3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S(4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。
(5) 实验所需要的bmp格式图像（灰度图象若干幅）3、实验内容与步骤(1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。
(2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响；(3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异；(4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。
4、实验结果及分析(1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下：a.图像1.bmp：图1 图像1.bmp图像的像素点个数共640×480个，原图像大小为301KB，图像信息熵为5.92bit/符号，通过Huffman编码后，其编码后的平均码长为5.960码元/信源符号，编码效率为99.468%，编码后的图像大小为228.871KB，压缩比为1.342。
b.图像2.bmp：图2 图像2.bmp图像的像素点个数共640×480个，原图像大小为301KB，图像信息熵为4.410bit/符号，通过Huffman编码后，其编码后的平均码长为4.444码元/信源符号，编码效率为99.237%，编码后的图像大小为170.634KB，压缩比为1.800。
c.图像3.bmp：图3 图像3.bmp图像的像素点个数共640×480个，原图像大小为301KB，图像信息熵为6.709bit/符号，通过Huffman编码后，其编码后的平均码长为6.734码元/信源符号，编码效率为99.628%，编码后的图像大小为258.572KB，压缩比为1.188。
(2)Acdsee处理图像结果对比a.图像1.bmp利用Acdsee处理，质量因子分别取10、50、90，所得结果如下所示：图4.原始BMP图像（301KB）图5.质量因子为10的JPEG图像(34KB)图6.质量因子为50的JPEG图像(52KB) 图7.质量因子为90的JPEG图像(141KB)b.图像2.bmp利用Acdsee处理，质量因子分别取10、50、90，所得结果如下所示：图8.原始BMP图像（301KB）图9.质量因子为10的JPEG图像(32KB)图10.质量因子为50的JPEG图像(48KB)图11.质量因子为90的JPEG图像(113KB)c.图像3.bmp利用Acdsee处理，质量因子分别取10、50、90，所得结果如下所示：图12.原始BMP图像（301KB）图13.质量因子为10的JPEG图像(47KB)图14.质量因子为50的JPEG图像(52KB)图15.质量因子为90的JPEG图像(113KB) 通过人眼对这3组图进行观察对比，每组图像几乎一样，觉察不出有什么不同，但是将这3组幅图像的大小进行对比可以发现BMP格式的图片数据量最大，JPEG格式的图片数据量都比较小，其中质量因子越小，大小也越小，这正是限失真信源编码的基本应用，实现了高效的数据压缩，。
(3)用winrar压缩三幅图像通过winrar压缩压缩这三幅图像，压缩后文件大小分别为147KB、123KB、217KB，数据压缩比为2.06、2.46、1.39。
因为这三幅图像的熵不一样，也就是说灰度直方图也不一样，这也代表了三副图的可压缩的程度，熵越小，可压缩的程度越大，其中图像2的熵最小，灰度分布最不均匀，所以压缩比最大。
图像3的熵最大，灰度分布比较均匀，所以压缩比最小。
(4)数据量对比针对第一幅图：原始BMP图像数据量：301KB Huffman编码后的数据量（不含码表）:229KB 品质因素分别为10、50、90时的JPG文件数据量:32KB,54KB,141KBrar压缩包的数据量:147KB从中可以看出JPG的压缩程度最大，RAR次之，Huffman编码最小分析：a.Huffman编码采用统计编码统计编码也称为熵编码，它是一类根据信息熵原理进行的信息保持型变字长编码。
编码时对出现概率高的事件（被编码的符号）用短码表示，对出现概率低的事件用长码表示。
是用无损的方式做压缩。
b.JPEG 压缩原理JPEG 是 Joint Photographic Experts Group 的缩写，即 ISO 和 IEC 联合图像专家组，负责静态图像压缩标准的制定，这个专家组开发的算法就被称为 JPEG 算法，并且已经成为了大家通用的标准，即 JPEG 标准。
JPEG 压缩是有损压缩，但这个损失的部分是人的视觉不容易察觉到的部分，它充分利用了人眼对计算机色彩中的高频信息部分不敏感的特点，相对于Huffman 编码来说，大大节省了需要处理的数据信息。
它主要包括两个步骤：去除视觉上的多余信息，即空间冗余度去除数据本身的多余信息，即结构（静态）冗余度c.RAR 压缩原理RAR 采用字典压缩技术，也是应用最为广泛的一种压缩技术。
该技术搜索文件中重复出现的字符串，如“中华人民共和国”、“改革开放”等，记录后（记录后的内容被称为“字典”）在正文中使用另一个简短的编码来代替它。
所以相对于Huffman 编码来说压缩程度高，而比JPEG 这种有损压缩低。
4.实验体会这次实验虽然时间比较匆忙，但在教员的讲解下与自己的努力下，对信源编码的基本原理有了较为深刻的认识。
信源编码是以提高信息传输的有效性为目的的，通常通过压缩信源的冗余度来实现。
采用的方法一般是压缩每个信源符号的平均比特数或信源码率，使传输同样多的信息能用较少的码率来实现，从而使单位时间内传送的平均信息量增加。
这次实验主要实现了Huffman 编码，霍夫曼码是一种效率比较高的变长、无失真信源编码方法。
首先介绍二进制霍夫曼码的方法，其编码步骤如下：（1）将信源符号按概率从大到小的顺序排列，为方便起见，令)()()(21x p x p x p n ≥≥≥（2）给两个概率最小的信源符号)(1x p n -和)(x p n 各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n －1)个信源符号的新信源。
称为信源的第一次缩减信源，用S1表示。
（3）将缩减信源S1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源。
（4）重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。
然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字通过Huffman 编码和JPEG 压缩后的图像对比，可以看出无失真信源编码 和限失真编码方法在压缩性能上的差异以及图像感官上的差异。
Huffman 编码是无失真信源编码的一种典型应用，它产生的是最优码，编码时对出现概率高的事件（被编码的符号）用短码表示，对出现概率低的事件用长码表示，用无损的方式进行压缩。
而JPEG 是有损压缩，但这个损失的部分是人的视觉不容易察觉到的部分，它是限失真编码方法的一种典型应用，充分利用了人眼对计算机色彩中的高频信息部分不敏感的特点。
相对于Huffman编码来说，JPEG和WINRAR大大节省了需要处理的数据信息。
5.课程体会本课程主要讨论Shannon信息理论中的基本概念和问题，了解了信息理论的主要研究内容、发展历史、和现状。
对两个最重要的基本概念即信息熵和互信息的定义与性质有了深刻的了解，知道了平均互信息与信源概率分布和信道转移概率分布的凸性关系。
实际的信源总是或多或少地存在冗余，往往不能直接满足高效率传输信息的要求。
为了实现信息的高效率传输，需要对信源产生冗余的原因进行分析，在此基础上对信源进行针对性的改造，使信源原有的信息含量从效率不高的情形转变为较高或尽可能高的情形，做到单位时间或单位符号所传输的信息量尽可能大。
本节通过对离散无记忆平稳信源及其扩展信源、离散有记忆平稳信源和马尔可夫信源三种典型信源的讨论，分析信源产生冗余的基本原因，知道了信息冗余的产生与信息符号的不等概和信源符号之间的相关性有关，并提出对信源进行编码改造，提高信息传输有效性的基本思路。
一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率，又常常会使抗干扰能力减弱。
因此，提高抗干扰能力和提高信息传输率是相矛盾的。
然而，在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。
所以着重讨论了对离散信源进行无失真信源编码的要求、方法及理论极限，对变长编码基本方法霍夫曼编码和香农—范诺编码有了基本了解，并得出一个重要的极限定理——香农第一定理。
依据互信息的下凸性关系和失真度量方法，讨论了信息率失真函数的定义和性质，阐述了限失真信源编码定理，并介绍了限失真信源编码的基本定理与方法，对预测编码和正交变换法有了一定的了解。
虽然我们只学习了十个星期的课程，但对信源编码有了深刻的了解，对信源编码的模型有了构架，这些都是在许教员的悉心教导下才有的，祝福教员合家快乐。
6.研讨课体会我们小组被分配了关于互信息的课题，面对十来篇的文章，我们进行了大概的浏览，最终确定了《基于互信息的中文姓名识别方法》这篇作为我们的主要文章。
确定了文章后，我们把文章仔细阅读了两遍，又到网上搜索相关的文章，进行了仔细比较，在两者讲述相当概念时，我们选择了能较好被大家理解的讲法，以中文姓名识别的流程作为我们讲述的流程，一步一步的讲述步骤，并在这之中引入了上下文互信息与内部互信息，以及上下文互信息评价函数和姓名内部互信息的评价函数，并处理了交叉的潜在姓名，使我们对中文姓名识别有了较深的理解。