无失真信源编码题与答案
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********
321≥=???
?
??+??? ??+??? ??+??? ??=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。
1142121214
21≤=???
?
??+??? ??+??? ??=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.1521213
1≥=???
?
??+??? ??=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125.1616
1
5161416131612411213
=?+?+?+?+?+?=
?===∑i
i i C B A l p L L L
设离散信源的概率空间为
????
??=??????05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。
解：
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0===
=?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i
i i i
i i η
设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为
100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？
解： (1)
码字中有0个“1”，码字的个数：10
100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003100=C
1835.17166751log log 166751
161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2?=a p
码字中有2个“1”，错误概率：()()2
98
500.0995.03?=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04?=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003100
2100110001004321=-=-==??+??+??+?=+++=N E a a a a N G p p C p C p C p C p G p εε
设有离散无记忆信源
??
??
??=??????02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度L 和编码效率η。
解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。
i i i l w s
1s 1 1 2s 22 2 3s 21 2
4s 20 2 5s 02 2 6s 01 2 7s 000 3 8s 001 3
85.1302.0305.0208.021.0215.0218.022.0122.0=?+?+?+?+?+?+?+?=?=∑i
i i l p L
()%
9.933log 85.175.2log )( 75.202.0log 02.0...22.0log 22.0log )(=?===?++?-=-=∑r L S H bit
p p S H i
i i η
设有离散无记忆信源，其概率空间为
??
??
??=??????04.008.016.018.022.032.0654321
s s s s s s P S 进行费诺编码，并求其信源熵)(S H ，码平均长度L 和编码效率η。
解：
()%984
.2352
.2)( 352.204.0log 04.0...32.0log 32.0log )(4
.2404.0408.0316.0218.0222.0232.0===
=?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit
p p S H l p L i
i i i
i i η
设有离散无记忆信源
??
??
??=??????01.010.015.017.018.019.020.07654321
s s s s s s s P S (1) 求该信源符号熵)(S H ；
(2) 用霍夫曼编码编成二元变长码，计算其编码效率；
(3) 用霍夫曼编码编成三元变长码，计算其编码效率；
(3) 当译码错误小于310-的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。
解： (1)
()bit p p S H i
i i 609.201.0log 01.0...2.0log 2.0log )(=?++?-=-=∑
(2)
s7
s6
s7
s6
s5s2s3s4
i i i l w s
1s 10 2 2s 11 2 3s 010 3
4s 011 3 5s 001 3 6s 0000 4 7s 0001 4
%
9.9572.2609.2)(72
.2401.041.0315.0317.0318.0219.022.0====?+?+?+?+?+?+?=?=∑L S H l p L i
i i η
(3)
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，7=q ，能构成满树。
i i i l w s
1s 1 1 2s 20 2 3s 21 2
4s 22 2 5s 00 2 6s 01 2 7s 02 2
%
4.913
log 8.1609.2log )(8
.1201.021.0215.0217.0218.0219.012.0=?===?+?+?+?+?+?+?=?=∑r L S H l p L i
i i η
若某一信源有N 个符号，并且每个符号均已等概率出现，对此信源用最佳霍夫曼二元编码，问当i N 2=和12+=i N （i 为正整数）时，每个码字的长度等于多少？平均码长是多少？
解：
()1
22
11
21log 1log log 21211211
2 )2(21log 1log log 21212 )1(1
1
+++=
=+=?
?
? ??=+-≤≤-<<+=+====??? ??=+-≤≤-?
?
? ??===∑∑++i i
i
i i i i i i i i i i i
i i i
i i i
i i i i i
i i i
i i l p L i l p l p p p N when i
l p L i
l p l p p N when
信息论与编码理论无失真信源编码历年考试解答
Equation Chapter 1 Section 1 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能地输出，其概率分布如下表所示，表中给出了对应地码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长. 4-2 设信源.对此次能源进行m元唯一可译编码，其对应地码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值地最好下限.（提示：用kraft不等式） 4-3设信源为，编成这样地码：（000，001， 010，011，100，101，110，111）.求 （1）信源地符号熵； （2）这种码地编码效率； （3）相应地仙农码和费诺码. 4-4求概率分布为信源地二元霍夫曼编码.讨论此码对于概率分布为 地信源也是最佳二元码. 4-5有两个信源X和Y如下：
（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率； （2）从X，Y两种不同信源来比较三种编码方法地优缺点. 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码地信源地所有概率分布. 4-7设信源为，求其三元霍夫曼编码. 4-8若某一信源有N个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当N=2i和N=2i+1（i是正整数）时，每个码值地长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后地图像，图像地灰度量化分成8级，如下表所示.表中数字为相应像素上地灰度级. （1）不考虑图像地任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？ （2）若考虑图像地统计特性，求这幅图像地信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示. 4-10在MPEG中为了提高数据压缩比，采用了____方法. A．运动补偿与运行估计 B.减少时域冗余与空间冗余 C．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测 4-11 JPEG中使用了____熵编码方法.
第5章_无失真信源编码题与答案
第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)
3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
第5章_无失真信源编码 题与答案
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r
(2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1)
数字通信中的信源编码和信道编码.(优选)
数字通信中的信源编码和信道编码 摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍. 关键词：数字通信；通信系统；信源编码；信道编码 Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies. Key Words：digital communication; communication system; source coding; channel coding 1.前言 通常所谓的“编码”包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。 2.数字通信系统 通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。 图2-1 数字通信系统模型 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编
离散信源无失真信源编码
离散信源无失真信源编码 目的： 熟练掌握无失真信源编码的方法；熟练掌握Huffman 编码的平均码长和编码效率的 Huffman 编码的基本原理及特点： Huffman 编码是一种可变长编码算法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码。Huffman 编码一般利用二叉树结构实现，其基本原理是频繁使用的数据用较短的代码代替，较少使用的数据用较长的代码代替，每个数据的代码各不相同。 Huffman 编码在信源符号表示平均所需要的比特数方面是最优的，而且也满足前缀条件（即唯一可译码）。 在编码效率方面，Huffman 编码是基于二叉树算法的特点以及性质。从书本的例题看出Huffman 编码方法得到的码是不唯一的。不同的排序准则以及不同的符号分配都会影响到最后的结果，虽然编码的效率相同，但是影响到了编码的质量。从课本上的例题可以看出，二叉树的层数较少的，编码质量较高（从码方差得出）。在编码的时候，要尽量避免二叉树的稀疏性给编码质量带来的影响。要减少二叉树的稀疏性就要提高二叉树的利用率，减少二叉树的层数。 Huffman 编码基本步骤，画出程序流程图： Huffman 编码步骤： （1）将信源符号按概率递减的次序排序 （2）将两个最小概率的分支分别标记为‘1’和‘0’，他们的结合点为两分支概率之和 （3）将上面的概率和看作一个新符号的概率。 （4）重新排列后，重复上面的步骤。 （5）从最后的节点开始读取，到要找的符号，路径的分支标号就是码字 流程图：
输入数据： 输入编码： 当输入为例题中数据时，输出为：当输入是习题中数据时，输出为： 讨论不同的Huffman 编码的平均码长如何变化，码字长度偏离平均码长对编码性能的影响。 答：不同的Huffman编码方法得到的平均码长是相同的，编码效率也相同。但是，不同的编码方法对码的质量会产生影响。通过求码方差可知，码方差越小，编码质量越高。从树的结构方面来看，就是树的层数较少的编码方法质量较高。
第八章 限失真信源编码
第八章 限失真信源编码 8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: ∑==r i j i j i b a d a p D 1 min )},(min ){( 并写出取得min D 的试验信道的传输概率选取的原则,其中 ))}/(,),/(),/({min ),(min 21i S i i j j i j a b p a b p a b p b a d = (证明详见:p468-p470) 8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: }),()({min 1 max ∑==r i j i i j b a d a p D 并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源X 的信源空间为: -1 )( 1 0X :][X ????ωωX P P 令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求: (1) D min ,R(D min ); (2) D max ,R(D max ); (3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解： {}{}{}{}0 )()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2() ()()/()(min );(min )0()(0 )/(),2,1(1)/(0)/(100110][1 0 00 0)1(0)0(),(min )()1(max 21min max min min 2 1 min ==∴====++=? ?? ???=' ===-===∴====?? ?? ??===?+?==∑∑==ωω ωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D j j i j i i j i j i j i j i j i 此时故此时或的信道矩阵 则满足保真度＝最小允许失真度：
实验三 无失真信源编码
实验三 无失真信源编码 一、[实验目的] 1、理解香农第一定理指出平均码长与信源之间的关系； 2、加深理解香农编码具有的重要的理论意义。 3、掌握霍夫曼编码的原理； 4、掌握霍夫曼编码的方法和步骤； 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 香农第一定理： 设离散无记忆信源为 12 (1) (2)....()S s s sq P p s p s p sq ????=???????? 熵为H(S)，其N 次扩展信源为 12 (1) (2)....()N q S p p p q P αααααα????=???????? 熵为H(S N )。码符号集X=（x1,x2,…,xr ）。先对信源N S 进行编码，总可以找 到一种编码方法，构成惟一可以码，使S 中每个信源符号所需的平均码长满足： 1N L H S H S N N +>≥（）（）logr logr 当N →∞时 lim ()N r N L H S N →∞= N L 是平均码长 1 ()N q N i i i L p αλ==∑ i λ是i α对应的码字长度 四、[实验内容] 1、在给定离散无记忆信源 S P s1 s2 s3 s4 1/8 5/16 7/16 1/8 =
条件下，实现二进制霍夫曼编码，求最后得到的码字并算出编码效率。 五、[实验过程] 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 某一离散信源概率分布：p=[1/2,1/4,1/8,1/16,1/16] 求信源的熵，并对该信源进行二元哈夫曼编码，得到码字和平均码长以及编码效率。 Matlab程序： function [h,l]=huffman(p) p=[1/2 1/4 1/8 1/16 1/16]; if length(find(p<0))~=0, error('Not a prob.vector,there is negative component') end if abs (sum(p)-1)>10e-10 error('Input is not a prob.vector,the sun of the components is not equal to 1') end n=length(p); q=p; m=zeros(n-1,n); for i=1:n-1 [q,l]=sort(q); m(i,:)=[l(1:n-i+1),zeros(1,i-1)]; q=[q(1)+q(2),q(3:n),1]; end for i=1:n-1 c(i,:)=blanks(n*n); end c(n-1,n)='0'; c(n-1,2*n)='1'; for i=2:n-1
第7章 限失真信源编码
7.1 设输入符号集为}1 ,0{=X ，输出符号集为}1 ,0{=Y 。定义失真函数为 1 )0,1()1,0(0)1,1()0,0(====d d d d 试求失真矩阵D 。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 7.2 设输入符号集与输出符号集为}3 ,2 ,1 ,0{==Y X ，且输入信源的分布为 )3 ,2 ,1 ,0( 4 1 )(===i i X p 设失真矩阵为 []????? ???? ???=01 11 101111011110d 求D max 和D min 及R(D)。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 7.3 利用R(D)的性质，画出一般R(D)的曲线并说明其物理含义？试问为什么R(D)是非负且非增的？ 解： 函数曲线：
信源编码
信源编码技术 为什么要进行信源编码 通信系统就是将产生的信息传输到目的地。信源有各种不同的形式，
如广播的信源是语音或音乐，电视的信源是活动图像，这些信源的输 出都是模拟信号，称为模拟信源。计算机和存储器件（磁盘或光盘） 输出的是离散信号，称为数字信源。在数字系统中传输的都是数字信 息，不论是模拟信源还是离散信源其输出都必须转化为可以传输的数 字信息，这种转化通常是由信源编码器来完成的。 信源编码在移动通信中也称语音编码。 ? 信源编码的作用是用信道能传输的符号来表示信源发出的信息，在不 失真或一定失真的条件下用尽可能少的符号传送信源消息，提高信息 传输率。信源编码（如语音）对数字传输非常重要，而且对无线通信
来说显得尤其重要。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/2164846.html,
?
随着数字电话和数据通信容量日益增长的迫切要求，而又 不希望明显降低传送话音信号的质量，除了提高通信带宽之外， 对话音信号进行压缩是提高通信容量的重要措施。
?在移动通信中，稀少而又昂贵的无线信道更一定要和必 须要对传输的各种信号源进行压缩，以提高通信容量。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/2164846.html,
模拟信源（语音）编码的种类
波形编码、参量编码、混合编码 一般来说，波形编码器的话音质量高，但数据率也很高；参量编码器的数据 率很低，产生的合成话音的音质有待提高；混合编码器同时使用参量编译码技 术和波形编译码技术，数据率和音质介于它们之间。 （1）波形编码 波形编码比较简单，编码前采样定理对模拟语音信号进行量化，然后进行 幅度量化，再进行二进制编码。解码器作数／模变换后再由低通滤波器恢复出现 原始的模拟语音波形，这就是最简单的脉冲编码调制（PCM），也称为线性 PCM。可以通过非线性量化，前后样值的差分、自适应预测等方法实现数据压 缩。波形编码的目标是让解码器恢复出的模拟信号在波形上尽量与编码前原始波 形相一致，也即失真要最小。波形编码的方法简单，数码率较高，在64kbit/s至 32kbit/s之间音质优良，当数码率低于32kbit/s的时候音质明显降低，16 kbit/s时 音质非常差。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/2164846.html,
信息论与编码[第五章无失真信源编码定理与编码]山东大学期末考试知识点复习
第五章无失真信源编码定理与编码 5．1．1 信源编码和码的类型 1．信源编码 2．码的类型 若码符号集中符号数r=2称为二元码，r=3称为三元码，……，r元码。 若分组码中所有码字的码长都相同则称为等长码，否则称为变长码。 若分组码中所有码字都不相同则称为非奇异码，否则称为奇异码。 若每个码符号x i∈X的传输时间都相同则称为同价码，否则称为非同价码。 若分组码的任意一串有限长的码符号只能被唯一地译成所对应的信源符号序列则称为唯一可译码，否则称为非唯一可译码。 若分组码中，没有任何完整的码字是其他码字的前缀，则称为即时码(又称非延长码或前缀条件码)，否则称为延长码。 本章主要研究的是同价唯一可译码。 5．1．2 即时码及其树图构造法 即时码(非延长码或前缀条件码)是唯一可译码的一类子码。 即时码可用树图法来构造。构造的要点是： (1)最上端为树根A，从根出发向下伸出树枝，树枝总数等于r，树枝的尽头
为节点。 (2)从每个节点再伸出r枝树枝，当某节点被安排为码字后，就不再伸枝，这节点为终端节点。一直继续进行，直至都不能伸枝为止。 (3)每个节点所伸出的树枝标上码符号，从根出发到终端节点所走路径对应的码符号序列则为终端节点的码字。 即时码可用树图法来进行编码和译码。 从树图可知，即时码可以即时进行译码。 当码字长度给定，即时码不是唯一的。 可以认为等长唯一可译码是即时码的一类子码。 5．1．3 唯一可译码存在的充要条件 (1)对含有q个信源符号的信源用含r个符号的码符号集进行编码，各码字的码长为l1，l2，…，l q的唯一可译码存在的充要条件是，满足Kraft不等式 5．1．4 唯一可译码的判断法 唯一可译码的判断步骤： 首先，观察是否是非奇异码。若是奇异码则一定不是唯一可译码。 其次，计算是否满足Kraft不等式。若不满足一定不是唯一可译码。 再次，将码画成一棵树图，观察是否满足即时码的树图的构造，若满足则是唯一可译码。 或用Sardinas和Patterson设计的判断方法：计算出分组码中所有可能的尾
第6章 限失真信源编码
第6章 限失真信源编码 一、例题： 【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为： (0,0)(1,1)0d d ==，(0,1)(1,0)1d d == 其失真矩阵为 011 0??=? ??? D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即： 011110111 1011 1 1 0?? ??????=???????? D 【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2 (,)()i j i j d u v u v =-，求失真矩阵。由失真定义得： d (0,0)＝d (1,1)＝d (2,2)＝0 d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4 所以失真矩阵D 为 141 014 1 4?? ??=?????? D 【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集 {0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集
{0,1}，定义失真函数 (0,0)(1,1)0(0,1)(1,0)1 d d d d ==== 求符号序列的失真矩阵。 解： 由N 维信源序列的失真函数的定义得 1 1(,)(,)(,) ,k k N N N i j i j k d d d u v N αβ=== ∈∈∑u v u U v V 所以 [][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)2 2 N N d d d d d d =+== += 类似计算其他元素值，得到信源序列的失真矩阵为 11012211012211102211102 2 N ??????????=? ?????????? ? D 【例6.4】 设信源符号有8种，而且等概率，即1()8 i P u = 。失真函数定义为 0(,)1i j i j d u v i j =?=?≠? 假如允许失真度12 D =，即只要求收到的符号平均有一半是正确的。我们可以设想这 样的方案： 方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。如图6.1(a )所示。 方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以 1234,,,u u u u 发送。如图6.1(b )所示。
第5章_无失真信源编码 题与答案资料
5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
5.7 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003 100=C 18 35.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i
信息论与编码理论-第4章无失真信源编码-知识题解答-2007120
第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式）
4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (,,, ,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 1 23456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1234 5678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当 N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章 无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l 。 4-2 设信源6 1 261 126()1() () ()()i i s s s X p s p s p s p s P X =????==???? ???? ∑。对此次能源进行m 元唯一 可译编码，其对应的码长为（l 1,l 2,…,l 6）=(1,1,2,3,2,3)，求m 值的最好下限。（提示：用kraft 不等式） 4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (, ,,,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=????????
信源编码
摘要 由于信源符号之间存在分布不均匀喝相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说就是针对信源输出符号序列的的统计特性，寻找一定的方法把信源输出符号序列变换为最短码字序列的方法。 信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真的恢复原信源符号。 关键字：算术编码，符号序列，码字。
目录 1 课题描述 (1) 2设计原理 (1) 2.1 编码 (2) 2.2解码 (2) 3设计过程 (2) 3.1算术编码过程简述 (2) 3.2算术编码的特点 (3) 3.3 设计程序 (3) 图一算术编码结果 (8) 总结 (9) 参考文献 (10)
1 课题描述 编码实质上是对信源的原始符号按一定规则进行的一种变换。编码可分为信源编码和信道编码。信源编码：以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。即同样多的信息用较少的码率传送,使单位时间内传送的平均信息量增加,从而提高通信的有效性。 信源编码理论是信息论的一个重要分支,其理论基础是信源编码的两个定理。 –无失真信源编码定理：是离散信源/数字信号编码的基础； –限失真信源编码定理：是连续信源/模拟信号编码的基础。 ?信源编码的分类： –离散信源编码：独立信源编码,可做到无失真编码； –连续信源编码：独立信源编码,只能做到限失真信源编码； –相关信源编码：非独立信源编码。 信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩：作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。 最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。 开发工具：Visual C++6.0 2设计原理 信源编码提高信息传输有效性的基本思想就是针对信源编码输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短吗，从而使信源输出的符号序列变为最短的码字序列。其目的是为了提高传输的
常见无失真信源编码算法及Matlab实现比较
毕业论文基本要求 1．毕业论文的撰写应结合专业学习，选取具有创新价值和实践意义的论题。 2．论文篇幅一般为8000字以上，最多不超过15000字。 3．论文应观点明确，中心突出，论据充分，数据可靠，层次分明，逻辑清楚，文字流畅，结构严谨。 4．论文字体规范按《本科生毕业论文写作规范》和“论文样板”执行。 5．论文应书写工整，标点正确，用用微机打印后，装订成册。
本科毕业论文（设计）诚信声明 本人郑重声明：所呈交的本科毕业论文（设计），是本人在指导老师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议，除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学生签名： 时间：年月日 关于论文（设计）使用授权的说明本人完全了解关于收集、保存、使用学位论文的规定，即： 1.按照学校要求提交学位论文的印刷本和电子版本； 2.学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务，在校园网上提供服务； 3.学校可以采用影印、缩印、数字化或其它复制手段保存论文； 本人同意上述规定。 学生签名： 时间：年月日
摘要 随着科学技术的发展，人类已经进入高速发展的信息时代。无论是在经济、政治、生活还是军事领域，信息的重要性已经不言而喻，有关信息的理论越来越受到重视。信息论与编码是信息、通讯、电子工程类专业的基础，对于理论研究和工程运用均有重要的指导作用。而无失真信源编码理论是信息论的理论基础，主要运用在离散信源或数字信号的研究，如文本、表格及工程图纸等信源，对其进行无失真地数据压缩，且完全能够无失真地可逆恢复。 本文首先在于讲述无失真信源编码的运用领域，研究无失真信源编码的意义。紧接着详细介绍了无失真信源编码中常见的三种编码方法及其Matlab实现过程，并将此三种方法进行对比。最后对此三种方法进行归纳总结，并举例说明其在日常生活中的运用。 在信息化、网络化、高科技化的特殊时代环境背景下，无失真信源编码的发展迎来了新的机遇与挑战，其应用领域越来越广，越来越普及，由此推进了编码方法的进一步深入研究。 [关键字]：Shanon编码；Fano编码；Huffman编码
离散信源(1)题与答案
设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1) 此消息的自信息量是多少 (2) 此消息中平均每符号携带的信息量是多少 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.414 3 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表