信息与编码信息与编码 6-3
信息论与编码(第二版)陈运主编课件第六章 (3)
x xa x i i a x x a x
a
1
mod x 1
n
mod x 1
n
定理： （n,k）循环码C( x)中存在唯一的一个
非零的，首一的和最低次为r（r<n）的码
多项式g(x)满足： g(x)=xr+gr-1xr-1+….+g X+g0
1
信息论与编码
Information Theory and coding
内蒙古工业大学 电子信息工程系 宋丽丽
Email: songlili@
§6.3.1 循环码的多项式描述
§6.3.2循环码的生成矩阵 §6.3.3系统循环码
循环码
循环码是采用循环移位特性界定的一类线性分组码。 编码设备不太复杂，而且检纠错能力较强。
循环码的定义
定义
如果一个线性分组码的任意一个码字c(n 元组)都是另外一个码字c’的循环移位,称 此线性分组码为一个循环码.
例 6.3.2 如下确定的CA是线性循环码，CB是非 循环的线性分组码，CC是非线性的循环码。
， ，
循环码的多项式描述
将循环码的码字用多项式c(x)， 称为码多项式（简称码式）表示后，循环码集合 表示C(x),
k n
(n,k)循环码的校验矩阵为
hk , hk 1 , 0, h , k H 0, 0,
h0 , 0, 0, 0 h1 , h0 , 0, 0 hk , hk 1 , h0 rn
i 1, 2,, n
a x an 1 x n 1 an 2 x n 2 a1 x a0 ai 0,1 1 a x an 2 x n 1 an 3 x n 2 a1 x 2 a0 x an i a x an 1i x n 1 an 2i x n 2 a1 x i 1 a0 x i an 1 x i 1 an i
信息论与编码(第三版) 第6章 信道编码理论
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
(6,3)线性分组码编码分析与实现
吉林建筑大学电气与电子信息工程学院信息理论与编码课程设计报告设计题目：线性分组码编码的分析与实现专业班级：电子信息工程学生姓名：学号：指导教师：设计时间：2014.11.24－2014.12.5第1章 概述1.1 设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。
其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。
通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法。
1.2 设计任务及要求设计一个（6, 3）线性分组码的编译码程序：完成对任意序列的编码，根据生成矩阵形成监督矩阵，得到伴随式，并根据其进行译码，同时验证工作的正确性。
1．理解信道编码的理论基础，掌握信道编码的基本方法； 2．掌握生成矩阵和一致校验矩阵的作用和求解方法；3．针对线性分组码分析其纠错能力，并能够对线性分组码进行译码； 4．能够使用MATLAB 或其他语言进行编程，实现编码及纠错，编写的函数要有通用性。
1.3设计内容已知一个（6,3）线性分组码的Q 矩阵：设码字为(c 5, c 4, c 3, c 2, c 1, c 0)11101110Q ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦求出标准生成矩阵和标准校验矩阵，完成对任意信息序列（23个许用码字）的编码。
当接收码字R 分别为(000000), (000001), (000010), (000100), (001000), (010000), (100000), (100100)时，写出其伴随式S ，以表格形式写出伴随式与错误图样E 的对应关系。
纠错并正确译码，当有两位错码时，假定c 5位和c 2位发生错误。
信息论与编码理论课后答案
信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的是建立信息论的基础。
7、8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。
信息论与编码第六章
编码矩阵的第i行第j列元素表示由一个状态转移到
下一个状态时发送的码字。“.”表示该状态转移 不可能。
信息论与编码-卷积码
还可以用状态流图（状态转移图）来表示，如下图所示。
1/111
S2
1/100
S0
1/110
0/011
S3
0/000 0/001
S1
0/010
1/101
所以当输入信息序列是10110…时，输出码字为：
码流首先经串并转换送入移位寄存器中，移位寄 存器的一列存放一个信息组。由于约束长度为 L+1，所以共有k行L+1列。这L+1个信息码组 的k(L+1)个码元信息送入线性组合器，得到线性
组合后的n个码元 c0 i、 c1i、 、 cn i1 ，经并串
转换后作为编码器的输出。
信息论与编码-卷积码
S 1/111
0
……。
S 0/011
2
S S S 1/110 1
S 1/100
0/010
2
3
1
信息论与编码-卷积码
从例题中可以看出，编码矩阵C比较好地展示了 状态转移规律，但不足之处在于没有状态随时 刻变化的状态转移轨迹。网格图解决了这一问 题。
网格图分两部分：一部分实际上就是状态转移图， 即在某移时刻从某一状态可能转移到下一时刻 的哪些状态，输入/输出信息是什么；另一部 分是对编码过程的纪录，即状态随时刻变化的 轨迹。通过一个例题来说明。
解：本题 n=3，k=1，L=2，可以得到编码器的状态 定义、不同状态和输入时的输出以及不同状态和 输入时的下一个状态，如下表所示。
信息论与编码-卷积码
信号入
m
i 0
信息论与编码(陈运)习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信息论与编码-曹雪虹-课后习题参考答案
《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。
2.1一个马尔可夫信源有3个符号{}1,23,uu u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
W 2、W 31231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWP WW==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W WW W WW W WW W WW W W W+=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514WWWW⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.31/6，求：(1)“3和5(2)“两个1(3)1的自信息量。
11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ (4)x p x p X H X P X i i i 1212181log 1812361log 3612 )(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11=求：身高160即：ypxypxpyxpyxI5.075.025.0log)()/()(log)/(log)/(11111111⨯-=-=-=2.6掷两颗骰子，1()(1,2)(2,1)18p x p p=+=log()log18 4.170p x bit=-==7的概率log()log6 2.585p x bit=-==341231/41/8x x===⎫⎪⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n XH / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品).docx
第六章：信道 (本章复大我重新修改了一下，尤其要关注色内容 )1、基本概念：差符号、差比特；差：随机差、突差；分：和、分和卷、性与非性、随机差和突差；矢量空、空及其偶空；有离散信道的定理：P e e- NE ( R)（掌握信道定理的内容及减小差概率的方法）；形分的展与短（掌握奇偶校及短的校矩、生成矩与原形分的关系）。
2、性分 (封性 )：生成矩及校矩、系形式的 G 和 H、伴随式与准列表、距与能力、完(明 )、循的生成多式及校多式、系形式的循。
作： 6-1、6-3、6-4、6-5 和 6-6 一、 6-7 6-8 和 6-9 一6-1 二元域上 44重失量空的元素个数共有24=16 个，它分是(0,0,0,0),(0,0,0,1)⋯ (1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二子空含有的元素个数 22个，取其中一个自然基底(0,0,0,1)和(0,0,1,0)，其二子空中所包含的全部矢量(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注不唯一 )；上述子空的偶子空可以有三种不同的：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。
(注意本中所包含的关于矢量空的一些基本概念 )6-3 由可以写出系 (8,4)的形方程如下：v 7 u 3 v 6 u 2 v 5 u 1v 4 u 0(注：系统码高四位与信息位保持一致， u i 为信息位 )v 3 u 3 u 2 u 0 v 2 u 3 u 1 u 0 v 1 u 2 u 1 u 0 v 0 u 3 u 2 u 1把上述方程组写成矩阵形式， 可以表示为 V=UG ，其中 V 为码字构成的矢量，即 V=(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U=( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：1 0 0 0 1 1 0 10 1 0 0 1 0 1 1 4| P4*4G0 1 0 0 1 1 I 0 1 0 0 0 1 1 1 1 0由系统生成矩阵和校验矩阵的关系可得：1 1 0 1 1 0 0 0 HP 4*4T1 0 1 1 0 1 0 0| I 41 1 1 0 0 1 01 1 1 0 0 0 0 1由校验矩阵可以看出，矩阵 H 的任意三列都是线性无关的 (任意三列之和不为 0)，但存在四列线性相关的情况 (如第 1、5、6、8 列，这四列之和为 0)，即校验矩阵 H 中最小的线性相关的列数为 4，从而得该线性分组码的最小码距为 4。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
那么称 是 的扩张编码。这时 是一个从(Xn)*到(U)*的映射。
(2)如果 是一个从X到U*的变长码,如果 是一个消息字母,那么对任何 定义
那么称 是 的扩张编码.这时 是一个从X*到U*的映射。
(3)无论是定长编码还是变长编码,它们的扩张 都是一个从(Xn)*(或X*)到U*的映射,如果 是一个1-1映射,那么我们称 是一个惟一可译码(或可还原码)
方法
方式（手段）：多媒体；
方法：讲授法。
教学
内容
及时
间分
配第Βιβλιοθήκη 节课：3.1信源编码问题；-------------------------45分钟
第二节课：
3.2前缀码与即时码；---------------------30分钟
3 3信源变长编码问题。------------------15分钟
例题、练习题
定理3.1.1惟一可译码与1-1码有以下关系:
(1)无论是定长编码还是变长编码,惟一可译码必须是一个1-1码.
(2)如果 是一个1-1定长码,那么 是一个惟一可译码.
(3)变长的1-1码,不一定是惟一的可译码.
3.1.3信源变长码的编码问题
定义3.1.4如 是一个信源, 是一个变长的编码,那么对任何 , 是U*中的一个向量,我们记 是 的向量长度.那么定义 为变长码f的平均码长。
东北电力大学
教案封皮
开课单位
理学院信息与计算教研室
课程名称
信息与编码
授课教师
常志文
授课对象
信息与计算专业121
选用教材
信息论与编码理论（沈世镒）
总学时
60（含课内实验10学时）
课次
6
第3章
第1~3节信源编码问题，前缀码与即时码，信源变长编码的编码问题。
教学目的
及要求
教学目的及要求：
要求学生掌握信源编的产生及要解决的主要问题；
(2)记 为定长编码的码字集合。称 为编码的信号体积.而称
为编码 的码率.
定义3.1.7(信源序列编码的可达速率)称R是信源序列 的一个可达速率,如果存在一个数列 (当 时)及存在一组编码序列 ,使以下条件成立.
(1)对任何
(2)对任何 其中
定义3.1.8(信源序列的最小可达率和它的编码问题)对已给的信源序列 ，全体可达率的最小值(或下确界)称为该信源序列的最小可达速率.信源序列的编码问题就是求它的最小可达率.
3.1.2定长编码与变长编码
定义3.1.2如果 是从Xn到Um的映射,m,n是两个固定的正整数,那么称 是从Xn到Um的定长编码。定长码又称分组码,它表示编码是一段一段地进行,各消息与信号段的长度都相同.
如果 是从X到U*的映射,那么称 是一个变长编码(或不定长编码)。
定义3.1.3(1)如果 是一个从Xn到Un的定长码,记 ,其中
成立
3.3.3无记忆信源平均码长的上、下界估计
定义3.3.1称 是由 确定的无记忆信源序列,如果对任何,如果对任何 有 是X的 维乘积空间,而且 。
定理3.3.3如果 是由 确定的无记忆信源, 是消息字母表的字母数,那么最优变长即时码 的码长估计式为
其中 是 的概率分布
编码是一种对应关系
1-1对应与唯一可译关系。
衡量编码效率的方法之一就是平均码长。
平均误差为错误概率。
码率即编码效率。
注意：前缀码的定义与字义相反。
Kraft不等式说明对于指定一组码字长度的前缀码是否存在。
定义3.1.5(变长信源编码问题)如 是一个给定的信源,变长信源编码问题是:求惟一可译的变长码 ,使 为最小.也就是求惟一可译的变长码 ,它对其他惟一可译的变长码 ,总有
成立,这时称 为 的最优变长码。
3.1.4信源序列的定长编码问题
定义3.1.6编码的平均误差与可达速率定义如下:
(1)对固定的信源 ,与编、译码函数 ,它们的平均误差为
掌握前缀码与即时码以及变长编码理论。
教学重点处理安排
教学重点：
前缀码与即时码；
处理安排：
通过实例与原理说明前缀码与即时码。
教学难点处理安排
教学难点：
前缀码与即时码的区别；
变长码与定长码的不同；
处理安排：
由定义以及唯一可译码与即时可译码区别说明前缀码与即时码的区别；
由平均码长说明变长码的优点。
教学方式、
例题：平均码长计算实例，非唯一可译码实例，唯一可译但非即码实例。
作业、思考题
P72，3.2 3.3
教案
内容
备注
第三章信源编码
3.1信源编码问题
3.1.1信源编码
定义3.1.1我们称 是一个1-1码,如果 ,必有 。如果 是一个1-1码,那么我们又称 满足1-1性.
为了使编码是可还原的,编码 必须满足1-1性.但我们从下文可看到,1-1码不一定是可还原码.
3.3信源变长码的编码定理
3.3.1最优变长码平均码长的下界估计
最优变长码平均码长的下界估计式由以下定理确定.
定理3.3.1如果 是给定信源, 是即时码,那么
,
其中 上取对数为 为底的熵函数,而等号成立的充分必要条件是
证明略
3.3.2最优变长码平码长的上界估计
定理3.3.2对于已给信源 ,它的 元最优变长即时码 必有
3.2前缀码与即时码
3.2.1惟一可译变长码的构造成
定义3.2.1我们称一个码是即时码,如果在任意的码串中,从左到右,如果一个码字出现,就可惟一译出这个码字所对应的信源字母.
定义3.2.2两个字符串 与 ,称 是 的前缀,如果 ,且有
成立.
如果任何一个码字都不能是另一个码字的前缀称这个码是前缀码.
定理3.2.1前缀码一定是即时码,反之亦然.
.
3.2.2 Kraft不等式
定理3.2.2(Kraft不等式)如果 是一个变长码,它的码元集为C,它的码字长度分别是 ,记为 ,如果 是一个即时码,那么它必满足Kraft不等式 。
反之,如果有一组数 满足Kraft不等式,那么必存在一个码长为 的即时码.
以上定理说明了满足Kraft不等式的 ,必存在即时码使它的长度为 .反之长度满足Kraft不等式的码不一定是即时码.