信息理论编码课程PPT第6章限失真信源编码资料
合集下载
信息论与编码(第三版) 第6章 信道编码理论
信号无失真传 输条件：通频 带内系统增益 为常数；相位 为线性(群延时
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
相等)
❖ 信号差错的指标通常用概率大小表征，符号差错概率 也称为误码元率，是指信号差错的概率；
❖ 误比特率则是表示信息差错概率的一种方法 ；
❖ 对于M进制码元，差图样E为
E (C R)(mod M )
❖ 二进制码而言 E CR
2需要反馈信道， 占用额外频率资源
二、前向纠错方式（FEC）
检测 结果
发送端
信道
接收端
发送
纠错码
接收码字
根据编译 码规则
Y 错误
N
译码 规则 纠错
纠错能力足够好，能够纠 正信道引入的数据错误
输出信息
优点 不足
1.不需要反馈信道，能够实现一对多的同 步广播通信 2.译码实时性好，控制电路比ARQ也简 单 由于假设纠错码的纠错能力足够纠正信息序 列传输中的错误，也就是纠错码与信道的干 扰是相匹配的，所以对信道的适应性较差
❖ 差错图样中的1就是符号差错，同时也是比特差错，而差错 的个数就是汉明距离。
C (1010)
R (0011)
E C R (1001)
一、功能
纠错码的分类
检测码
纠错码
只检测信息传输是否出现错 误，本身没有纠错的能力
不仅能够检测信 息传输中的错误，
并且能够自动纠
循环冗余校验码、 奇偶校验码等
信号传输过程中出现大的 信号波形畸变，导致信号 检错时发生错误，进而出 现 码元错误
叠加强的干扰 或者噪声
信号传输过程 中出现线性或 者非线性失真
线性失真
信号传输过程中不同的频率 分量增益不同，或者由于非
线性相位引起的延时不同
第六章率失真函数理论及限失真信源编码
用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量
的失真度。具体的讲，对于离散信源设发端
收端：y b1,b2, ,bm ；当发 ai时收到 b j
x a1, a2, , an ;
符号的情况下定义
失真度为：
def
0 i = j
问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
5º Guide action: Channel coding problem
I(X;Y) is a function of P(y/x).
R(D)是表达信源与失真要求 匹配条件下的最小传信率； 在RR(D)下，总能找到一种 编码方法,满足信宿要求。
Source coding problem with finite distortion (Data Compression)
i1 j 1
If let
0 i j dij 1 i j
then d Pe
即，平均每一符号可能发生的误码率。
当x, y都为L维的随机矢量时，可定义矢量间的失真函数为：
dL( x,
def
y)
1 L
L l=1
d(xl ,
yl
)
dL = E dL( x, y ) =
1 LE L l=1
d(xl , yl )
第6章 限失真信源编码
m ax
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
信息理论与编码 第六章 限失真信源编码 PPT课件
R(ND) min I(U N ;V N ) min{I(U N ;V N ); D(N ) ND}
P
V
N
|U
N
BND
信源和信道均无记忆，有
R( ND) min{I(U N ;V N ); D( N ) ND}
min{NI(U;V ); D D} NR(D)
6.2.2 信息率失真函数的性质
数常用于连续信源。
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义 如果要求平均失真 D小于某个给定值D，即要求
rs
D E{d(ui , v j )}
P(ui )P(v j | ui )d (ui , v j ) D
i1 j1
——保真度准则 D D
满足保真度准则 的信道称为D允许(试验)信道
Dmax
min
1
3
P(v1 )
1
3
1 3
0
1 3
1 3
6.2.2 信息率失真函数的性质
2. R(D)是D的下凸函数 3. R(D)是定义域上的非增函数
R(D)
0 Dmin
Dmax
D
6.3 限失真信源编码定理 -----香农第三编码定理
设离散无记忆信源的信息率失真函数为R(D)，只 要满足R>R(D)，当信源序列足够长时，一定存在一种 编码方法，其译码失真小于或等于D+ε，其中ε是任意 小的正数；反过来若R<R(D)，则无论采用什么样的编 码方法，其译码失真必大于D。
将r×s个d(ui,vj)排成矩阵——失真矩阵，记为[d]：
d(u1, v1 ) [d ] d(u2 , v1 )
d(u1, v2 ) d(u2 , v2 )
信息论导论第六章信源编码
信源编码
第6章 信源编码
从数学意义上，信源编码就是信源符号序列到码 字之间的映射。 无失真信源编码 选择适合信道传输的码集，现在一般选二进 制数 寻求一种将信源符号序列变换为码字的系统 方法，这种方法要保证符号序列与码字之间的 一一对应关系
信源编码
衡量编码方法优劣的主要指标中，码长和易实现 性最受重视。
i 1 i 1 i 1
nN
nN
nN
H(X N ) NH(X) K H(X N ) 1 NH(X) 1
K 1 H(X) H(X) N N 1 任意给定 ，只要NN
信源编码
三、无失真信源编码 1、香农码
香农码直接基于最优码码长的界，是一种采用异 前置码实现的无失真不等长编码。
信源编码
例2
X x1 x 2 x 3 P(X) 0.5 0.3 0.2
分别对该信源和其二次扩展信源编香农码，并计 算编码效率。 (1)对信源编码
log P(x1 ) log 2 1 k1 1 log P(x 2 ) log 0.3 1.74 取k 2 2
码B 码C 0 01 0 10
x 3 0.15 x 4 0.05
011 110 0111 111
码A不是单义可译码，它有二义性；码B和码C是 单义可译码；码B是延时码，它需等到对应与下一 个符号的码字开头0才能确定本码字的结束，存在 译码延时；码C是即时码。
信源编码
码C的特点——任何一个码字都不是其它码字的前 缀，因此将该码称为异前置码。 异前置码可以用树图来构造。 一个三元码树图 从树根开始到每一个终节 点的联枝代表一个码字， 相应的异前置码
x1
x2
0.5
第6章 信源编码
从数学意义上，信源编码就是信源符号序列到码 字之间的映射。 无失真信源编码 选择适合信道传输的码集，现在一般选二进 制数 寻求一种将信源符号序列变换为码字的系统 方法，这种方法要保证符号序列与码字之间的 一一对应关系
信源编码
衡量编码方法优劣的主要指标中，码长和易实现 性最受重视。
i 1 i 1 i 1
nN
nN
nN
H(X N ) NH(X) K H(X N ) 1 NH(X) 1
K 1 H(X) H(X) N N 1 任意给定 ，只要NN
信源编码
三、无失真信源编码 1、香农码
香农码直接基于最优码码长的界，是一种采用异 前置码实现的无失真不等长编码。
信源编码
例2
X x1 x 2 x 3 P(X) 0.5 0.3 0.2
分别对该信源和其二次扩展信源编香农码，并计 算编码效率。 (1)对信源编码
log P(x1 ) log 2 1 k1 1 log P(x 2 ) log 0.3 1.74 取k 2 2
码B 码C 0 01 0 10
x 3 0.15 x 4 0.05
011 110 0111 111
码A不是单义可译码，它有二义性；码B和码C是 单义可译码；码B是延时码，它需等到对应与下一 个符号的码字开头0才能确定本码字的结束，存在 译码延时；码C是即时码。
信源编码
码C的特点——任何一个码字都不是其它码字的前 缀，因此将该码称为异前置码。 异前置码可以用树图来构造。 一个三元码树图 从树根开始到每一个终节 点的联枝代表一个码字， 相应的异前置码
x1
x2
0.5
第6章 无失真信源编码
通常情况下可以用码树来表示码字的构成：
•
如果码字序列符号为r进制的，可以用r个符号的码树 来构造码字； 每个码树有一个树根A；
•
•
• • •
树根有r个树枝；
树枝的尽头称为节点； 每个节点生出是树枝的数量等于码符号的数量r； 从而形成r进制的码树。
0 0 0 1 0 1 1 0 0 1 0 A 1 1 1 0 0 0 1 2 A 1 0 2 1 2 0 1 2
•
而3次扩展符号共有43=64个 如：
3次 扩展符号 AAA AAB AAC … 3次 扩展码字 000 0001 00001 … 3次 扩展符号 … DDB DDC DDD 3次 扩展码字 … 11111101 111111001 111111111
6.2 “无失真”的本质
• •
无失真信源编码：编码时没有信息丢失，译码器可以精确 恢复编码之前的消息。 无失真信源编码又叫“无损压缩”
6.1.3 N次（阶）扩展码
将N次扩展信源的概念加以延伸，可以得到N次扩展码 N • 集合 U (u1 , u2 ,, un ) 的N次扩展 U (ui1 , ui2 ,, uiN )
• •
相应码字集合的N次扩展 其中 ui j 和wi j
W N (wi1 , wi2 ,, wiN )
001
0001
100
1000
4、按译码时是否会产生歧义分
非唯一可译码：译码时会产生歧义 （码2） （码3、奇异码） 唯一可译码：译码时不会产生歧义 （码1、码4、码5）
符号 码1 码2 码3 码4 码5
u1
u2
00
01
0
10
0
11
第六章 限失真信源编码
信息论基础 武汉科技大学
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。