信息论与编码-第4章
合集下载
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码2016(第4章)
§4.2 离散无记忆信道 对称DMC容量的计算
P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类
所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
差错控制编码第4章 离散信道
i 1 r
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码第4章无失真信源编码
0
2
1
w1 0 1 2 0 1 2
01
2w2
w3 w4
0
1
2
w5
w6 w7 w8
w9 w10 w11
0级节点 1级节点 2级节点
3级节点
25
4.3 变长编码
码树编码方法
（1）树根编码的起点； （2）每一个中间节点树枝的个数编码的进制数； （3）树的节点编码或编码的一部分； （4）树的终止节点（端点、树叶）码； （5）树的节数码长； （6）码位于多级节点变长码； （7）码位于同一级节点码等长码；
设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的
>0, >0, 只要
L log m H ( 率小于。
反之，当
L log m H ( X ) 2
N
时, 则译码差错概率一定是有限值(不可能实现无失真编 码), 而当N足够大时, 译码错误概率近似等于1。
概率分布 0.5 0.25 0.125 0.125
码1:C1 码2:C2 码3:C3
00
0
0
码4:C4 1
码5:C5 1
01
11
10
10
01
10
00
00
100
001
11
11
01
1000
0001
等长码 非唯一 非 唯 唯一可译 及时码 可译 一可译
11
4.1 无失真信源编码的概念
关系 即时码一定是唯一可译码 唯一可译码一定是非奇异码 定长的非奇异码一定是唯一可译码 非定长的非奇异码不一定是唯一可译码
一般地，平均码长: L 3.322 (N ) N
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
R ( D ) 0
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
因此可以得到R(D)的定义域为
D 0, Dmax
4.1.4 信息率失真函数的性质
Dmax是怎样来计算
R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，
所以条件概率 p(yj/xi) 与xi 无关。即
pij p( y j / xi ) p( y j ) p j
4.1.4 信息率失真函数的性质
此时平均失真为 D 求出满足条件
p
i 1 j 1
m n
n
m
i
p j d ij
p
j 1
m
j
1 的D中的最小值，即
j 1 i 1
Dmax min p j pi d ij
若 D D 则 R D R D
物理意义：容许的失真度越大，所要求的信息率越小。 反之亦然。
4.1.4 信息率失真函数的性质
综上所述，可以得出如下结论：
R(D)是非负的实数，即 R(D)0。其定义域为0～Dmax，
其值为0～H(X)。当 D>Dmax 时， R(D) 0。
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率 失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算
4.1 平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤， 甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数
R 尽量小；
D，在满足平均失真 D D（保真度准则）
的条件下，选择一种编码方法使信息率 R 尽可能小；
信息率
R 就是所需输出的有关信源 X 的信息量； Y 需要获得的有关 X 的信息量，
对应到假想信道，即为接收端
也就是互信息 I(X;Y)；
这样，选择信源编码方法的问题就变成了选择假想信道的问题，
符号转移概率 p(yj/xi) 就对应信道转移概率
4.1.3 信息率失真函数R(D)
D允许试验信道 平均失真由信源分布 p(xi)、假想信道的转移概率 p(yj/xi) 和失真函数 d(xi,yj) 决定，若 p(xi) 和 d(xi,yj) 已定，则可给 出满足 D D 条件的所有转移概率分布 pij，它们构成了 一个信道集合PD
0 1 P 0 1
4.1.4 信息率失真函数的性质
2、R(D)函数的下凸性和连续性 R D R D 1 R D 其中 0 1; D D 1 D 下凸性： 连续性： lim R D R D 其中 D D 0 3、R(D)函数的单调递减性
2 1 2 1 min 0 1, 1 0 j 1,2 3 3 3 3 2 1 1 min , j 1,2 3 3 3
此时输出符号概率 p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
4.1.1 失真函数
假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有 失真的信源编码器，输出 Y，样值为 yj，yj {b1,…bm} 如果xi＝yj，则认为没有失真；如果 xiyj，那么就产生了 失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)， 以衡量用 yj 代替 xi 所引起的失真程度 一般失真函数定义式为
这时信源编码器无失真，所以该编码器的转移概率为 1 0 P 0 1
4.1.4 信息率失真函数的性质
当R(Dmax)＝0时 Dmax min pi dij
j 1,2 2 i 1
min p1d11 p2 d 21 , p1d12 p2 d22
j 1,2
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
4.1.3 信息率失真函数R(D)
xi y j 0 d(xi ,y j ) α α 0 x y i j
4.1.1 失真函数
失真矩阵
单个符号的失真函数的全体排列起来构成的矩阵，称为 失真矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 2 d 2 1 d (an , b1 ) d (an , b2 )
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 1 2 2
分析R(D)定义域两端的状态
4.1.4 信息率失真函数的性质
解：
当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
D
pX ,Y ( x, y)d ( x, y)dxdy
其中pX,Y(x,y)是连续随机变量的联合概率密度
对于L长序列编码情况，平均失真为 1 L D L E[d ( xil , y jl )] L l 1
1 L Dl L l 1
其中 Dl 是第l个符号的平均失真
例4.1 (p.74) 设信源的符号表为A＝{a1，a2，…，a2n}， 概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规 定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试
研究在一定编码条件下信息压缩的程度
从上式观察可得：在 j=1,2,…,m 中，可找到 pi d ij 值最
小的 j，当该 j 对应的 pj＝1，而其余 pj 为零时，上式 右边达到最小，这时上式可简化成
Dmax
j 1,2,, m
i 1
n
min
p d
i 1
n
i ij
4.1.4 信息率失真函数的性质
例4.2 (p.76) 设输入输出符号表为 X＝Y{0，1}，输入 概率分布p(x)={1/3，2/3}，失真矩阵为
4.1.3 信息率失真函数R(D)
信源X经过有失真的信源编码器将信源编码器输出 Y，将 这样的编码器看作存在干扰的假想信道 X
X a1, a2 ,
信源编码器
an
Y
Y b1, b2 , bn
假想信道
4.1.3 信息率失真函数R(D)
信源编码器的目的：使编码后所需的信息传输率 然而R越小，引起的平均失真就越大； 给出一个失真的限制值
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L
长符号序列样值 xi ＝(xi1xi2…xil…xiL) ，经信源编码后，输 出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj
＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：
1 L d L ( xi , y j ) d ( xil , y jl ) L l 1
4.1.4 信息率失真函数的性质
1. R(D)函数的定义域 ⑴ Dmin和 R(Dmin) Dmin＝0 对于离散信源 R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
4.1.4 信息率失真函数的性质
(2) Dmax和 R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义 域的上限Dmax，即 Dmax min D
4.1.5 信息率失真函数与信道容量的比较
表4-1 R(D)与C的比较 信道容量C 研究对象 给定条件 选择参数 结论
I ( X ;Y ) H ( X ) H ( X / Y )
率失真函数R(D) 信源 信源概率分布p(xi) 信源编码器映射关系p(y/x)
R( D) min I ( X ; Y )
p1 p2 pn 1 1 1 n , pn 2n 2n
信道输出概率分布为 则输出熵为
1 1 1 n 1 n H Y H , , , log 2 n log n 1 2 n 2 n 2 n 2 n n 1个
R( D ) min I ( X ; Y )
PD
信息率失真函数 R(D)的物理意义：对于给定信源，在平均失真不超 过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D)
4.1.3 信息率失真函数R(D)
对于离散无记忆信源，R(D)函数可写成
R( D) min p(ai ) p(b j / ai ) log
R(D) 是关于D的下凸函数，因而也是关 NhomakorabeaD的连续函
数。
R(D)是关于D的严格单调递减函数。
4.1.4 信息率失真函数的性质
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D)
H(X) R(D)
R(D) 0 D Dmax D
0
Dmax D
(b) 连续系统
(a) 离散系统
信息率失真曲线
PD p(b j / ai ) : D D
i 1,2,, n; j 1,2,, m
此信道集合称为D允许试验信道
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
因此可以得到R(D)的定义域为
D 0, Dmax
4.1.4 信息率失真函数的性质
Dmax是怎样来计算
R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，
所以条件概率 p(yj/xi) 与xi 无关。即
pij p( y j / xi ) p( y j ) p j
4.1.4 信息率失真函数的性质
此时平均失真为 D 求出满足条件
p
i 1 j 1
m n
n
m
i
p j d ij
p
j 1
m
j
1 的D中的最小值，即
j 1 i 1
Dmax min p j pi d ij
若 D D 则 R D R D
物理意义：容许的失真度越大，所要求的信息率越小。 反之亦然。
4.1.4 信息率失真函数的性质
综上所述，可以得出如下结论：
R(D)是非负的实数，即 R(D)0。其定义域为0～Dmax，
其值为0～H(X)。当 D>Dmax 时， R(D) 0。
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率 失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算
4.1 平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤， 甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数
R 尽量小；
D，在满足平均失真 D D（保真度准则）
的条件下，选择一种编码方法使信息率 R 尽可能小；
信息率
R 就是所需输出的有关信源 X 的信息量； Y 需要获得的有关 X 的信息量，
对应到假想信道，即为接收端
也就是互信息 I(X;Y)；
这样，选择信源编码方法的问题就变成了选择假想信道的问题，
符号转移概率 p(yj/xi) 就对应信道转移概率
4.1.3 信息率失真函数R(D)
D允许试验信道 平均失真由信源分布 p(xi)、假想信道的转移概率 p(yj/xi) 和失真函数 d(xi,yj) 决定，若 p(xi) 和 d(xi,yj) 已定，则可给 出满足 D D 条件的所有转移概率分布 pij，它们构成了 一个信道集合PD
0 1 P 0 1
4.1.4 信息率失真函数的性质
2、R(D)函数的下凸性和连续性 R D R D 1 R D 其中 0 1; D D 1 D 下凸性： 连续性： lim R D R D 其中 D D 0 3、R(D)函数的单调递减性
2 1 2 1 min 0 1, 1 0 j 1,2 3 3 3 3 2 1 1 min , j 1,2 3 3 3
此时输出符号概率 p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
4.1.1 失真函数
假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有 失真的信源编码器，输出 Y，样值为 yj，yj {b1,…bm} 如果xi＝yj，则认为没有失真；如果 xiyj，那么就产生了 失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)， 以衡量用 yj 代替 xi 所引起的失真程度 一般失真函数定义式为
这时信源编码器无失真，所以该编码器的转移概率为 1 0 P 0 1
4.1.4 信息率失真函数的性质
当R(Dmax)＝0时 Dmax min pi dij
j 1,2 2 i 1
min p1d11 p2 d 21 , p1d12 p2 d22
j 1,2
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
4.1.3 信息率失真函数R(D)
xi y j 0 d(xi ,y j ) α α 0 x y i j
4.1.1 失真函数
失真矩阵
单个符号的失真函数的全体排列起来构成的矩阵，称为 失真矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 2 d 2 1 d (an , b1 ) d (an , b2 )
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 1 2 2
分析R(D)定义域两端的状态
4.1.4 信息率失真函数的性质
解：
当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
D
pX ,Y ( x, y)d ( x, y)dxdy
其中pX,Y(x,y)是连续随机变量的联合概率密度
对于L长序列编码情况，平均失真为 1 L D L E[d ( xil , y jl )] L l 1
1 L Dl L l 1
其中 Dl 是第l个符号的平均失真
例4.1 (p.74) 设信源的符号表为A＝{a1，a2，…，a2n}， 概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规 定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试
研究在一定编码条件下信息压缩的程度
从上式观察可得：在 j=1,2,…,m 中，可找到 pi d ij 值最
小的 j，当该 j 对应的 pj＝1，而其余 pj 为零时，上式 右边达到最小，这时上式可简化成
Dmax
j 1,2,, m
i 1
n
min
p d
i 1
n
i ij
4.1.4 信息率失真函数的性质
例4.2 (p.76) 设输入输出符号表为 X＝Y{0，1}，输入 概率分布p(x)={1/3，2/3}，失真矩阵为
4.1.3 信息率失真函数R(D)
信源X经过有失真的信源编码器将信源编码器输出 Y，将 这样的编码器看作存在干扰的假想信道 X
X a1, a2 ,
信源编码器
an
Y
Y b1, b2 , bn
假想信道
4.1.3 信息率失真函数R(D)
信源编码器的目的：使编码后所需的信息传输率 然而R越小，引起的平均失真就越大； 给出一个失真的限制值
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L
长符号序列样值 xi ＝(xi1xi2…xil…xiL) ，经信源编码后，输 出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj
＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：
1 L d L ( xi , y j ) d ( xil , y jl ) L l 1
4.1.4 信息率失真函数的性质
1. R(D)函数的定义域 ⑴ Dmin和 R(Dmin) Dmin＝0 对于离散信源 R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
4.1.4 信息率失真函数的性质
(2) Dmax和 R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义 域的上限Dmax，即 Dmax min D
4.1.5 信息率失真函数与信道容量的比较
表4-1 R(D)与C的比较 信道容量C 研究对象 给定条件 选择参数 结论
I ( X ;Y ) H ( X ) H ( X / Y )
率失真函数R(D) 信源 信源概率分布p(xi) 信源编码器映射关系p(y/x)
R( D) min I ( X ; Y )
p1 p2 pn 1 1 1 n , pn 2n 2n
信道输出概率分布为 则输出熵为
1 1 1 n 1 n H Y H , , , log 2 n log n 1 2 n 2 n 2 n 2 n n 1个
R( D ) min I ( X ; Y )
PD
信息率失真函数 R(D)的物理意义：对于给定信源，在平均失真不超 过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D)
4.1.3 信息率失真函数R(D)
对于离散无记忆信源，R(D)函数可写成
R( D) min p(ai ) p(b j / ai ) log
R(D) 是关于D的下凸函数，因而也是关 NhomakorabeaD的连续函
数。
R(D)是关于D的严格单调递减函数。
4.1.4 信息率失真函数的性质
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D)
H(X) R(D)
R(D) 0 D Dmax D
0
Dmax D
(b) 连续系统
(a) 离散系统
信息率失真曲线
PD p(b j / ai ) : D D
i 1,2,, n; j 1,2,, m
此信道集合称为D允许试验信道