信息论与编码-第4章
合集下载
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码2016(第4章)
§4.2 离散无记忆信道 对称DMC容量的计算
P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类
所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
差错控制编码第4章 离散信道
i 1 r
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码第4章无失真信源编码
0
2
1
w1 0 1 2 0 1 2
01
2w2
w3 w4
0
1
2
w5
w6 w7 w8
w9 w10 w11
0级节点 1级节点 2级节点
3级节点
25
4.3 变长编码
码树编码方法
（1）树根编码的起点； （2）每一个中间节点树枝的个数编码的进制数； （3）树的节点编码或编码的一部分； （4）树的终止节点（端点、树叶）码； （5）树的节数码长； （6）码位于多级节点变长码； （7）码位于同一级节点码等长码；
设离散无记忆信源X的熵为H(X), 若对长为N的信源符号序 列进行等长编码,码长为L , 码元符号个数为m. 则对任意的
>0, >0, 只要
L log m H ( 率小于。
反之，当
L log m H ( X ) 2
N
时, 则译码差错概率一定是有限值(不可能实现无失真编 码), 而当N足够大时, 译码错误概率近似等于1。
概率分布 0.5 0.25 0.125 0.125
码1:C1 码2:C2 码3:C3
00
0
0
码4:C4 1
码5:C5 1
01
11
10
10
01
10
00
00
100
001
11
11
01
1000
0001
等长码 非唯一 非 唯 唯一可译 及时码 可译 一可译
11
4.1 无失真信源编码的概念
关系 即时码一定是唯一可译码 唯一可译码一定是非奇异码 定长的非奇异码一定是唯一可译码 非定长的非奇异码不一定是唯一可译码
一般地，平均码长: L 3.322 (N ) N
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
(信息论、编码及应用)第4章连续信源与连续信道
应用
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
信息论 第4章(哈夫曼编码和游程编码)
我们介绍的哈夫曼编码方法是对具有多个 独立消息的信源进行二进制编码,如果编码符 号（码元）不是二进制的0和1,而是D进制，同 样可以按照哈夫曼编码的方法来完成：只要将 哈夫曼编码树由二叉树换成D叉树,每次合并的 节点由两个改为D个,分配码元时,从左到右将0 到D－1依次分配给各个路段,最后从根节点到 各个叶节点（消息）读出编码结果即可.
游程编码的基本原理
很多信源产生的消息有一定相关性,往往 连续多次输出同样的消息,同一个消息连续输 出的个数称为游程(Run-Length).我们只需要 输出一个消息的样本和对应重复次数,就完全 可以恢复原来的消息系列.原始消息系列经过 这种方式编码后,就成为一个个编码单元(如下 图),其中标识码是一个能够和消息码区分的特 殊符号.
文件传真压缩方法具体流程
主要利用终止码和形成码(见书本P43-44), 一般A4的纸每行的像素为1728,具体编码规则 如下: （1）当游程长度小于64时，直接用一个对应 的终止码表示。 （2）当游程长度在64到1728之间时，用一个 形成码加一个终止码表示。 例如:白游程为662时用640形成码(白)加22终 止码(白)表示,即:01100111 0000011. 黑游程为256时用256形成码(黑)加0终止码(黑) 表示,即:000001011011 0000110111.
哈夫曼（Huffman） （3）哈夫曼（Huffman）编码
哈夫曼编码：将信源中的各个消息按概率排序， 不断将概率最小的两个消息进行合并，直到合 并为一个整体，然后根据合并的过程分配码字， 得到各个消息的编码。 该方法简单明了，并且可以保证最终的编 码方案一定是最优编码方案。
哈夫曼（Huffman） 哈夫曼（Huffman）编码的例子
香农编码的例子
游程编码的基本原理
很多信源产生的消息有一定相关性,往往 连续多次输出同样的消息,同一个消息连续输 出的个数称为游程(Run-Length).我们只需要 输出一个消息的样本和对应重复次数,就完全 可以恢复原来的消息系列.原始消息系列经过 这种方式编码后,就成为一个个编码单元(如下 图),其中标识码是一个能够和消息码区分的特 殊符号.
文件传真压缩方法具体流程
主要利用终止码和形成码(见书本P43-44), 一般A4的纸每行的像素为1728,具体编码规则 如下: （1）当游程长度小于64时，直接用一个对应 的终止码表示。 （2）当游程长度在64到1728之间时，用一个 形成码加一个终止码表示。 例如:白游程为662时用640形成码(白)加22终 止码(白)表示,即:01100111 0000011. 黑游程为256时用256形成码(黑)加0终止码(黑) 表示,即:000001011011 0000110111.
哈夫曼（Huffman） （3）哈夫曼（Huffman）编码
哈夫曼编码：将信源中的各个消息按概率排序， 不断将概率最小的两个消息进行合并，直到合 并为一个整体，然后根据合并的过程分配码字， 得到各个消息的编码。 该方法简单明了，并且可以保证最终的编 码方案一定是最优编码方案。
哈夫曼（Huffman） 哈夫曼（Huffman）编码的例子
香农编码的例子
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
R ( D ) 0
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
因此可以得到R(D)的定义域为
D 0, Dmax
4.1.4 信息率失真函数的性质
Dmax是怎样来计算
R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，
所以条件概率 p(yj/xi) 与xi 无关。即
pij p( y j / xi ) p( y j ) p j
4.1.4 信息率失真函数的性质
此时平均失真为 D 求出满足条件
p
i 1 j 1
m n
n
m
i
p j d ij
p
j 1
m
j
1 的D中的最小值，即
j 1 i 1
Dmax min p j pi d ij
若 D D 则 R D R D
物理意义：容许的失真度越大，所要求的信息率越小。 反之亦然。
4.1.4 信息率失真函数的性质
综上所述，可以得出如下结论：
R(D)是非负的实数，即 R(D)0。其定义域为0～Dmax，
其值为0～H(X)。当 D>Dmax 时， R(D) 0。
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率 失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算
4.1 平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤， 甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数
R 尽量小；
D，在满足平均失真 D D（保真度准则）
的条件下，选择一种编码方法使信息率 R 尽可能小；
信息率
R 就是所需输出的有关信源 X 的信息量； Y 需要获得的有关 X 的信息量，
对应到假想信道，即为接收端
也就是互信息 I(X;Y)；
这样，选择信源编码方法的问题就变成了选择假想信道的问题，
符号转移概率 p(yj/xi) 就对应信道转移概率
4.1.3 信息率失真函数R(D)
D允许试验信道 平均失真由信源分布 p(xi)、假想信道的转移概率 p(yj/xi) 和失真函数 d(xi,yj) 决定，若 p(xi) 和 d(xi,yj) 已定，则可给 出满足 D D 条件的所有转移概率分布 pij，它们构成了 一个信道集合PD
0 1 P 0 1
4.1.4 信息率失真函数的性质
2、R(D)函数的下凸性和连续性 R D R D 1 R D 其中 0 1; D D 1 D 下凸性： 连续性： lim R D R D 其中 D D 0 3、R(D)函数的单调递减性
2 1 2 1 min 0 1, 1 0 j 1,2 3 3 3 3 2 1 1 min , j 1,2 3 3 3
此时输出符号概率 p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
4.1.1 失真函数
假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有 失真的信源编码器，输出 Y，样值为 yj，yj {b1,…bm} 如果xi＝yj，则认为没有失真；如果 xiyj，那么就产生了 失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)， 以衡量用 yj 代替 xi 所引起的失真程度 一般失真函数定义式为
这时信源编码器无失真，所以该编码器的转移概率为 1 0 P 0 1
4.1.4 信息率失真函数的性质
当R(Dmax)＝0时 Dmax min pi dij
j 1,2 2 i 1
min p1d11 p2 d 21 , p1d12 p2 d22
j 1,2
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
4.1.3 信息率失真函数R(D)
xi y j 0 d(xi ,y j ) α α 0 x y i j
4.1.1 失真函数
失真矩阵
单个符号的失真函数的全体排列起来构成的矩阵，称为 失真矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 2 d 2 1 d (an , b1 ) d (an , b2 )
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 1 2 2
分析R(D)定义域两端的状态
4.1.4 信息率失真函数的性质
解：
当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
D
pX ,Y ( x, y)d ( x, y)dxdy
其中pX,Y(x,y)是连续随机变量的联合概率密度
对于L长序列编码情况，平均失真为 1 L D L E[d ( xil , y jl )] L l 1
1 L Dl L l 1
其中 Dl 是第l个符号的平均失真
例4.1 (p.74) 设信源的符号表为A＝{a1，a2，…，a2n}， 概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规 定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试
研究在一定编码条件下信息压缩的程度
从上式观察可得：在 j=1,2,…,m 中，可找到 pi d ij 值最
小的 j，当该 j 对应的 pj＝1，而其余 pj 为零时，上式 右边达到最小，这时上式可简化成
Dmax
j 1,2,, m
i 1
n
min
p d
i 1
n
i ij
4.1.4 信息率失真函数的性质
例4.2 (p.76) 设输入输出符号表为 X＝Y{0，1}，输入 概率分布p(x)={1/3，2/3}，失真矩阵为
4.1.3 信息率失真函数R(D)
信源X经过有失真的信源编码器将信源编码器输出 Y，将 这样的编码器看作存在干扰的假想信道 X
X a1, a2 ,
信源编码器
an
Y
Y b1, b2 , bn
假想信道
4.1.3 信息率失真函数R(D)
信源编码器的目的：使编码后所需的信息传输率 然而R越小，引起的平均失真就越大； 给出一个失真的限制值
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L
长符号序列样值 xi ＝(xi1xi2…xil…xiL) ，经信源编码后，输 出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj
＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：
1 L d L ( xi , y j ) d ( xil , y jl ) L l 1
4.1.4 信息率失真函数的性质
1. R(D)函数的定义域 ⑴ Dmin和 R(Dmin) Dmin＝0 对于离散信源 R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
4.1.4 信息率失真函数的性质
(2) Dmax和 R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义 域的上限Dmax，即 Dmax min D
4.1.5 信息率失真函数与信道容量的比较
表4-1 R(D)与C的比较 信道容量C 研究对象 给定条件 选择参数 结论
I ( X ;Y ) H ( X ) H ( X / Y )
率失真函数R(D) 信源 信源概率分布p(xi) 信源编码器映射关系p(y/x)
R( D) min I ( X ; Y )
p1 p2 pn 1 1 1 n , pn 2n 2n
信道输出概率分布为 则输出熵为
1 1 1 n 1 n H Y H , , , log 2 n log n 1 2 n 2 n 2 n 2 n n 1个
R( D ) min I ( X ; Y )
PD
信息率失真函数 R(D)的物理意义：对于给定信源，在平均失真不超 过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D)
4.1.3 信息率失真函数R(D)
对于离散无记忆信源，R(D)函数可写成
R( D) min p(ai ) p(b j / ai ) log
R(D) 是关于D的下凸函数，因而也是关 NhomakorabeaD的连续函
数。
R(D)是关于D的严格单调递减函数。
4.1.4 信息率失真函数的性质
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D)
H(X) R(D)
R(D) 0 D Dmax D
0
Dmax D
(b) 连续系统
(a) 离散系统
信息率失真曲线
PD p(b j / ai ) : D D
i 1,2,, n; j 1,2,, m
此信道集合称为D允许试验信道
Dmax
j 1,2,, m
min
p d
i 1
n
i ij
因此可以得到R(D)的定义域为
D 0, Dmax
4.1.4 信息率失真函数的性质
Dmax是怎样来计算
R(D)＝0就是I(X;Y)＝0，
这时试验信道输入与输出是互相独立的，
所以条件概率 p(yj/xi) 与xi 无关。即
pij p( y j / xi ) p( y j ) p j
4.1.4 信息率失真函数的性质
此时平均失真为 D 求出满足条件
p
i 1 j 1
m n
n
m
i
p j d ij
p
j 1
m
j
1 的D中的最小值，即
j 1 i 1
Dmax min p j pi d ij
若 D D 则 R D R D
物理意义：容许的失真度越大，所要求的信息率越小。 反之亦然。
4.1.4 信息率失真函数的性质
综上所述，可以得出如下结论：
R(D)是非负的实数，即 R(D)0。其定义域为0～Dmax，
其值为0～H(X)。当 D>Dmax 时， R(D) 0。
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率 失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算
4.1 平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤， 甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数
R 尽量小；
D，在满足平均失真 D D（保真度准则）
的条件下，选择一种编码方法使信息率 R 尽可能小；
信息率
R 就是所需输出的有关信源 X 的信息量； Y 需要获得的有关 X 的信息量，
对应到假想信道，即为接收端
也就是互信息 I(X;Y)；
这样，选择信源编码方法的问题就变成了选择假想信道的问题，
符号转移概率 p(yj/xi) 就对应信道转移概率
4.1.3 信息率失真函数R(D)
D允许试验信道 平均失真由信源分布 p(xi)、假想信道的转移概率 p(yj/xi) 和失真函数 d(xi,yj) 决定，若 p(xi) 和 d(xi,yj) 已定，则可给 出满足 D D 条件的所有转移概率分布 pij，它们构成了 一个信道集合PD
0 1 P 0 1
4.1.4 信息率失真函数的性质
2、R(D)函数的下凸性和连续性 R D R D 1 R D 其中 0 1; D D 1 D 下凸性： 连续性： lim R D R D 其中 D D 0 3、R(D)函数的单调递减性
2 1 2 1 min 0 1, 1 0 j 1,2 3 3 3 3 2 1 1 min , j 1,2 3 3 3
此时输出符号概率 p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
4.1.1 失真函数
假如某一信源 X，输出样值为 xi，xi{a1,…an}，经过有 失真的信源编码器，输出 Y，样值为 yj，yj {b1,…bm} 如果xi＝yj，则认为没有失真；如果 xiyj，那么就产生了 失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)， 以衡量用 yj 代替 xi 所引起的失真程度 一般失真函数定义式为
这时信源编码器无失真，所以该编码器的转移概率为 1 0 P 0 1
4.1.4 信息率失真函数的性质
当R(Dmax)＝0时 Dmax min pi dij
j 1,2 2 i 1
min p1d11 p2 d 21 , p1d12 p2 d22
j 1,2
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。
4.1.3 信息率失真函数R(D)
xi y j 0 d(xi ,y j ) α α 0 x y i j
4.1.1 失真函数
失真矩阵
单个符号的失真函数的全体排列起来构成的矩阵，称为 失真矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 2 d 2 1 d (an , b1 ) d (an , b2 )
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 1 2 2
分析R(D)定义域两端的状态
4.1.4 信息率失真函数的性质
解：
当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
D
pX ,Y ( x, y)d ( x, y)dxdy
其中pX,Y(x,y)是连续随机变量的联合概率密度
对于L长序列编码情况，平均失真为 1 L D L E[d ( xil , y jl )] L l 1
1 L Dl L l 1
其中 Dl 是第l个符号的平均失真
例4.1 (p.74) 设信源的符号表为A＝{a1，a2，…，a2n}， 概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规 定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为1，试
研究在一定编码条件下信息压缩的程度
从上式观察可得：在 j=1,2,…,m 中，可找到 pi d ij 值最
小的 j，当该 j 对应的 pj＝1，而其余 pj 为零时，上式 右边达到最小，这时上式可简化成
Dmax
j 1,2,, m
i 1
n
min
p d
i 1
n
i ij
4.1.4 信息率失真函数的性质
例4.2 (p.76) 设输入输出符号表为 X＝Y{0，1}，输入 概率分布p(x)={1/3，2/3}，失真矩阵为
4.1.3 信息率失真函数R(D)
信源X经过有失真的信源编码器将信源编码器输出 Y，将 这样的编码器看作存在干扰的假想信道 X
X a1, a2 ,
信源编码器
an
Y
Y b1, b2 , bn
假想信道
4.1.3 信息率失真函数R(D)
信源编码器的目的：使编码后所需的信息传输率 然而R越小，引起的平均失真就越大； 给出一个失真的限制值
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L
长符号序列样值 xi ＝(xi1xi2…xil…xiL) ，经信源编码后，输 出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj
＝(yj1yj2…yjl…yjL)，则序列失真函数定义为：
1 L d L ( xi , y j ) d ( xil , y jl ) L l 1
4.1.4 信息率失真函数的性质
1. R(D)函数的定义域 ⑴ Dmin和 R(Dmin) Dmin＝0 对于离散信源 R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
4.1.4 信息率失真函数的性质
(2) Dmax和 R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义 域的上限Dmax，即 Dmax min D
4.1.5 信息率失真函数与信道容量的比较
表4-1 R(D)与C的比较 信道容量C 研究对象 给定条件 选择参数 结论
I ( X ;Y ) H ( X ) H ( X / Y )
率失真函数R(D) 信源 信源概率分布p(xi) 信源编码器映射关系p(y/x)
R( D) min I ( X ; Y )
p1 p2 pn 1 1 1 n , pn 2n 2n
信道输出概率分布为 则输出熵为
1 1 1 n 1 n H Y H , , , log 2 n log n 1 2 n 2 n 2 n 2 n n 1个
R( D ) min I ( X ; Y )
PD
信息率失真函数 R(D)的物理意义：对于给定信源，在平均失真不超 过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D)
4.1.3 信息率失真函数R(D)
对于离散无记忆信源，R(D)函数可写成
R( D) min p(ai ) p(b j / ai ) log
R(D) 是关于D的下凸函数，因而也是关 NhomakorabeaD的连续函
数。
R(D)是关于D的严格单调递减函数。
4.1.4 信息率失真函数的性质
由以上三点结论，对一般R(D)曲线的形态可以画出来：
R(D)
H(X) R(D)
R(D) 0 D Dmax D
0
Dmax D
(b) 连续系统
(a) 离散系统
信息率失真曲线
PD p(b j / ai ) : D D
i 1,2,, n; j 1,2,, m
此信道集合称为D允许试验信道