信息论第四章
合集下载
近代信息论-第四章-1
F(0)=1 F(1)=0
F(0)=1 F(1)=1
问题
选择怎样的译码规则，才是最佳的？
平均错误译码概率
发a ，收到b ，正好译回 a , F (b ) = a
i j i j i
正确译码
i
发a ，收到b ，译码不为a , F (b ) ≠ a
i j i j
错误译码
j
正确译码的概率 错误译码的概率
p p
s
给定信道，采用最大后验概率准则，为使 最小误码率减小，则只能改变信源分布； 给定信源，为使最小误码率减小，可改变 信道的统计特征。
最大似然准则
p (a )
i
先验分布概率
p ai | b j
(
)
后验分布概率 转移概率，似然函数
p b j |a
(
i
)
由贝叶斯公式
( )( ) p (a *|b ) = p (b ) p (a ) p (b | a ) p (a | b ) = p (b )
译码规则
信道，输入等概
0 3/4 3/4 1 1 1/4 1/4 0 当译码规则为： 收到0，译为0 收到1，译为1， 当译码规则为： 收到0，译为1 收到1，译为0， 可见， 可见，译码规则与通信 的可靠性之间关系大。 的可靠性之间关系大。 Pe =3/4
Pe =1/4
译码规则
a a
⋮
1 2
P(Y|X) X
j e
最大后验概率准则（MAP） 最大后验概率准则（MAP）
最大后验概率准则（MAP） 最大后验概率准则（MAP）
对应的最小的误码率：
s e j =1 j j
p = ∑ p(b )[1 − p(a* |b )] = ∑ p(b )− ∑ p(b )p(a* |b )
信息论-第四章
2018/10/30 4
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
信息论第4章(波形信源和波形信道)ppt课件
05-06学年上 2 .
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
信息论基础2015-第四章
K 1
K , J k 0 j 0,1,, J 1
对称离散无记忆信道（II）
若一个信道既关于输入对称，又关于输出对称，即P中每一行都是第 一行的一个置换，每一列都是第一列的一个置换，则该信道是对称的 对一个信道的转移概率矩阵P按列划分，得到若干子信道，若划分出 的所有子信道均是对称的，则称该信道是准对称的 0.8 0.1 0.1 0.1 1 0.1 0.8 0 1 2
K 1 J ({Qk }) I ( X l;Y ) I ( X k ;Y ) Ql Qk Qk l 0 K 1 J 1 p( j | k ) I ( X k ;Y ) Ql p( j | l ) K 1 l 0 j 0 Qi p( j | i ) i 0 I ( X k ;Y ) (1 )
K–1
二进制删除信道（BEC）
1–p–q 0 q E q
0 Q0 = Q1 = 0.5
p p
1
C I X 0; Y I X 1; Y
1 p q log 1 p q q p q log p log 1 q / 2 1 q / 2 q
幅度离散，时间离散信道；
幅度连续，时间离散信道；
幅度连续，时间连续信道； 幅度离散，时间连续信道。
按输入/输出之间的记忆性
有记忆信道 无记忆信道
按其输入/输出信号的关系的确定性：
确定信道
随机信道
信道的抽象模型
输入/输出统计关系 输入量X （随机过程） 信道 输出量Y （随机过程）
H (Y ) H (Y1Y2 Yn ) H (Y1 ) H (Y2 | Y1 ) H (Y3 | Y1Y2 ) H (Yn | Y1Y2 Yn1 )
信息论4第4章
12
4.1.2 平均失真
xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量, 限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真：
第 四 章 信 息 率 失 真 函 数
D
i
p(a ) p(b
i j
j
| ai )d (ai , b j )
失真函数d(xi,yj)：
d(0,2)＝d(1,2)= 0.5
西北大学信息学院
d (a1 , b1 ) d (a1 , bm ) d d (an , b1 ) d (an , bm )
d 1 0 0.5
10
失真函数
第 四 章
失真函数形式可以根据需要任意选取,最常用的有:
没有失真 产生失真
失真函数定义为：
0 d ( xi , y j )
西北大学信息学院
xi y j 0 xi y j
9
失真函数
将所有的d(xi,yj)排列起来,用矩阵表示为:
第 四 章 失真矩阵
信 息 率 失 例1：设信源符号序列为X={0,1},接收端收到符号序 列为Y= {0,1,2},规定失真函数为 真 失真矩阵 函 d(0,0)＝d(1,1)= 0 数 0 1 0.5 d(0,1)＝d(1,0)= 1
适于 离散 信源
西北大学信息学院
11
第 四 章 信 息 率 失 真 函 数
汉明失真矩阵
0 1 d 1 1 0 1 1 1 0
对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失 真矩阵:
d
西北大学信息学院
0 1 1 0
4.1.2 平均失真
xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量, 限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真：
第 四 章 信 息 率 失 真 函 数
D
i
p(a ) p(b
i j
j
| ai )d (ai , b j )
失真函数d(xi,yj)：
d(0,2)＝d(1,2)= 0.5
西北大学信息学院
d (a1 , b1 ) d (a1 , bm ) d d (an , b1 ) d (an , bm )
d 1 0 0.5
10
失真函数
第 四 章
失真函数形式可以根据需要任意选取,最常用的有:
没有失真 产生失真
失真函数定义为：
0 d ( xi , y j )
西北大学信息学院
xi y j 0 xi y j
9
失真函数
将所有的d(xi,yj)排列起来,用矩阵表示为:
第 四 章 失真矩阵
信 息 率 失 例1：设信源符号序列为X={0,1},接收端收到符号序 列为Y= {0,1,2},规定失真函数为 真 失真矩阵 函 d(0,0)＝d(1,1)= 0 数 0 1 0.5 d(0,1)＝d(1,0)= 1
适于 离散 信源
西北大学信息学院
11
第 四 章 信 息 率 失 真 函 数
汉明失真矩阵
0 1 d 1 1 0 1 1 1 0
对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失 真矩阵:
d
西北大学信息学院
0 1 1 0
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论第四章习题解答
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r ? n ? 1,
章
由 n = 6 ? r 可求得满足该条件的最小的 r 为 r = 4 .
抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码，下面仅给出其中的一种。
扰
111100 1000
二 元
监督阵 [H ] =
二
元 编
当
d
为偶数时，可以纠正
??? d
2
2 ?? 位错误， ?
码
且发现 ?? d - 2 ?? ? 1 位错误。
?2?
4
习题解答
第 4.4 试计算 ( 8, 7 ) 奇偶校验码的漏检概率和编码效率，
四
已知码元的错误概率为 Pe = 10- 4 .
章 解 (1) 奇偶校验码不能发现偶数位错误，其漏检概率为：
码
(5) 系统码和非系统码 (略)。
(P 175)
19
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
四
当收到一循环码字为 0010011 时，根据校验子判断有
章
无错误？哪一位错了？
抗 解 (1) 求校验子 干 扰 二 元 编 码
c0 位错 c1 位错 c2 位错 c3 位错 c4 位错 c5 位错 c6 位错
00000，11101，11110，11000，10100。
编
码
2
习题解答
第 4.2 求 000000、110110、011101、101010 四码字的汉明距离，
四
并据此拟出校正错误用的译码表。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(4) 由于I（X;Y）是非负函数，而R（D） 是在约束条件下的I（X;Y）的
最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R （D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即 Dmax是满足R（D）＝0的所有平均失真D中的最小值 Dmax 。因此可以得到R（D）的定义域为D［0,Dmax］。
n m n m
D p( xi , y j )d ( xi , y j ) p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1 i 1 j 1
说明:
(1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是
随机变量，限失真时的失真值，只能用它的数学期望或
第4章
限失真信源编码
第一节 平均失真和信息率失真函数
第二节 离散信源和连续信源的R（D）计
第三节 限失真信源编码定理 第四节 常用信源编码方法简介
算
1
2013-8-13
本章主要研究问题:
1. 如何理解限失真信源编码? 2. 如何定义失真函数?
3. 如何定义信息率失真函数?
4. 如何描述限失真编码定理?
o, xi y j d(xj,yj)= ( xi , y j ) 1, 其它
11 2013-8-13
误码失真函数：
(2)最常用的失真函数及其适用性
均方失真函数,绝对失真函数, 相对失真函数适
用于连续信源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较
均方失真和绝对失真只与(xi-yj)有关，而不是 分别与xi 及yj 有关，在数学处理上比较方便；相对 失真与主观特性比较匹配，因为主观感觉往往与客
观量的对数成正比，但在数学处理中就要困难得多
12 2013-8-13
离散矢量信源符号失真函数定义为：
如果假定离散矢量信源符号为矢量序列X＝ {x1x2…xi…xn}，其中L长符号序列xi=[xi1xi2…xiL]，经信 道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中 L长符号序列yj=[yj1yj2…yjL ]则失真函数定义为
个量来表示，即失真函数d(xi,yi),以衡量用yj代 替xi所引起的失真程度。
6ቤተ መጻሕፍቲ ባይዱ
2013-8-13
一般失真函数定义为
0, d ( xi , y j ) a ,
xi y j a0 xi y j
7
2013-8-13
如何定义失真矩阵?
将所有的失真函数 d(xi,yj)，i=1,2,…,n；j
1 d L ( xi , y j ) d ( xik , y jk ) L k 1
式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号 xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真 函数。
13 2013-8-13
L
4.1.2 平均失真
1.
离散随机变量平均失真定义
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列 X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。
5
2013-8-13
如果xj≠yj，就产生了失真。失真的大小，用一
统计平均值，因此将失真函数的数学期望称为平均失真 。
14 2013-8-13
(2) p（xi,yj）是联合分布；p（xi）是信源符号概 率分布；p（yj ／xi）是转移概率分布；d（xi,yj ），是离散随机变量的失真函数.
(3)平均失真D是对给定信源分布p（xi）在给定转 移概率分布为p（yj／xi）的信道中传输时的失真 的总体量度。
DD
的前提下，使信息率尽可能小。
18 2013-8-13
2. 什么叫 D 允许信道（也称为 对于连续的情况,
D 允许的试验信道）?
D允许信道定义为
PD p ( y / x) : D D
19
2013-8-13
3. 对于离散无记忆信道,
D允许信道（也称为 D
允许的试
验信道）
PD p( y j / xi ) : D D i 1, 2,, n; j 1, 2,, m
说明:
Dk是第k个符号的平均失真。
17 2013-8-13
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R的信 源时，如果R＞C，就必须对信源压缩，使其压缩后信
息传输率R’小于信道容量C，但同时要保证压缩所引
入的失真不超过预先规定的限度。信息压缩问题就是 对于给定的信源，在满足平均失真
＝1,2,…,m排列起来，用矩阵表示为
d ( x1 , y1 ) d ( x1 , y m ) d d ( x n , y1 ) d ( x n , y m )
8 2013-8-13
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序 列为Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
R( D) min p( xi ) p( y j / xi ) log
pij pD ' i 1 j 1
21
n
m
p( y j / xi ) p( y j )
2013-8-13
22
2013-8-13
23
2013-8-13
例4－1－2
已知, 编码器输入的概率分布为: p（x）＝{0.5，0.5}， 信道矩阵分别为:
27 2013-8-13
由信源概率分布可求出信源熵为
H( 1 1 ... ) log 2n比特/符号 2n 2n
如果对信源进行不失真编码，平均每个符号至少需要
log2n个二进制码元。现在假定允许有一定的失真，假设失 真限度为D=1/2。也就是说，当收到100个符号时，允许其 中有50个以下的差错。这时信源的信息率能减少到多少呢？ 每个符号平均码长能压缩到什么程度呢？试想采用下面的编
26 2013-8-13
例4-1-3
设信源的符号表为A＝{a1，a2，…，a2n}，概
率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函
数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为 1，试研究在一定编码条件下信息压缩的程度。
1 码方案：
a a1 , a2 a2 ,..., an an , an1 an , an2 an ,..., a2 n an
用信道模型表示，如图4-1-1所示。 按照上述关于失真函数的规定，求得平均失真D为
D p(ai ) p(a j / ai )d (ai , a j )
因此当改变pij时，I(pij)有一极小值。
25
2013-8-13
由互信息的表达式
I(X;Y)=H(Y)-H(Y/X)= H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下消失 的信息量之差。应当注意，在这里讨论的是有关信源的问题， 一般不考虑噪声的影响。而是由于信息的存储和传输时需要去 掉冗余，或者从某些需要出发认为可将一些次要成分去掉。也 就是说，对信源的原始信息在允许的失真限度内进行了压缩。 由于这种压缩损失了一定的信息，造成一定的失真。把这种失 真等效成由噪声而造成的信息损失，看成一个等效噪声信道（ 又称试验信道），因此信息率失真函数的意义是：对于给定信 源，在平均失真不超过失真限度D的条件下，信息率容许压缩 的最小值。此时的信道转移概率pij实际上指得是一种限失真信 源编码方法。下面通过对一个信源处理的例子，进一步研究信 息率失真函数的物理意义。
对应于无失真情况，相当于无噪声信道， 此时信道传输的
信息量等于信源熵
(3) 对于连续信源来说，由于其信源熵只有相对意义，而 真正的熵为∞，当D=0时相当于严格无噪声信道，通过 无噪声信道的熵是不变的，所以 R（Dmin ）＝R（0）＝Hc（x）＝ ∞
31 2013-8-13
因为实际信道总是有干扰的，其容量有限，要无失真 地传送这种连续信息是不可能的。当允许有一定失真时， R（D）将为有限值，传送才是可能的。
9
2013-8-13
解：失真矩阵为
0 1 0.5 d 1 0 0.5
10 2013-8-13
说明:
(1) 最常用的失真函数 均方失真函数： 绝对失真函数： 相对失真函数： d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
29 2013-8-13
4.1.4 信息率失真函数的性质
1．如何确定R（D）函数的定义域?
R（D）函数的定义域 D ［0，Dmax］
30
2013-8-13
说明:
(1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的 实数，非负实数的下界是零, 所以D的下界是零. (2) R（Dmin ）＝ R（0）＝H（X）
1 2 n 1
由以上结果可知，经压缩编码后，信源需要传输的信息 率由原来的log2n，压缩到log2n-[(n+1)/2]log(n+1).这是采 用上述压缩编码方法的结果，所以付出的 代价是容忍了1/2 的平均失真。如果选取压缩更为有利的编码方案，压缩的效 果可能会更好。但一旦达到最小互信息这个极限值，就是 R(D）的数值（此处D=1/2）.如果超过这个极限值，那么失 真度就要超过失真限度。如果需要压缩的信息率更大，则可 容忍的平均失真就要更大。
最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R （D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即 Dmax是满足R（D）＝0的所有平均失真D中的最小值 Dmax 。因此可以得到R（D）的定义域为D［0,Dmax］。
n m n m
D p( xi , y j )d ( xi , y j ) p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1 i 1 j 1
说明:
(1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是
随机变量，限失真时的失真值，只能用它的数学期望或
第4章
限失真信源编码
第一节 平均失真和信息率失真函数
第二节 离散信源和连续信源的R（D）计
第三节 限失真信源编码定理 第四节 常用信源编码方法简介
算
1
2013-8-13
本章主要研究问题:
1. 如何理解限失真信源编码? 2. 如何定义失真函数?
3. 如何定义信息率失真函数?
4. 如何描述限失真编码定理?
o, xi y j d(xj,yj)= ( xi , y j ) 1, 其它
11 2013-8-13
误码失真函数：
(2)最常用的失真函数及其适用性
均方失真函数,绝对失真函数, 相对失真函数适
用于连续信源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较
均方失真和绝对失真只与(xi-yj)有关，而不是 分别与xi 及yj 有关，在数学处理上比较方便；相对 失真与主观特性比较匹配，因为主观感觉往往与客
观量的对数成正比，但在数学处理中就要困难得多
12 2013-8-13
离散矢量信源符号失真函数定义为：
如果假定离散矢量信源符号为矢量序列X＝ {x1x2…xi…xn}，其中L长符号序列xi=[xi1xi2…xiL]，经信 道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中 L长符号序列yj=[yj1yj2…yjL ]则失真函数定义为
个量来表示，即失真函数d(xi,yi),以衡量用yj代 替xi所引起的失真程度。
6ቤተ መጻሕፍቲ ባይዱ
2013-8-13
一般失真函数定义为
0, d ( xi , y j ) a ,
xi y j a0 xi y j
7
2013-8-13
如何定义失真矩阵?
将所有的失真函数 d(xi,yj)，i=1,2,…,n；j
1 d L ( xi , y j ) d ( xik , y jk ) L k 1
式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号 xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真 函数。
13 2013-8-13
L
4.1.2 平均失真
1.
离散随机变量平均失真定义
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列 X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。
5
2013-8-13
如果xj≠yj，就产生了失真。失真的大小，用一
统计平均值，因此将失真函数的数学期望称为平均失真 。
14 2013-8-13
(2) p（xi,yj）是联合分布；p（xi）是信源符号概 率分布；p（yj ／xi）是转移概率分布；d（xi,yj ），是离散随机变量的失真函数.
(3)平均失真D是对给定信源分布p（xi）在给定转 移概率分布为p（yj／xi）的信道中传输时的失真 的总体量度。
DD
的前提下，使信息率尽可能小。
18 2013-8-13
2. 什么叫 D 允许信道（也称为 对于连续的情况,
D 允许的试验信道）?
D允许信道定义为
PD p ( y / x) : D D
19
2013-8-13
3. 对于离散无记忆信道,
D允许信道（也称为 D
允许的试
验信道）
PD p( y j / xi ) : D D i 1, 2,, n; j 1, 2,, m
说明:
Dk是第k个符号的平均失真。
17 2013-8-13
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R的信 源时，如果R＞C，就必须对信源压缩，使其压缩后信
息传输率R’小于信道容量C，但同时要保证压缩所引
入的失真不超过预先规定的限度。信息压缩问题就是 对于给定的信源，在满足平均失真
＝1,2,…,m排列起来，用矩阵表示为
d ( x1 , y1 ) d ( x1 , y m ) d d ( x n , y1 ) d ( x n , y m )
8 2013-8-13
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序 列为Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
R( D) min p( xi ) p( y j / xi ) log
pij pD ' i 1 j 1
21
n
m
p( y j / xi ) p( y j )
2013-8-13
22
2013-8-13
23
2013-8-13
例4－1－2
已知, 编码器输入的概率分布为: p（x）＝{0.5，0.5}， 信道矩阵分别为:
27 2013-8-13
由信源概率分布可求出信源熵为
H( 1 1 ... ) log 2n比特/符号 2n 2n
如果对信源进行不失真编码，平均每个符号至少需要
log2n个二进制码元。现在假定允许有一定的失真，假设失 真限度为D=1/2。也就是说，当收到100个符号时，允许其 中有50个以下的差错。这时信源的信息率能减少到多少呢？ 每个符号平均码长能压缩到什么程度呢？试想采用下面的编
26 2013-8-13
例4-1-3
设信源的符号表为A＝{a1，a2，…，a2n}，概
率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函
数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为 1，试研究在一定编码条件下信息压缩的程度。
1 码方案：
a a1 , a2 a2 ,..., an an , an1 an , an2 an ,..., a2 n an
用信道模型表示，如图4-1-1所示。 按照上述关于失真函数的规定，求得平均失真D为
D p(ai ) p(a j / ai )d (ai , a j )
因此当改变pij时，I(pij)有一极小值。
25
2013-8-13
由互信息的表达式
I(X;Y)=H(Y)-H(Y/X)= H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下消失 的信息量之差。应当注意，在这里讨论的是有关信源的问题， 一般不考虑噪声的影响。而是由于信息的存储和传输时需要去 掉冗余，或者从某些需要出发认为可将一些次要成分去掉。也 就是说，对信源的原始信息在允许的失真限度内进行了压缩。 由于这种压缩损失了一定的信息，造成一定的失真。把这种失 真等效成由噪声而造成的信息损失，看成一个等效噪声信道（ 又称试验信道），因此信息率失真函数的意义是：对于给定信 源，在平均失真不超过失真限度D的条件下，信息率容许压缩 的最小值。此时的信道转移概率pij实际上指得是一种限失真信 源编码方法。下面通过对一个信源处理的例子，进一步研究信 息率失真函数的物理意义。
对应于无失真情况，相当于无噪声信道， 此时信道传输的
信息量等于信源熵
(3) 对于连续信源来说，由于其信源熵只有相对意义，而 真正的熵为∞，当D=0时相当于严格无噪声信道，通过 无噪声信道的熵是不变的，所以 R（Dmin ）＝R（0）＝Hc（x）＝ ∞
31 2013-8-13
因为实际信道总是有干扰的，其容量有限，要无失真 地传送这种连续信息是不可能的。当允许有一定失真时， R（D）将为有限值，传送才是可能的。
9
2013-8-13
解：失真矩阵为
0 1 0.5 d 1 0 0.5
10 2013-8-13
说明:
(1) 最常用的失真函数 均方失真函数： 绝对失真函数： 相对失真函数： d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
29 2013-8-13
4.1.4 信息率失真函数的性质
1．如何确定R（D）函数的定义域?
R（D）函数的定义域 D ［0，Dmax］
30
2013-8-13
说明:
(1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的 实数，非负实数的下界是零, 所以D的下界是零. (2) R（Dmin ）＝ R（0）＝H（X）
1 2 n 1
由以上结果可知，经压缩编码后，信源需要传输的信息 率由原来的log2n，压缩到log2n-[(n+1)/2]log(n+1).这是采 用上述压缩编码方法的结果，所以付出的 代价是容忍了1/2 的平均失真。如果选取压缩更为有利的编码方案，压缩的效 果可能会更好。但一旦达到最小互信息这个极限值，就是 R(D）的数值（此处D=1/2）.如果超过这个极限值，那么失 真度就要超过失真限度。如果需要压缩的信息率更大，则可 容忍的平均失真就要更大。