第四章信息率失真函数-总结与习题
合集下载
ch04 信息率失真函数
P (Y X )
⎧0 xi = y j d ( xi , y j ) = ⎨ ⎩a xi ≠ y j
3
⎡ p ( y1 x1 ) p ( y2 x1 ) ... p ( ym x1 ) ⎤ ⎢ ⎥ ⎢ p ( y1 x2 ) p ( y2 x2 ) ... p ( ym x2 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ p ( y1 xn ) p ( y2 xn ) ... p ( ym xn ) ⎦ ⎥ ⎣
⎡ d ( x1, y1 ) d ( x1, y2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 D= ⎢ ⎢ ⎢ ⎣d ( xn , y1 ) d ( xn , y2 )
d ( x1, ym ) ⎤ d ( x2 , ym )⎥ ⎥ ⎥ ⎥ d ( xn , ym )⎦
4
4.1 基本概念
i =1 j n
(
)
离散信源 连续信源
Dmin = ∑ p(xi )min d(xi , y j )
i=1 j
n
仅当失真矩阵每行均 有零元素时, Dmin= 0
R(Dmin ) = R(0) = H ( X )
R(Dmin ) = R(0) = H(x) =∞
12
4.1 基本概念
西华师范大学 物理与电子信息学院
失真函数d(αi,βj)
d(αi , β j ) = d(xi1 xi2
N k =1
xiN , yj1 yj2
= ∑d(xik , yjk )
D ≤ D ，D——允许失真的上界
7
平均失真度—— 单符号时的N倍
D( N ) = ND
8
4.1 基本概念
西华师范大学 物理与电子信息学院
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第四章信道率失真函数后续习题课
真传送要求信息率R为无穷大； •实际信道带宽是有限的，所以信道容量受限制。要 想无失真传输，所需的信息率大大超过信道容量 R>>C。
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
•香农信息率失真理论指出：
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
•香农信息率失真理论指出：
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
信息率失真函数 第4章— 1
② 均方失真: d(ai ,bj ) (ai bj )2
③ 绝对失真: d (ai ,bj ) | ai bj |
④ 相对失真: d (ai ,bj ) | ai bj | / | ai |
⑤
误码失真:
d
(ai
,bj
)
(ai
bj
)
0, 1,
ai bj 其他
9
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
11
4.1.3 信息率失真函数R(D)
• 若平均失真度 D 不大于我们所允许的失真，即
DD
• 则称此为保真度准则
• 当信源p(xi)给定，单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi)，相当于不同的编码 方法，其所得的平均失真度不同。
• 试验信道
D D 满足保真度准则
D
＞D
12
4.1.3 信息率失真函数R(D)
• 满足 D D 条件的所有转移概率分布pij ，构成 了一个信道集合
PD {p(bj | a）i ：D D} • D失真允许的试验信道：
– 满足保真度准则的试验信道。
• PD：
– 所有D失真允许的试验信道组成的一个集合。
13
4.1.3 信息率失真函数R(D)
信道容量
• 信道容量：
– 假定信道固定的前提下，选择一种试验信源 使信息传输率最大。
– 它所反映的是信道传输信息的能力，是信道 可靠传送的最大信息传输率。
• 一旦找到了信道容量，它就与信源不再有关, 而是信道特性的参量，随信道特性的变化而变 化。
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
陈运 信息论与编码 第四章 信息率失真函数
失真度 （函数）
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 1 2 2 [ D] ... ... d (an , b1 ) d (an , b2 )
... d (a1 , bm ) ... d (a2 , bm ) ... ... ... d (an , bm )
D p(ai ) p(b j / ai )d (ai , b j )
i 1 j 1 n m
D1 (1 ) D2 D (1 ) D D
' ''
满足保真 度准则
' ''
I ( X ; Y ) R( D) R[D (1 ) D ]
k 1 N
由信源和信道的无记忆性
p (ai ) p ( x jk )
k 1 N N
p (b j / ai ) p ( y jk / x jk )
k 1
D( N ) p(ai ) p(b j / ai )d (ai , b j )
i 1 j 1
nN mN
D1 D N
第1章：概述 第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
§4.1 信息率失真函数
§4.1.1 失真函数和平均失真度
n m
'
D 2 p(ai ) p 2 (b j / ai )d (ai , b j ) D
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 1 2 2 [ D] ... ... d (an , b1 ) d (an , b2 )
... d (a1 , bm ) ... d (a2 , bm ) ... ... ... d (an , bm )
D p(ai ) p(b j / ai )d (ai , b j )
i 1 j 1 n m
D1 (1 ) D2 D (1 ) D D
' ''
满足保真 度准则
' ''
I ( X ; Y ) R( D) R[D (1 ) D ]
k 1 N
由信源和信道的无记忆性
p (ai ) p ( x jk )
k 1 N N
p (b j / ai ) p ( y jk / x jk )
k 1
D( N ) p(ai ) p(b j / ai )d (ai , b j )
i 1 j 1
nN mN
D1 D N
第1章：概述 第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
§4.1 信息率失真函数
§4.1.1 失真函数和平均失真度
n m
'
D 2 p(ai ) p 2 (b j / ai )d (ai , b j ) D
离散信源的信息率失真函数
= exp{
p (u i )
}
µ
i
p (u i )
j
}
3.计算 利用关系
p (v j
s
p(v j )、 i 和p(v j λ
j i
u ) = λ p(v ) exp{Sd (u , v )}
i i i j
u)
i
r j i =1 i j i
∑ p(v u ) = 1和p(v ) = ∑ p(u )p(v u )
解得
λi =
r 1 + ( r − 1) exp( S )
(i = 1,2,L, r)
(3)计算
p(v j ) ( j = 1,2, L, r )
1+ (r −1) exp(S) p(v1) + p(v2) exp(S) +L+ p(vr) exp(S) = r p(v1) exp(S) + p(v2) +L+ p(vr) exp(S) = 1+ (r −1) exp(S) r M 1+ (r −1) exp(S) p(v1) exp(S) + p(v2) exp(S) +L+ p(vr) = r
u)
p (v j )
∂ ∂p(v j
u)
i
[SD] = Sp(ui)d (ui , v j )
∂ ∂p(v j
u)
i
[µ
i
∑ p(v u )] = µ
s j =1 j i
i
将三个偏导结果代入得
p (v j
u i) = p(v j ) exp{Sd (u i , v j )} exp{
λ
p (u i )
}
µ
i
p (u i )
j
}
3.计算 利用关系
p (v j
s
p(v j )、 i 和p(v j λ
j i
u ) = λ p(v ) exp{Sd (u , v )}
i i i j
u)
i
r j i =1 i j i
∑ p(v u ) = 1和p(v ) = ∑ p(u )p(v u )
解得
λi =
r 1 + ( r − 1) exp( S )
(i = 1,2,L, r)
(3)计算
p(v j ) ( j = 1,2, L, r )
1+ (r −1) exp(S) p(v1) + p(v2) exp(S) +L+ p(vr) exp(S) = r p(v1) exp(S) + p(v2) +L+ p(vr) exp(S) = 1+ (r −1) exp(S) r M 1+ (r −1) exp(S) p(v1) exp(S) + p(v2) exp(S) +L+ p(vr) = r
u)
p (v j )
∂ ∂p(v j
u)
i
[SD] = Sp(ui)d (ui , v j )
∂ ∂p(v j
u)
i
[µ
i
∑ p(v u )] = µ
s j =1 j i
i
将三个偏导结果代入得
p (v j
u i) = p(v j ) exp{Sd (u i , v j )} exp{
λ
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章 信息率失真函数
当一个人感到有一种力 量推动他去翱翔时， 他 是决不应该爬行的。
－（美）海伦· 凯勒
2014-6-20 1
第四章总结
第四章 信息率失真函数
失真度 设离散无记忆信源为
X x1 , p( x ) p( x ), i 1
x2 , , p( x2 ), ,
信息率失真函数 R(D) 是假定信源给定的情况下，在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到，就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
2014-6-20
9
第四章 信息率失真函数
2014-6-20
p( ym / x1 ) p ( y 2 / x 2 ) p ( y m / x2 ) p ( y 2 / x n ) p ( y m / xn ) p( y2 / x1 )
2
第四章 信息率失真函数
对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
2014-6-20
21
第四章 信息率失真函数
第一步：求λi，由式(4.2.12)有
i p( xi )e
i 1
n
Sd ( xi , y j )
1, ( p( y j ) 0, j 1,2,, m)
(4.2.12)
1 p( x1 )e Sd ( x1 , y1 ) 2 p ( x2 )e Sd ( x2 , y1 ) 1 Sd ( x1 , y2 ) Sd ( x2 , y2 ) p ( x ) e p ( x ) e 1 1 1 2 2 0.51 0.52 e S 1 2S 0.5 e 0.52 1 1 2(e S 1) 2(e 2 S 1) 1 3S 2 3S e 1 e 1
i 1 j n
根据最大允许失真度的定义： D max min p( y j ) D j
p( y j ) j 1 m 3 3 3 D j p( x j )d ( xi , y j ) { 3 4 , 4 , 4 , 4} i 1 3 4 n
Dmax min( D1 , D2 ,
接收符号为V={-1/2,+1/2},其失真矩阵为
1 2 D 1 1 2 1
求Dmax,Dmin及达到它们的信道？
2014-6-20
16
习题2
解答： 根据最小允许失真度的定义： D min p (ui ) min d (ui , v j ) 1 3 (1 1 1) 1
2014-6-20
13
习题1
7.1.设一个四元对称信源
第四章 信息率失真函数
U 0 1 2 3 P(u ) 1 1 1 1 4 4 4 4
接收符号为V={0,1,2,3},其失真矩阵为 0 1 1 1 1 0 1 1 D 1 1 0 1 1 1 1 0 求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到 5个点）
Dmax min( D1 , D2 ,
, Dm )
4 3
I (U ,V ) 0
达到Dmax的信道为 1 达到Dmin的信道为 0 0
2014-6-20
1 1 0 1 ， 1 0 1 0 1 0 1 0 或 1 1 1 , 2 2 1 0 1 0 1
2014-6-20
10
第四章 信息率失真函数
特 性
信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有
关，反映信道特性，与信源特性无关；
信息率失真函数 R(D)一旦求出后，就只与信源概率分布
p(xi) 有关，反映信源特性，与信道特性无关。
解决的问题
信道容量是为了解决通信的可靠性问题，是信息传输的理
xn p( xn )
信源符号通过信道传送到接收端Y Y y1 , p( y ) j p( y1 ), y2 , , p( y2 ), , ym p ( ym )
信道的传递概率矩阵 p( y1 / x1 ) p( y / x ) p(Y / X ) 1 2 p( y1 / xn )
i 1 j n
第四章 信息率失真函数
I (U ,V ) H (U )
n m
根据最大允许失真度的定义：
4 D j p (ui )d (ui , v j ) { 4 3 , 3} i 1 n
D p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
2014-6-20 14
习题1
D p(ui ) p(v j / ui )d (ui , v j )
i 1 j 1 n m
第四章 信息率失真函数
解答：四元对称信源在汉明失真矩阵下，它的平均失真度
根据最小允许失真度的定义： D min p(ui ) min d (ui , v j ) 0
信息率失真函数也是一个界限。只要信息率大于这个界限， 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真，但仍能满足要求，否则就不能满足要求。
2014-6-20
12
第四章 信息率失真函数
研究信道编码和率失真函数的意义
研究信道容量的意义：在实际应用中，研究信道容量是为 了解决在已知信道中传送最大信息率问题。目的是充分利 用已给信道，使传输的信息量最大而发生错误的概率任意 小，以提高通信的可靠性。这就是信道编码问题。 研究信息率失真函数的意义：研究信息率失真函数是为了 解决在已知信源和允许失真度D 的条件下，使信源必须传送 给信宿的信息率最小。即用尽可能少的码符号尽快地传送 尽可能多的信源消息，以提高通信的有效性。这是信源编 码问题。
称 d(xi,yj) 为单个符号的失真度/失真函数。表示信 源发出一个符号 xi，在接收端再现 yj 所引起的误差 或失真。
2014-6-20
3
第四章 信息率失真函数
平均失真度定义
d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望，
论基础，通过信道编码增加信息的冗余度来实现；
信息率失真函数是为了解决通信的有效性问题，是信源压
缩的理论基础，通过信源编码减少信息的冗余度来实现。
2014-6-20
11
第四章 信息率失真函数
限失真信源编码定理：设一离散平稳无记忆信源的输出
随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函 数是 R(D)，并选定有限的失真函数。对于任意允许平均失真 度 D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序 列长度 L 足够长，一定存在一种编码方式 C，使译码后的平 均失真度 D(C) D ；反之，若 R<R(D)，则无论用什 么编码方式，必有 D(C) D ，即译码平均失真必大于允 许失真。
0 2 解答：二元对称信源，其失真矩阵为 ， 1 0 可计算得： Dmin 0, Dmax 1/ 2 根据参量表达式进行求解 p( x1 ) p( x2 ) 1/ 2 d ( x1 , y1 ) 0, d ( x1 , y2 ) 2, d ( x2 , y1 ) 1, d ( x2 , y2 ) 0
2014-6-20
5
第四章 信息率失真函数
允许平均失真度：率失真函数中的自变量 D，也就 是人们规定的平均失真度 D 的上限值。 率失真函数的定义域问题就是在信源和失真函数已 知的情况下，讨论允许平均失真度 D 的最小和最大 值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选 定的失真函数 d(xi , yj)，在平均失真度 D 的可能 取值范围内。
对偶问题：信道容量和信息率失真函数的问题，都是求平均 互信息极值问题。分三个方面说明：
求极值问题
平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数， 信道容量就是在固定信道情况下，求平均互信息极大值的问题， 即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的 下凸函数，信息率失真函数就是在试验信道（满足保真度准则的 信道）中寻找平均互信息极小值的问题，即
2014-6-20
19
习题4
7.6.某二元信源
第四章 信息率失真函数
1 X 0 P( X ) 1/ 2 1/ 2
其失真矩阵为
0 2 D 1 0 求该信源的Dmax,Dmin和R(D)函数。
2014-6-20
20
习题4
第四章 信息率失真函数
2014-6-20
4
第四章 信息率失真函数
平均失真度意义 D 是在平均意义上，从总体上对整个系统失真 情况的描述。它是信源统计特性 p(xi) 、信道统计 特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)， p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个 随机变量了，而是一个确定的量。 如果信源和失真度一定， D 就只是信道统计特 性的函数。信道传递概率不同，平均失真度随之 改变。
, Dm )
由r元离散对称信源可得： log 2 4 D log 2 3 H ( D) R( D) D3 0 4
当一个人感到有一种力 量推动他去翱翔时， 他 是决不应该爬行的。
－（美）海伦· 凯勒
2014-6-20 1
第四章总结
第四章 信息率失真函数
失真度 设离散无记忆信源为
X x1 , p( x ) p( x ), i 1
x2 , , p( x2 ), ,
信息率失真函数 R(D) 是假定信源给定的情况下，在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到，就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
2014-6-20
9
第四章 信息率失真函数
2014-6-20
p( ym / x1 ) p ( y 2 / x 2 ) p ( y m / x2 ) p ( y 2 / x n ) p ( y m / xn ) p( y2 / x1 )
2
第四章 信息率失真函数
对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
2014-6-20
21
第四章 信息率失真函数
第一步：求λi，由式(4.2.12)有
i p( xi )e
i 1
n
Sd ( xi , y j )
1, ( p( y j ) 0, j 1,2,, m)
(4.2.12)
1 p( x1 )e Sd ( x1 , y1 ) 2 p ( x2 )e Sd ( x2 , y1 ) 1 Sd ( x1 , y2 ) Sd ( x2 , y2 ) p ( x ) e p ( x ) e 1 1 1 2 2 0.51 0.52 e S 1 2S 0.5 e 0.52 1 1 2(e S 1) 2(e 2 S 1) 1 3S 2 3S e 1 e 1
i 1 j n
根据最大允许失真度的定义： D max min p( y j ) D j
p( y j ) j 1 m 3 3 3 D j p( x j )d ( xi , y j ) { 3 4 , 4 , 4 , 4} i 1 3 4 n
Dmax min( D1 , D2 ,
接收符号为V={-1/2,+1/2},其失真矩阵为
1 2 D 1 1 2 1
求Dmax,Dmin及达到它们的信道？
2014-6-20
16
习题2
解答： 根据最小允许失真度的定义： D min p (ui ) min d (ui , v j ) 1 3 (1 1 1) 1
2014-6-20
13
习题1
7.1.设一个四元对称信源
第四章 信息率失真函数
U 0 1 2 3 P(u ) 1 1 1 1 4 4 4 4
接收符号为V={0,1,2,3},其失真矩阵为 0 1 1 1 1 0 1 1 D 1 1 0 1 1 1 1 0 求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到 5个点）
Dmax min( D1 , D2 ,
, Dm )
4 3
I (U ,V ) 0
达到Dmax的信道为 1 达到Dmin的信道为 0 0
2014-6-20
1 1 0 1 ， 1 0 1 0 1 0 1 0 或 1 1 1 , 2 2 1 0 1 0 1
2014-6-20
10
第四章 信息率失真函数
特 性
信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有
关，反映信道特性，与信源特性无关；
信息率失真函数 R(D)一旦求出后，就只与信源概率分布
p(xi) 有关，反映信源特性，与信道特性无关。
解决的问题
信道容量是为了解决通信的可靠性问题，是信息传输的理
xn p( xn )
信源符号通过信道传送到接收端Y Y y1 , p( y ) j p( y1 ), y2 , , p( y2 ), , ym p ( ym )
信道的传递概率矩阵 p( y1 / x1 ) p( y / x ) p(Y / X ) 1 2 p( y1 / xn )
i 1 j n
第四章 信息率失真函数
I (U ,V ) H (U )
n m
根据最大允许失真度的定义：
4 D j p (ui )d (ui , v j ) { 4 3 , 3} i 1 n
D p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
2014-6-20 14
习题1
D p(ui ) p(v j / ui )d (ui , v j )
i 1 j 1 n m
第四章 信息率失真函数
解答：四元对称信源在汉明失真矩阵下，它的平均失真度
根据最小允许失真度的定义： D min p(ui ) min d (ui , v j ) 0
信息率失真函数也是一个界限。只要信息率大于这个界限， 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真，但仍能满足要求，否则就不能满足要求。
2014-6-20
12
第四章 信息率失真函数
研究信道编码和率失真函数的意义
研究信道容量的意义：在实际应用中，研究信道容量是为 了解决在已知信道中传送最大信息率问题。目的是充分利 用已给信道，使传输的信息量最大而发生错误的概率任意 小，以提高通信的可靠性。这就是信道编码问题。 研究信息率失真函数的意义：研究信息率失真函数是为了 解决在已知信源和允许失真度D 的条件下，使信源必须传送 给信宿的信息率最小。即用尽可能少的码符号尽快地传送 尽可能多的信源消息，以提高通信的有效性。这是信源编 码问题。
称 d(xi,yj) 为单个符号的失真度/失真函数。表示信 源发出一个符号 xi，在接收端再现 yj 所引起的误差 或失真。
2014-6-20
3
第四章 信息率失真函数
平均失真度定义
d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望，
论基础，通过信道编码增加信息的冗余度来实现；
信息率失真函数是为了解决通信的有效性问题，是信源压
缩的理论基础，通过信源编码减少信息的冗余度来实现。
2014-6-20
11
第四章 信息率失真函数
限失真信源编码定理：设一离散平稳无记忆信源的输出
随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函 数是 R(D)，并选定有限的失真函数。对于任意允许平均失真 度 D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序 列长度 L 足够长，一定存在一种编码方式 C，使译码后的平 均失真度 D(C) D ；反之，若 R<R(D)，则无论用什 么编码方式，必有 D(C) D ，即译码平均失真必大于允 许失真。
0 2 解答：二元对称信源，其失真矩阵为 ， 1 0 可计算得： Dmin 0, Dmax 1/ 2 根据参量表达式进行求解 p( x1 ) p( x2 ) 1/ 2 d ( x1 , y1 ) 0, d ( x1 , y2 ) 2, d ( x2 , y1 ) 1, d ( x2 , y2 ) 0
2014-6-20
5
第四章 信息率失真函数
允许平均失真度：率失真函数中的自变量 D，也就 是人们规定的平均失真度 D 的上限值。 率失真函数的定义域问题就是在信源和失真函数已 知的情况下，讨论允许平均失真度 D 的最小和最大 值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选 定的失真函数 d(xi , yj)，在平均失真度 D 的可能 取值范围内。
对偶问题：信道容量和信息率失真函数的问题，都是求平均 互信息极值问题。分三个方面说明：
求极值问题
平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数， 信道容量就是在固定信道情况下，求平均互信息极大值的问题， 即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的 下凸函数，信息率失真函数就是在试验信道（满足保真度准则的 信道）中寻找平均互信息极小值的问题，即
2014-6-20
19
习题4
7.6.某二元信源
第四章 信息率失真函数
1 X 0 P( X ) 1/ 2 1/ 2
其失真矩阵为
0 2 D 1 0 求该信源的Dmax,Dmin和R(D)函数。
2014-6-20
20
习题4
第四章 信息率失真函数
2014-6-20
4
第四章 信息率失真函数
平均失真度意义 D 是在平均意义上，从总体上对整个系统失真 情况的描述。它是信源统计特性 p(xi) 、信道统计 特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)， p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个 随机变量了，而是一个确定的量。 如果信源和失真度一定， D 就只是信道统计特 性的函数。信道传递概率不同，平均失真度随之 改变。
, Dm )
由r元离散对称信源可得： log 2 4 D log 2 3 H ( D) R( D) D3 0 4