4.2 离散无记忆信源R(D)的计算

2011-1-4 13
4.4 信道容量和信息率失真函数的比较
2、 （1）信道容量C一旦求出来，则与信源分布无关 信道容量C一旦求出来， 只是证明存在这样的满足信道容量的信源分布）， （只是证明存在这样的满足信道容量的信源分布）， 只和信道转移概率分布p(y 有关。 只和信道转移概率分布p(yj/xi)有关。即信道容量 和信源特性无关，反映信道特性。 和信源特性无关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道 信息率失真函数R(D)一旦求出来， R(D)一旦求出来 转移概率分布无关（ 转移概率分布无关（只是证明存在达到最小信息率 的试验信道），只和信源概率分布p(x 有关。 ），只和信源概率分布 的试验信道），只和信源概率分布p(xi)有关。即 信息率失真函数和信道特性无关，反映信源特性。 信息率失真函数和信道特性无关，反映信源特性。
p( x) =
λ
2
e −λ | x|时，R ( D ) = log
1 1 , Dmax = λD λ
可直接当结论来应用
2011-1-4
11
4.1 基本概念 4.2 离散无记忆信源 离散无记忆信源R(D)的计算 的计算 4.3 连续无记忆信源 连续无记忆信源R(D)的计算 的计算 4.4信道容量和信息率失真函数的比较 4.4信道容量和信息率失真函数的比较
Q 解： 是均方失真 1 Dmax ∴ R( D) = ln( ) 2 D
服从 因此，需求D 因此，需求Dmax： (0, σ p ( x) =
2
)的高斯分布的概率密度函数为：
− x2 2σ 2
1 e 2π σ
y
代入得
1 σ2 R( D) = ln( ) 2 D = ln
Dmax = min[ ∫ p( x)d ( x, y )dx] = min[ ∫ p( x)( x − y ) 2 dx]
2011-1-4
12
4.4 信道容量和信息率失真函数的比较
相同点： 相同点：二者都是求平均互信息的极值 不同点： 不同点：
1、
（1）信道容量：选择某一信源分布的情况下，求 信道容量：选择某一信源分布的情况下， 平均互信息的极大值。 平均互信息的极大值。
依据：平均互信息I是信源概率分布p(x 依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。 凸函数。
6
4.1 基本概念 4.2 离散无记忆信源 离散无记忆信源R(D)的计算 的计算 连续无记忆信源R(D) R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2011-1-4
7
求失真函数为d(x,y)=(y d(x,y)=(y例：求失真函数为d(x,y)=(y-x)2的连续 信源的D 和信息率失真函数R(D) R(D)。 信源的Dmax和信息率失真函数R(D)。 连续信源的D 解：连续信源的Dmax， D = min[ ∫ p ( x)d ( x, y )dx]
x2 X x1 0 α 1 = ，其中p ≤ ，失真矩阵为D = , 输出Y ∈ {0,1} P( X ) p 1 − p α 0 2
解：（1） Dmax = min D j ） j
0 α = min [ p 1 − p ] j α 0 = min{(1 − p )α , pα }
（2）信息率失真函数：求选择某一试验信道（转 信息率失真函数：求选择某一试验信道（ 移概率分布）的情况下，依据保真度准则， 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。 互信息的极小值。
依据：平均互信息I是信道转移概率分布p(y 依据：平均互信息I是信道转移概率分布p(yj/xi)的 严格下凸函数。 严格下凸函数。
j
1 (1 − p )α ,当p > 2 时 = 1 pα , 当p < 时 2
（2） ）
2011-1-4
D R( D) = H ( p) − H ( )
α
4
R(D)随D的变化曲线 随 的变化曲线
H(p)
Dmax=αp
2011-1-4
5
结论：
对于n元等概信源， 对于 元等概信源，有 p ( x 元等概信源 函数为对称失真 对称失真时 函数为对称失真时， 即 d = 0, i = j时 ij
解： 先求Dmax： 先求D
p ( x) = 1 e 2π σ
y − ( x−µ )2 2σ 2
服从(0, σ 2 )的高斯分布的概率密度函数为：
代入得
1 σ2 R ( D ) = ln( ) 2 D = ln
Dmax = min[ ∫ p( x)d ( x, y )dx] = min[ ∫ p ( x)( x − y ) 2 dx]
y
σ
= min[ ∫ x 2 p ( x)dx − 2 y ∫ xp( x)dx + y 2 ∫ p ( x)dx]
y
D
= min[σ 2 − 0 + y 2 ]
y
=σ2
2011-1-4 9
上题的扩展：若连续信源服从（ 上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。 斯分布，则再求上题。
例：已知离散无记忆信源
x2 X x1 0 α 1 ，求 P( X ) = p 1 − p ，其中p ≤ 2 ，失真矩阵为D = α 0 , 输出Y ∈ {0,1} Dmax，率失真函数R( D)。
2011-1-4
3
4.2 离散无记忆信源R(D)的计算
y
2011-1-4
=σ 2
10
结论：
若失真函数为均方失真， d(x,y)=(x若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 信源的信息率失真函数 R( D) = 1 ln( Dmax ) ，且
2 D
Dmax = min[ ∫ p ( x) d ( x, y ) dx ]
y
同理：当失真函数为绝对失真即d(x,y)=|x-y|时， 同理：当失真函数为绝对失真即d(x,y)=|x-y|时 指数分布的连续信源，当概率密度函数为 指数分布的连续信源，
α，i ≠ j
i
) =
1 , 其中 i = 1, L n，当失真 n
此时下式成立： 此时下式成立： 下式成立
1 Dmax = (1 − )α n
D /α D D R( D) = ln(n) + ln + (1 − ) ln(1 − ) α (n − 1) α α D
可直接当结论来应用
2011-1-4
2011-1-4
14
4.4 信道容量和信息率失真函数的比较
3、 （1）信道容量是通过信道编码增加信息冗 余度来提高通信的可靠性， 余度来提高通信的可靠性，是信息传输的理 论基础。 论基础。 （2）信息率失真函数是通过信源编码减少 信息冗余度来提高通信有效性， 信息冗余度来提高通信有效性，是信源压缩 的理论基础。 的理论基础。
max y
因为离散信源： 因为离散信源：
D
max
= min
Y
∑
X
p ( x i ) d ij
均方失真的连续信源的R(D) 均方失真的连续信源的R(D)
R( D) =
1 Dmax ln( ) 2 D
可直接当结论来应用
2011-1பைடு நூலகம்4
8
例：设某连续信源X服从高斯分布，均值μ=0， 设某连续信源X服从高斯分布，均值μ=0， μ=0 方差σ 失真函数为均方失真即d(x,y)=(y d(x,y)=(y方差σ2，失真函数为均方失真即d(x,y)=(y-x)2 求它的信息率失真函数R(D)和 求它的信息率失真函数R(D)和Dmax。 R(D)
y
σ
= min[ ∫ x 2 p ( x)dx − 2 y ∫ xp( x)dx + y 2 ∫ p ( x )dx]
y 2
D
而∫ x − µ）p ( x)dx = σ 2，即∫ x 2 p ( x)dx − ∫ 2 xµp ( x)dx +µ 2 = σ 2 （ Q ∫ xp( x)dx = µ ∴ ∫ x 2 p( x)dx = σ 2 + µ 2 ∴ Dmax = min[σ 2 + µ 2 − 2 yµ + y 2 ]
2011-1-4
15
Thank You!
2011-1-4
16
第4章 信息率失真函数
2011-1-4
1
4.1 基本概念 离散无记忆信源R(D) R(D)的计算 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源 连续无记忆信源R(D)的计算 的计算 4.4 信道容量和信息率失真函数的比较
2011-1-4
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 及 参量表达式法求 ，具体推导略， 见p111页。