4.2 离散无记忆信源R(D)的计算-- 4.5 保真度准则下的信源编码定理解析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第4章 信息率失真函数
2018/10/12
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较 4.5 保真度准则下的信源编码定理
2018/10/12
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
1 1 1 s e
5
（2）解下列方程，求p(yj)
p( y
j 1
2
j
ቤተ መጻሕፍቲ ባይዱ)e
sdij
1
i
，其中， 1 i 2 1 e sd1 2 p ( y1 ) 1 sd 2 2 e p( y 2 ) 1 2
P115例：已知离散无记忆信源
x2 X x1 0 1 D , P( X ) p 1 p ，其中p 2 ，失真矩阵为 0 输出Y 0,1 ，求 (1) Dmax (2)率失真函数R( D)和对应的转移概率矩阵 P(Y / X )。
i 1
(1)求使R(D)达到最小的试验信道的转移概率密度函数为
离散信源的R(D)
sd ij
p ( y / x ) ( x ) p ( y )e 1 其中 ( x) sd ( x , y ) p ( y ) e dy
sd ( x , y )
p ( y j / xi ) i p ( y j )e
D p ( xi ) p ( y j / xi )d ij
i 1 j 1 2 2
2
2
p ( xi ) p ( y j )i e ij d ij
sd i 1 j 1
将各具体数值代入上式 得 1 e 1 D / S ln 1 D /
2018/10/12 8
2
2
d ( x, y)dxdy
R( D) R( S ) SD ( S ) p ( x) ln ( x)dx
(3)求率失真函数R(D)
易证：S是R(D)的斜率,即 S
2018/10/12
p( xi ) p( y j )i e ij d ij
sd
2
R( D) S D p( xi ) ln i
D
e s
s
（5）计算R(D)
R( D) S D p( xi ) ln i
i 1
2
将S , p( xi )，i 代入得 R( D) H ( p) H ( ) D
2018/10/12
9
R(D)随D的变化曲线
H(p)
Dmax=αp
2018/10/12
10
结论：
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
X x1 x2 0 1 D , 输出Y 0,1 P( X ) p 1 p，其中p 2 ，失真矩阵为 0
解:(1) Dmax min D j
j
0 min p 1 p j 0 min(1 p ) , p
P119-120,对于n元等概信 源，p( xi ) 1 , 其中 i 1, n ，当失真函数为对称失 n 真时， 0, i j时 即 d ij ，i j
此时下式成立：
Dmax 1 (1 ) n
D / D D R( D) ln(n) ln (1 ) ln(1 ) (n 1) D
p( y j / xi ) i p( y j )e 展开成矩阵得：
sd ij
1 p( y1 )e sd11 P(Y / X ) sd 21 2 p( y1 )e
1 p( y2 )e sd sd 2 p( y2 )e
12 22
2018/10/12
7
(4)由D求S，把S表示成D的函数式。
将其展开为矩阵得 e sd 11 p11 p22 sd 21 e 1 解方程组得： 2
2018/10/12
e s e sd 12 p11 （ 1 p）2 sd 22 e 1 1 p (1 e s ) 1 (1 pes )
e sd1 1 展开成矩阵得： sd2 1 e
p (1 p )e s p ( y1 ) s 1 e 解方程组得： s ( 1 p ) pe p( y 2 ) 1 e s
2018/10/12 6
（3）求转移概率分布矩阵P(Y/X)
j
1 (1 p ) , 当p 2 时 1 p , 当p 时 2
2018/10/12 4
(2) 求R(D)
2
1，2，记i ( xi ), pi p( xi ) （2）解下列方程，求
sd ij i
p e
i 1 i
1, 其中 1 j 2
可直接当结论来应用
2018/10/12 11
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
12
4.3 连续无记忆信源的R(D)的计算
连续信源的率失真函数的参量表达式 给定信源失真度D，要求D D 时的R(D),步骤如下：
其中： p( y j )e
j 1 2 sd ij
1
i
(2)求平均失真度
D(S ) p( x) p( y / x)d ( x, y)dxdy ( x) p( x) p( y)e
sd ( x , y )
D p( xi ) p( y j / xi )d ij
i 1 j 1 2
2018/10/12
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较 4.5 保真度准则下的信源编码定理
2018/10/12
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
1 1 1 s e
5
（2）解下列方程，求p(yj)
p( y
j 1
2
j
ቤተ መጻሕፍቲ ባይዱ)e
sdij
1
i
，其中， 1 i 2 1 e sd1 2 p ( y1 ) 1 sd 2 2 e p( y 2 ) 1 2
P115例：已知离散无记忆信源
x2 X x1 0 1 D , P( X ) p 1 p ，其中p 2 ，失真矩阵为 0 输出Y 0,1 ，求 (1) Dmax (2)率失真函数R( D)和对应的转移概率矩阵 P(Y / X )。
i 1
(1)求使R(D)达到最小的试验信道的转移概率密度函数为
离散信源的R(D)
sd ij
p ( y / x ) ( x ) p ( y )e 1 其中 ( x) sd ( x , y ) p ( y ) e dy
sd ( x , y )
p ( y j / xi ) i p ( y j )e
D p ( xi ) p ( y j / xi )d ij
i 1 j 1 2 2
2
2
p ( xi ) p ( y j )i e ij d ij
sd i 1 j 1
将各具体数值代入上式 得 1 e 1 D / S ln 1 D /
2018/10/12 8
2
2
d ( x, y)dxdy
R( D) R( S ) SD ( S ) p ( x) ln ( x)dx
(3)求率失真函数R(D)
易证：S是R(D)的斜率,即 S
2018/10/12
p( xi ) p( y j )i e ij d ij
sd
2
R( D) S D p( xi ) ln i
D
e s
s
（5）计算R(D)
R( D) S D p( xi ) ln i
i 1
2
将S , p( xi )，i 代入得 R( D) H ( p) H ( ) D
2018/10/12
9
R(D)随D的变化曲线
H(p)
Dmax=αp
2018/10/12
10
结论：
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
X x1 x2 0 1 D , 输出Y 0,1 P( X ) p 1 p，其中p 2 ，失真矩阵为 0
解:(1) Dmax min D j
j
0 min p 1 p j 0 min(1 p ) , p
P119-120,对于n元等概信 源，p( xi ) 1 , 其中 i 1, n ，当失真函数为对称失 n 真时， 0, i j时 即 d ij ，i j
此时下式成立：
Dmax 1 (1 ) n
D / D D R( D) ln(n) ln (1 ) ln(1 ) (n 1) D
p( y j / xi ) i p( y j )e 展开成矩阵得：
sd ij
1 p( y1 )e sd11 P(Y / X ) sd 21 2 p( y1 )e
1 p( y2 )e sd sd 2 p( y2 )e
12 22
2018/10/12
7
(4)由D求S，把S表示成D的函数式。
将其展开为矩阵得 e sd 11 p11 p22 sd 21 e 1 解方程组得： 2
2018/10/12
e s e sd 12 p11 （ 1 p）2 sd 22 e 1 1 p (1 e s ) 1 (1 pes )
e sd1 1 展开成矩阵得： sd2 1 e
p (1 p )e s p ( y1 ) s 1 e 解方程组得： s ( 1 p ) pe p( y 2 ) 1 e s
2018/10/12 6
（3）求转移概率分布矩阵P(Y/X)
j
1 (1 p ) , 当p 2 时 1 p , 当p 时 2
2018/10/12 4
(2) 求R(D)
2
1，2，记i ( xi ), pi p( xi ) （2）解下列方程，求
sd ij i
p e
i 1 i
1, 其中 1 j 2
可直接当结论来应用
2018/10/12 11
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
12
4.3 连续无记忆信源的R(D)的计算
连续信源的率失真函数的参量表达式 给定信源失真度D，要求D D 时的R(D),步骤如下：
其中： p( y j )e
j 1 2 sd ij
1
i
(2)求平均失真度
D(S ) p( x) p( y / x)d ( x, y)dxdy ( x) p( x) p( y)e
sd ( x , y )
D p( xi ) p( y j / xi )d ij
i 1 j 1 2