第四章信道率失真函数后续习题课
信息论基础与编码课件第四章 信息率失真函数
对于离散无记忆 信道，有
P D ' p ( y jx i ) : D D ', i 1 , 2 ,n . , j . 1 , 2 . ,m , ..
8
信息率失真函数(续)
给定信源和失真度后，在允许信道中，总能找到一个信道 P(Y/X)，使得给定的信源经过此信道传输后，平均互信息量 I(X;Y)达到最小，这个最小的平均互信息称为信息率失真函数 R( D )，简称率失真函数：
最小值 ，即
m
n
Dmax min pj pidij
j1 i1
（4-10）
15
R(D)函数的定义域(续)
从上式观察可得：在j=1，…，m中，
可找到
n
p i d ij
值最小的j，当该j对应的pj＝1，而其余
i1
pj为零 时，上式右边达到最小，这时上式可简化成
n
Dmax
min j1,2, ,m i1
信息率失真函数(续)
则平均互信息量为
I'(X ;Y)
ij
p'(xiyj)lo2p g (p x(ix |iy )j)0 .1b 2/i5 符 t 号
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
19
R(D)函数的一般形式
根据率失真函数所具有的下凸性、连续性、严格单调下降性 可绘出率失真函数的典型曲线图
第四章信道率失真函数后续习题课
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
•香农信息率失真理论指出：
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
信息率失真函数 第4章— 1
② 均方失真: d(ai ,bj ) (ai bj )2
③ 绝对失真: d (ai ,bj ) | ai bj |
④ 相对失真: d (ai ,bj ) | ai bj | / | ai |
⑤
误码失真:
d
(ai
,bj
)
(ai
bj
)
0, 1,
ai bj 其他
9
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
11
4.1.3 信息率失真函数R(D)
• 若平均失真度 D 不大于我们所允许的失真，即
DD
• 则称此为保真度准则
• 当信源p(xi)给定，单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi)，相当于不同的编码 方法，其所得的平均失真度不同。
• 试验信道
D D 满足保真度准则
D
＞D
12
4.1.3 信息率失真函数R(D)
• 满足 D D 条件的所有转移概率分布pij ，构成 了一个信道集合
PD {p(bj | a）i ：D D} • D失真允许的试验信道：
– 满足保真度准则的试验信道。
• PD：
– 所有D失真允许的试验信道组成的一个集合。
13
4.1.3 信息率失真函数R(D)
信道容量
• 信道容量：
– 假定信道固定的前提下，选择一种试验信源 使信息传输率最大。
– 它所反映的是信道传输信息的能力，是信道 可靠传送的最大信息传输率。
• 一旦找到了信道容量，它就与信源不再有关, 而是信道特性的参量，随信道特性的变化而变 化。
信息论与编码_PPT_第4章信息率失真函数
R(D)是关于D的下凸函数，因而也是关于D的连
续函数。
R(D)是关于D的严格递减函数。
信息论基础
25
由以上三点结论，对一般R(D)曲线的形态可以画出来
R(D) R(D)
H(X)
R(D)
0
D
Dmax
D
0
Dmax
D
信息率失真曲线
信息论基础
26
4.2 离散信源和连续信源的R（D）计算
信息论基础
23
2、R(D)函数的下凸性和连续性
3、R(D)函数的单调递减性
容许的失真度越大，所要求的信息率越小。反之 亦然。
信息论基础
24
综上所述，可以得出如下结论：
R(D)是非负的实数，即R(D) 0。其定义域为0～
Dmax ， 其 值 为 0 ～ H(X) 。 当 D>Dmax 时 ，
R( Dmin ) R(0) H ( X )
对于连续信源
R( Dmin ) R(0) H c ( x)
信息论基础
16
(2) Dmax和R(Dmax)
选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域 的上限Dmax，即
Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2，
p( x) 1
x2 2 e 2
2
时，
R( D) log
D
27
信息论基础
(2)当d(x,y)=|x-y|，p ( x )
2
e
x
第四信息率失真函数优秀课件
一、失真函数
失真函数d(x,y)表征了接收消息y与发送消息x之间 的定量失真度。
即：d(x,y) ∣x=ai,y=aj＝dij 其中，失真函数dij是一个与失真情况相对应的非 负实数： 0 ，i＝j
dij＝ d , d＞0 i≠j 显然：i＝j时，收发之间无失真，失真函数dij＝0
i≠j时，意味着出现了失真，dij值的大小表 示这种失真的程度。
例4－1：设信源符号有2n种，且等概，失 真函数定义为：dij＝0（i＝j时），dij＝1 （i≠j时），允许平均失真D＝1/2，要传 送此信源，需要多少信息率？
课堂练习：
设信源具有100个以等概率出现的符号，并以 每秒发出1个符号的速率从信源输出，试求在 允许失真度D＝0. 1的条件下，传输这些符号 所需要的信息传输速率的大小。
若X集有N个符号，Y集有M个符号时，则联合集上 有N×M个不同i、j取值的失真函数。 失真函数dij的二种表示方式： （1）矩阵表示法 （2）连线表示法 平均失真度：失真函数的统计平均值（数学期望）D
数学式为： 两个L维矢量之间的失真函数为：
信源的平均失真度：
若平均失真度不大于所允许的失真，则称为保真度
{P(y/x)} ∈PD
• 与离散情况类似， 并设
得公式：（1）
（2）
（3）
（4）
常用方法：
（1）分别求出p(x)和g(x)的特征函数 （2）
则：
（3）
若q0(x)符合概率密度函数
的要求（非负性、归一性），就可得到R(D)函数的
参量表达式。
例4－2：设连续信源的变量x服从正态分布，即
定义失真函数且 求信息率失真函数R(D)。 解：
二、R(Dmax)＝0 Dmax是平均失真度的上界值，使平均互信息量等于 0时所允许的失真度。
通信原理第四章习题及其答案
第四章（数字基带传输系统）习题及其答案【题4－1】设二进制符号序列为，试以矩形脉冲为例，分别画出相应的单极性码型，双极性码波形，单极性归零码波形，双极性归零码波形，二进制差分码波形。
【答案4－1】【题4－2】设随机二机制序列中的0和1分别由()g t 和()g t -组成，其出现概率分别为p 和(1)p -：1）求其功率谱密度及功率；2）若()g t 为图（a ）所示的波形，s T 为码元宽度，问该序列存在离散分量1s f T =否？3）若()g t 改为图（b ）所示的波形，问该序列存在离散分量1s f T =否？【答案4－2】1）随机二进制序列的双边功率谱密度为221212()(1)()()[()(1)()]()s s s s s s m P f P P G f G f f PG mf P G mf f mf ωδ∞-∞=--++--∑由于12()()()g t g t g t =-=可得：2222()4(1)()(12)()()s s ss s m P f P P G f f P G mf f mf ωδ∞=-∞=-+--∑式中：()G f 是()g t 的频谱函数。
在功率谱密度()s P ω中，第一部分是其连续谱成分，第二部分是其离散谱成分。
随机二进制序列的功率为222222221()2 [4(1)()(12)()()] 4(1)()(12)()() 4(1)()(12)()s s s s s m s s s s m s ss m S P d f P P G f f P G mf f mf df f P P G f df f P G mf f mf dff P P G f df f P G mf ωωπδδ∞∞∞∞∞=-∞∞∞∞∞∞=-∞∞∞∞=-∞==-+--=-+--=-+-⎰∑⎰∑⎰⎰∑⎰－－－－－2）当基带脉冲波形()g t 为1 (){20 else sTt g t t ≤=()g t 的付式变换()G f 为()()s s G f T Sa T f π=因此sin ()()0s s s s sG f T Sa T f T πππ===式中：1s s f T =。
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码技术第四章课后习题答案
''
a − a | x| 2 e − D a e− a|x| , (6) 2 2
s
R( D) ≥ R L( D) = h(u ) − h( g )
2 1 = a log e − log (2eD) 2
当（5）式大于零时， R ( D ) = a log e − 4.8
2 1 log (2eD) 2
4.10
X ⎤ ⎡0 1 ⎤ 一二元信源 ⎡ ，每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某二元 ⎢ p( x) ⎥ = ⎢0.5 0.5⎥ ⎣ ⎦ ⎣ ⎦
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 解：（1）此信源的熵 H(s)=1 （比特/符号） 所以信源输出的信息传输率为 Rt=2.66 （比特/秒） 将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。 此信道的最大信息传输速率：Ct=2 比特/秒 因为 Rt>Ct 根据信道编码定理， 不论进行任何编码此信源不可能在此信道中实现无错误地传输， 所以信源在此 信道中传输会引起错误和失真。 （2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率 失真函数 R(D)=1-H(D) 若当 Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误， 也就是不会因信道而增加信源新的失真。 总的信源的失 真是信源压缩编码所造成的允许失真 D 所以有 2=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真 D ≈ 0.0415 时，此信源就可以在此信道中传输。 比特/信源符号 比特/秒 Rt(D)=2.66*R(D)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
几种常用的失真函数： （1）均方失真 （2）绝对失真 （3）相对失真 （4）误码失真 （5）汉明失真
2018/10/13
Department of Communication China Ji Liang University
第四章 信息 率失真函数
• 平均失真定义
•
4.1.2 平均失真
• d(xi , yj)只能表示两个特定的具体符号 xi和 yj之间
风险、主观感觉上的差别大小等因素人为规定的。
2018/10/13
Department of Communication China Ji Liang University
7
第四章 信息 率失真函数
4.1.1 失真函数
d(xi ,yj )=(xi -y j ) 2 d(xi ,yj )= xi -y j d(xi ,yj )= xi -y j / xi 0，xi yj d(xi ,yj )=(xi ,y j )= 1， 其他 0， i=j d(xi ,yj )= 1， 其他
R( D) R(0) H ( X )
在允许一定失真度D的情况下，信源 输出的信息率可压缩到R(D)。
R(D)是定义的信息率失真函数。
为了描述失真度D，我们先来引入失真函数。
2018/10/13
Department of Communication China Ji Liang University
4
第四章 信息 率失真函数
4.1.1 失真函数
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13
第四章 信息 率失真函数
• 试验信道
Hale Waihona Puke 4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
• 平均失真的意义
•
• 如果信源和失真度一定，
就只是信道统计特性的函数。 信道传递概率不同，平均失真度随之改变。
• 保真度准则
•人们所允许的失真指的都是平均意义上的失真。 •保真度准则：规定平均失真度 不能超过某一限定的值D，
即 ，则D就是允许失真的上界。该式称为保真度准则。
2018/10/13
Department of Communication China Ji Liang University
2018/10/13
Department of Communication China Ji Liang University
5
第四章 信息 率失真函数
• 失真矩阵
4.1.1 失真函数
• 失真度还可表示成矩阵的形式
• 称d 为失真矩阵。它是n×m阶矩阵。
• 如例题：4－1
2018/10/13
Department of Communication China Ji Liang University
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
n+1 信息压缩了 log(n 1)，付出的代价：允许1/2的失真 2n
2018/10/13
Department of Communication China Ji Liang University
18
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
a1 a2
是一个归并信道，pij =1或者0，H(Y/X)=0, I(X;Y)=H(Y)-H(Y/X)=H(Y) 输出概率分布为： p1 =p2 =...=p n-1 =1/(2n), p n = p(xi yn ) p(aia n ) p(ai )p(a n /ai )
10
第四章 信息 率失真函数
4.1.2 平均失真
对于连续随机变量，定义平均失真为： D
px , y ( x, y )d ( x, y )dxdy
L
L长序列编码下，平均失真定义为： 1 1 DL E[d ( xil , y jl )] Dl L l 1 L l 1
的失真。 平均失真：平均失真为失真函数的数学期望，
2018/10/13
Department of Communication China Ji Liang University
9
第四章 信息 率失真函数
4.1.2 平均失真
是在平均意义上，从总体上对整个系统失真情况的描述。 它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度 d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(xi,yj)给定后，平均失 真度就不是一个随机变量了，而是一个确定的量。
L
2018/10/13
Department of Communication China Ji Liang University
11
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{x1, x2,…, xi,…, xn}
Y∈{y1,y2,…,yj,…,ym}
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{a1, a2,…, ai,…, an}
Y∈{b1,b2,…,bj,…,bm}
• 定义失真函数：
0, d ( xi , y j ) , xi y j xi y j , 0
称d(xi,yj)为单个符号的失真函数。表示信源发出一个 符号xi，在接收端再现yj所引起的误差或失真。
真传送要求信息率R为无穷大； •实际信道带宽是有限的，所以信道容量受限制。要 想无失真传输，所需的信息率大大超过信道容量 R>>C。
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
•
4.1.1 失真函数
• 实际生活中，人们一般并不要求获得完全无失真的消
• •
息，通常只要求近似地再现原始消息，即允许一定的 失真存在。 例如打电话：即使语音信号有一些失真，接电话的人 也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的 “视觉暂留性”，实际上只要每秒放映24幅静态画面。 随着科学技术的发展，数字系统应用得越来越广泛， 这就需要传送、存储和处理大量的数据。为了提高传 输和处理效率，往往需要对数据压缩，这样也会带来 一定的信息损失。
4.1.3 信息率失真函数R(D)
药和行装等方面的准备，于今日晚上十一时准时向 对面山上的敌军发动进攻，希望各部队做好思想政 治工作，一定要取得这次战役的全面胜利。”
2018/10/13
Department of Communication China Ji Liang University
17
第四章 信息 率失真函数
2018/10/13
Department of Communication China Ji Liang University
16
第四章 信息 率失真函数
•例如： •司令员发布命令：“请各部队官兵做好武器、弹 •通信兵：“今晚十一点发动进攻，必夺胜利。”
结果是：取得了胜利。 说明：信源所需输出信息率是可以压缩的。
R>C,就必须对信源压缩，使其压缩后信息传输率小于C，但同时 要保证压缩所引入的失真不超过预先规定的限度D，所以信息压 缩问题就是对于给定的信源，在满足保真度准则 下，使其 R值尽可能小。
• R 值就是所需要输出的有关信源X的信息量，对应到信道，即
符号转移概率p(yj /xi)对应信道转移概率。
为接收端Y需要获得的有关X的信息量，亦是互信息I（X；Y）。
2018/10/13
Department of Communication China Ji Liang University
19
第四章 信息 率失真函数
4.1.4 信息率失真函数的性质
1. R(D)的定义域(D的取值范围)
（1）因为D是非负函数d(x,y)的数学期望，因此D 也是非负函数，其下界为0。此时，意味着不允 许失真，所以信道的信息率等于信源的熵，即
6
第四章 信息 率失真函数
• 信源符号X取自{0，1},编码器输出符号取自{0,1,2}, 规定
失真函数为： d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5, 则失真矩阵为：
4.1.1 失真函数
d
0 1 0.5 1 0 0.5
失真函数是根据人们的实际需要和失真引起的损失、
假想信道
图4－2 将信源编码器看作信道
这样就可以用分析信道传输的方法来研究限失真信源编码问题。
2018/10/13
Department of Communication China Ji Liang University
12
第四章 信息 率失真函数