平均失真和信息率失真函数

解：失真矩阵为
d 10
1 0
00..55
说明: (1) 最常用的失真函数
均方失真函数： 绝对失真函数： 相对失真函数：
d(xi,yj)=(xi-yj)2 d(xi,yj)= d(xi,yj)=
误码失真函数： d(xj,yj)=
xi y j xi y j / xi
如果xj≠yj，就产生了失真。失真的 大小，用一个量来表示，即失真
函数d(xi,yi),以衡量用yj代替xi所引 起的失真程度。
一般失真函数定义为
d
(
xi
,
y
j
)

0, a,
a0
xi y j xi y j
如何定义失真矩阵? 将所有的失真函数 d(xi,yj)，i=1,2,…,n；j＝1,2,…,m排
离散矢量信源符号失真函数定义为： 如果假定离散矢量信源符号为矢量序列X＝
{传符x1输号x2…后序x，列i…y接jx=收n[}y，端j1y其j收2…中到yNj矢N长]则量符失序号真列序函Y列=数{yx1定iy=2[…义xi1yx为ji…2…yxmi}N，]，其经中信N道长
式接d中收Nd端(x(收ikx,到yijk第,)是yj个信jN源)长输符出号N1第yji中个k的NN1长第d符k个(号x符xii中k号,的yjyk的第jk失k个)真符函号数x。ik，
p（x）＝{0.5，0.5}，
信道矩阵分别为:p'ij 00..2600..84,
p' 'ij


0.9 0.2
求: 互信息。
00..81
解：因为p(xiyj)＝p(xi)p(yj/xi)； 用p’ij代人得 p’（x1y1）=0.3，p’（x1y2）＝0.2， p’（x2y1）=0.1，p’（x2y2）＝0.4
3. 矢量传输情况平均失真度
DN

1 N
N
E[d (xik , y jk )]
k 1
1 N
N
Dk
k 1
说明:
Dk是第k个符号的平均失真。
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R
的信源时，如果R＞C，就必须对信源压缩，使 其压缩后信息传输率R’小于信道容量C，但同时 要保证压缩所引人的失真不超过预先规定的限 度几信息压缩问题就是对于给定的信源，在满 足平均失真
4. 信息率失真函数R（D）
R(D) min I (X ;Y ) PD '
说明:
对于离散无记忆信源，R（D）函数可写成
R(D)
min
pi j pD '
n i1
m j 1
p(xi ) p(y j
/ xi ) log
p( y j / xi ) p(y j )
例4－1－2
已知, 编码器输人的概率分布为:
(3)平均失真D是对给定信源分布p（xi）在给定转移概 率分布为p（yj／xi）的信道中传输时的失真的总体量度。
2. 离散随机变量平均失真定义 平均失真

D
说明:

pxy (x, y)d (x, y)dxdy
(1) pxy(x,y)是连续随机变量的联合概率密度. (2) d（x，y）是连续随机变量的失真函数。
o,

(
xi
,
y
j
)

1,
xi y j 其它
(2)最常用的失真函数及其适用性 均方失真函数,绝对失真函数, 相对失真函数适用于连续信
源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较 有均关方，失在真数和学绝处对理失上比真较只方与便(xi；-yj相)有对关失，真而与不主是观分特别性与比x较i及匹yj 配，因为主观感觉往往与客观量的对数成正比，但在数学处 理中就要困难得多。
因为p(yi)=
, 所以
p’（y1）＝0.4，pi’（py2(）x＝i y0j.6)
又因为p（xi/yj）=p(xiyj)/p(yj)，所以 p’(x1/y1)=3/4, p’(x1/y2) =1/3, p’(x2/y1)=1/4, p’(x2/y2)=2/3
列起来，用矩阵表示为
d (x1, y1 ) d
d (xn , y1 )
d (x1, ym )


d (xn , ym )
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序列为 Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
值，因此将失真函数的数学期望称为平均失真。
(2) p（xi,yj）, i=1,2,…,n，j=1,2,…,m是联合分布；p（xi） 是信源符号概率分布；p（yj ／xi），i= l，2，…，n，j ＝ l，2，…，m是转移概率分布；d（xi,yj），i=1， 2，…，n,j=1，2，… ，m是离散随机变量的失真函数.
D D'
的前提下，使信息率尽可能小。
2. 什么叫 允D许'信道（也称为 允许的试验D信' 道）?
对于连续的情况, 允许信道定义为
D'
PD' p( y / x) : D D,
3. 对于离散无记忆信道, 允许信道D（' 也称为 允许的试验 信道） D'
PD' p( y j / xi ) : D D' i 1,2,, n; j 1,2,, m
4.1.2 平均失真
1. 离散随机变量平均失真定义
nm
nm
D p(xi , y j )d(xi , y j ) p(xi ) p(y j / xi )d(xi , y j )
i1 j1
i1 j1
说明:
(变1)量由，于限xi和失y真j都时是的随失机真变值量，，只所能以用失它真的函数数学d期(xi望,yj或)也统是计随平机均
平均失真和信息率失真函数
控制信息失真的原因?
在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后，信息质量 将被严重损伤，甚至丧失其实用价值。要规定 失真限度，必须先有一个定量的失真测度，
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列X=x1,x2,…,xn经信道传输后 变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。