第4章信息率失真函数
合集下载
ch04 信息率失真函数
P (Y X )
⎧0 xi = y j d ( xi , y j ) = ⎨ ⎩a xi ≠ y j
3
⎡ p ( y1 x1 ) p ( y2 x1 ) ... p ( ym x1 ) ⎤ ⎢ ⎥ ⎢ p ( y1 x2 ) p ( y2 x2 ) ... p ( ym x2 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ p ( y1 xn ) p ( y2 xn ) ... p ( ym xn ) ⎦ ⎥ ⎣
⎡ d ( x1, y1 ) d ( x1, y2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 D= ⎢ ⎢ ⎢ ⎣d ( xn , y1 ) d ( xn , y2 )
d ( x1, ym ) ⎤ d ( x2 , ym )⎥ ⎥ ⎥ ⎥ d ( xn , ym )⎦
4
4.1 基本概念
i =1 j n
(
)
离散信源 连续信源
Dmin = ∑ p(xi )min d(xi , y j )
i=1 j
n
仅当失真矩阵每行均 有零元素时, Dmin= 0
R(Dmin ) = R(0) = H ( X )
R(Dmin ) = R(0) = H(x) =∞
12
4.1 基本概念
西华师范大学 物理与电子信息学院
失真函数d(αi,βj)
d(αi , β j ) = d(xi1 xi2
N k =1
xiN , yj1 yj2
= ∑d(xik , yjk )
D ≤ D ，D——允许失真的上界
7
平均失真度—— 单符号时的N倍
D( N ) = ND
8
4.1 基本概念
西华师范大学 物理与电子信息学院
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第4章信息率失真函数
4.1
第4章 信息率失真函数
定义: 信源序列的失真函数
N
基
d ( x, y) d (i , j ) d (ail , bjl )
本 概
l 1
x X, y Y;i X N , j Y N ;ail X ,bjl Y
念
信源序列失真函数等于信源序列中对应的
单符号失真函数之和。也可写成rN sN阶矩阵形 式。
Page 6
4..1.1
第4章 信息率失真函数
4.1 基本概念
失 4.1.1失真函数（失真度）
真
函 为什么引入失真函数？
数
在实际问题中，信号有一定的失真是可 以容忍的，但是当失真大于某一限度后，将 丧失其实用价值。
要规定失真限度，必须先有一个定量的 失真测度。为此可引入失真函数.
Page 7
4.1.1
i1 j1
Page 19
4.1.2
第4章 信息率失真函数
(3)均方失真函数
适用于连续 信源
平 均
d(a,b) (a b)2
(a X ,b Y 或 a,b R)
失
真 在均方失真函数下，平均失真度就是均方误差。
度
rs
离散信源的均方误差 D (a b)2 P(a,b) i1 j1
连续信源的均方误差D： (a b)2 P(a, b)dxdy
1.离散信源单个符号的失真函数
定义:设离散无记忆信源输出变量X {a1, a2,L , ar}，
失 真
概率分布为P(X ) [P(a1), P(a2),L , P(ar )],经过有失真的
函 数
信源编码器，输出的随机变量 Y {b1,b2,L ,bs}。
将所有的 d(ai ,bj ) 0 (ai X ,bj Y ) 排列起来，用
第4章1、失真函数
使 I ( P ) 达到最小，且
P∈PD1
R( D1 ) = min I ( P) = I ( P1 ) R( D2 ) = min I ( P) = I ( P2 )
P∈PD 2
D ≤ D1
使 I ( P ) 达到最小，且
D ≤ D2
25 26
R(D)性质
θ 1 因为 d ( Pθ ) = ∑∑ Q(u ) Pθ (v | u )d (u , v)
16
寻找平均 互 信息量 I(U；V) 的 最 小 值 。 BD 是 所有满足保真度准则的试验信道集合，可以在 D失真 许可的试验信道 集合BD 中寻找某 一个信 道 p(vj|ui)， 使 I(U；V) 取 最 小 值 。由于 平均 互 信息量I(u;v)是p (vj|u i)的U型凸函数，所以在BD 集合中，极小值存在。这个最小值就是在 D ≤ D 条件下，信源必须传输的最小平均信息量。 即
称R(D) 为信息率失真函数（或率失真 函数），其 单位为 奈特/信源符号或比特/信源 符号。 N维信源符号序列的信息率失真函数 RN(D)：
RN ( D ) =
p ( y|s ): D ( N ) ≤ ND
min
{I (U ;V )
（4― 28）
R( D ) =
式中 ： x ——信源的一个输出 序列； y—— 信宿的一个接收序列 ；
{
}
P V |U ( v | u ) = p (v ) Dmax = min ∑ p(v)∑ p (u )d (u , v) Dmax = min ∑ p(u )d (u, v)
v∈V v u u n
n
当失真矩阵D中每行至少有一个零元素时 Dmin＝0
最大允许失真度
P∈PD1
R( D1 ) = min I ( P) = I ( P1 ) R( D2 ) = min I ( P) = I ( P2 )
P∈PD 2
D ≤ D1
使 I ( P ) 达到最小，且
D ≤ D2
25 26
R(D)性质
θ 1 因为 d ( Pθ ) = ∑∑ Q(u ) Pθ (v | u )d (u , v)
16
寻找平均 互 信息量 I(U；V) 的 最 小 值 。 BD 是 所有满足保真度准则的试验信道集合，可以在 D失真 许可的试验信道 集合BD 中寻找某 一个信 道 p(vj|ui)， 使 I(U；V) 取 最 小 值 。由于 平均 互 信息量I(u;v)是p (vj|u i)的U型凸函数，所以在BD 集合中，极小值存在。这个最小值就是在 D ≤ D 条件下，信源必须传输的最小平均信息量。 即
称R(D) 为信息率失真函数（或率失真 函数），其 单位为 奈特/信源符号或比特/信源 符号。 N维信源符号序列的信息率失真函数 RN(D)：
RN ( D ) =
p ( y|s ): D ( N ) ≤ ND
min
{I (U ;V )
（4― 28）
R( D ) =
式中 ： x ——信源的一个输出 序列； y—— 信宿的一个接收序列 ；
{
}
P V |U ( v | u ) = p (v ) Dmax = min ∑ p(v)∑ p (u )d (u , v) Dmax = min ∑ p(u )d (u, v)
v∈V v u u n
n
当失真矩阵D中每行至少有一个零元素时 Dmin＝0
最大允许失真度
信息率失真函数r(d)
信息率失真函数r(d)
信息率失真函数是信息论中对信源的提取率和失真之间关系的描述函数，用于量化信息传输过程中的信源失真。
信息传输中存在两个基本要素，即提取率和失真。
提取率指的是通过传输信道提取出的有效信息的比例，
而失真则是指提取出的信息与原始信息之间的差异。
信息率失真函数通常被用来评估压缩编码的性能。
在压缩编码中，为
了减小数据的传输量，我们会对数据进行压缩，并通过编码算法将其表示
为较短的二进制代码。
压缩过程中的失真表示为编码后恢复的数据与原始
数据之间的差异。
在设计压缩编码算法时，我们希望能够在提取率和失真之间达到一个
平衡。
提取率越高，我们能够从信道中提取出更多的有效信息；而失真越小，恢复的信息与原始信息的差距越小。
信息率失真函数可以帮助我们在
这两个方面之间进行权衡。
在信息论中，常用的信息率失真函数有均方误差函数和最大误差概率
函数。
均方误差函数衡量的是编码恢复的数据与原始数据之间的平方差的
期望，可以通过最小化均方误差来实现较低的失真。
而最大误差概率函数
则衡量的是编码恢复的数据与原始数据之间的最大差异的概率，可以通过
最小化最大误差概率来实现较低的失真。
总结来说，信息率失真函数是信息论中用于量化信源提取率和失真之
间关系的函数。
它可以帮助我们在设计压缩编码算法时找到提取率和失真
之间的平衡点，以达到较高的提取率和较低的失真。
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
第4章 信息率失真理论
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时，信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信源编码问题的研究 信息率R就是所需输出的有关信源X的信息量。将此问 题对应到信道，即为接收端Y需要获得的有关X的信息量， 也就是互信息I(X;Y)。这样，选择信源编码方法的问题 就变成了选择假想信道的问题，符号转移概率p(yj|xi)就 对应信道转移概率。
2021/2/22
19
4.1.3 信息率失真函数R(D)
1 L
dL(xi,yj)Ll1d(xil ,yjl )
其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后 输出yj中的第l个符号yjl时的失真函数。
2021/2/22
12
4.1.2 平均失真
平均失真的定义
由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随 机变量，要分析整个信源的失真大小，就需要用其数学
1 i j d(ai,aj) 0 i j
即不发生差错时失真为0，出错失真为1。研究在一定编 码条件下信息压缩的程度。
2021/2/22
29
4.1.3 信息率失真函数R(D)
信息率失真函数举例 由信源概率分布可求出信源熵为：
H(1, 1, , 1)log2n 2n2n 2n
如果对信源进行不失真编码，平均每个符号至少需要 log2n个二进制码元。
2021/2/22
4
4.1平均失真和信息率失真函数
失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质
2021/2/22
5
4.1.1 失真函数
失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是 当失真大于某一限度后，信息质量将被严重损伤，甚至 丧失其实用价值。要规定失真限度，必须先有一个定量 的失真测度。为此可引入失真函数。
2021/2/22
a 2n
31
4.1.3 信息率失真函数R(D)
信息率失真函数举例
按照上述关于失真函数的规定，平均失真为：
D i
j p(ai)p(aj|ai)d(ai,aj)1 2
DD1 2
由该信道模型图可以看出，它是一个确定信道，固有：
pij 1或 0， H(Y|X)0
I(X;Y)H(Y)H(Y|X)H(Y)
11
4.1.1 失真函数
符号序列的失真函数
失真函数的定义可以推广到符号序列的情况，如果假定 离散信源输出符号序列X=(X1,X2,…Xl,…,XL)，其中L长符 号序列样值xi=(xi1,xi2,…,xil,…,xiL)，经信源编码后，输出 符号序列Y=(Y1,Y2,…,Yl,…YL)，其中L长符号序列样值 yj=(yj1,yj2,…,yjl,…,yjL)，则失真函数定义为：
2021/2/22
6
4.1.1 失真函数
失真函数的定义
假如某一信源X，输出样值为xi，xi∈{a1,…,an}，经过有 失真的信源编码器，输出Y，样值为yj， yj ∈{b1,…,bm}。 如果xi＝yj，则认为没有失真；
如果xi≠yj，那么就产生了失真。
失真的大小，用一个量来表示，即失真函数d(xi, yj)，以 衡量用yj代替xi所引起的失真程度。一般失真函数定义 为：
研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须 传送给信宿的信息率最小。即用尽可能少的码符号尽快 地传送尽可能多的信源消息，以提高通信的有效性。
2021/2/22
28
4.1.3 信息率失真函数R(D)
信息率失真函数举例 例：设信源的符号表为A={al,a2,…,a2n}，概率分布为 p(ai)=1/2n,i=1,2,…,2n，失真函数规定为
第4章信息率失真函数
2021/2/22
1
第4章 信息率失真函数
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信 息率，从分析失真函数、平均失真出发，求出信息率失 真函数R(D) 。
2021/2/22
3
第4章 信息率失真函数
平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
信道容量C：
CmaxI(X;Y) p(xi )
1）假定信道固定的前提下，选择一种试验信源使信息 传输率最大。
2）它所反映的是信道传输信息的能力，是信道可靠传 送的最大信息传输率。
3）一旦找到了信道容量，它就与信源不再有关，而是 信道特性的参量，随信道特性的变化而变化。
4）不同的信道其信道容量不同。
2021/2/22
2021/2/22
17
4.1.3 信息率失真函数R(D)
信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量 小，然而R越小，引起的平均失真就越大。给出一个失 真的限制值D，在满足保真度准则的条件下，即：
DD 选择一种编码方法使信息率R尽可能小。
2021/2/22
18
4.1.3 信息率失真函数R(D)
d
1
0
0.5
2021/2/22
9
4.1.1 失真函数
失真函数的数值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用 情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。
2021/2/22
10
4.1.1 失真函数
常用的失真函数
均 方 失 真 ： d (x i,yj) (x i yj)2
2021/2/22
16
4.1.3 信息率失真函数R(D)
信源编码问题的研究
如图所示，信源X经过有失真的编码器输出Y，将这样的 编码器看作是存在干扰的假象信道，Y当作接收端的符 号。这样就可以用分析信道传输的方法来研究限失真信 源编码问题。
X
Y
信源编码器
xa1,a2, an
yb1,b2, bn
假想信道
26
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)：
R(D)minI(X;Y) PD
1）假定信源给定的情况下，用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
2）它反映的是信源可以压缩的程度，是在满足一定失 真度要求下信源可压缩的最低值。
信道输出概率分布为：
p1p2 pn11/(2n)
2021/2/22
pnpn1 p2n(n1)/(2n)
32
4.1.3 信息率失真函数R(D)
信息率失真函数举例
输出熵H(Y)为
H ( Y ) H (1 ,1 , ,1 ,1 n ) l o g 2 n n 1 l o g ( n 1 )
2 n 2 n2 n2 n
0, d(xi,yj)α,
xi yj α0,xi yj
2021/2/22
7
4.1.1 失真函数
失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为
d(a1,b1) dd(a2,b1)
d(an,b1)
d(a1,b2) d(a2,b2)
d(an,b2)
d(a1,bm) d(a2,bm)
d(an,bm)
2021/2/22
24
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的∩型函数； 信道转移概率p(yj|xi)的∪型函数。
2021/2/22
25
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较
D允许试验信道
由
nm
D p(ai)p(bj |ai)d(ai,bj)
i1 j1
可知平均失真由信源分布p(xi)、假想信道的转移概率
p(yj |xi)和失真函数d(xi,yj)决定。
若p(xi)和d(xi,yj)已知，则满足DD的所有转移概率
分布pij就构成了一个信道集合PD，则
P D p ( b j|a i ) : D D ， i 1 ,2 ,,n ;j 1 ,2 ,,m
2021/2/22
23
4.1.3 信息率失真函数R(D)
信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下， 使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。即在满足保 真度准则的条件下寻找平均互信息I(X,Y)的最小值。
2 n
n 1个
压缩
由以上结果可知，经压缩编码以后，信源需要传输的信 息率由原来的log2n压缩到log2n-((n+1)/2n)log(n+1)。也 就是说，信息率压缩了log2n-((n+1)/2n)log(n+1)。这是
采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
称为D允许试验信道。
2021/2/22
20
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据 前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型 凸函数，存在极小值。因而在上述允许信道PD中，可以 寻找一种信道pij，使给定的信源p(xi)经过此信道传输后， 互信息I(X; Y)达到最小。该最小的互信息就称为信息率 失真函数R(D)，即：
期望或统计平均值表示，因此将失真函数的数学期望称 为平均失真，记为：
nm
nm
D p (a i,b j)d (a i,b j) p (a i)p (b j|a i)d (a i,b j)
i 1j 1
i 1j 1
2021/2/22
13
4.1.2 平均失真
平均失真的物理含义
平 均 失 真 D 是 对 给 定 信 源 分 布 p(ai)经 过 某 一 种 转 移 概 率
2021/2/22
19
4.1.3 信息率失真函数R(D)
1 L
dL(xi,yj)Ll1d(xil ,yjl )
其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后 输出yj中的第l个符号yjl时的失真函数。
2021/2/22
12
4.1.2 平均失真
平均失真的定义
由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随 机变量，要分析整个信源的失真大小，就需要用其数学
1 i j d(ai,aj) 0 i j
即不发生差错时失真为0，出错失真为1。研究在一定编 码条件下信息压缩的程度。
2021/2/22
29
4.1.3 信息率失真函数R(D)
信息率失真函数举例 由信源概率分布可求出信源熵为：
H(1, 1, , 1)log2n 2n2n 2n
如果对信源进行不失真编码，平均每个符号至少需要 log2n个二进制码元。
2021/2/22
4
4.1平均失真和信息率失真函数
失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质
2021/2/22
5
4.1.1 失真函数
失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是 当失真大于某一限度后，信息质量将被严重损伤，甚至 丧失其实用价值。要规定失真限度，必须先有一个定量 的失真测度。为此可引入失真函数。
2021/2/22
a 2n
31
4.1.3 信息率失真函数R(D)
信息率失真函数举例
按照上述关于失真函数的规定，平均失真为：
D i
j p(ai)p(aj|ai)d(ai,aj)1 2
DD1 2
由该信道模型图可以看出，它是一个确定信道，固有：
pij 1或 0， H(Y|X)0
I(X;Y)H(Y)H(Y|X)H(Y)
11
4.1.1 失真函数
符号序列的失真函数
失真函数的定义可以推广到符号序列的情况，如果假定 离散信源输出符号序列X=(X1,X2,…Xl,…,XL)，其中L长符 号序列样值xi=(xi1,xi2,…,xil,…,xiL)，经信源编码后，输出 符号序列Y=(Y1,Y2,…,Yl,…YL)，其中L长符号序列样值 yj=(yj1,yj2,…,yjl,…,yjL)，则失真函数定义为：
2021/2/22
6
4.1.1 失真函数
失真函数的定义
假如某一信源X，输出样值为xi，xi∈{a1,…,an}，经过有 失真的信源编码器，输出Y，样值为yj， yj ∈{b1,…,bm}。 如果xi＝yj，则认为没有失真；
如果xi≠yj，那么就产生了失真。
失真的大小，用一个量来表示，即失真函数d(xi, yj)，以 衡量用yj代替xi所引起的失真程度。一般失真函数定义 为：
研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须 传送给信宿的信息率最小。即用尽可能少的码符号尽快 地传送尽可能多的信源消息，以提高通信的有效性。
2021/2/22
28
4.1.3 信息率失真函数R(D)
信息率失真函数举例 例：设信源的符号表为A={al,a2,…,a2n}，概率分布为 p(ai)=1/2n,i=1,2,…,2n，失真函数规定为
第4章信息率失真函数
2021/2/22
1
第4章 信息率失真函数
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信 息率，从分析失真函数、平均失真出发，求出信息率失 真函数R(D) 。
2021/2/22
3
第4章 信息率失真函数
平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
信道容量C：
CmaxI(X;Y) p(xi )
1）假定信道固定的前提下，选择一种试验信源使信息 传输率最大。
2）它所反映的是信道传输信息的能力，是信道可靠传 送的最大信息传输率。
3）一旦找到了信道容量，它就与信源不再有关，而是 信道特性的参量，随信道特性的变化而变化。
4）不同的信道其信道容量不同。
2021/2/22
2021/2/22
17
4.1.3 信息率失真函数R(D)
信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量 小，然而R越小，引起的平均失真就越大。给出一个失 真的限制值D，在满足保真度准则的条件下，即：
DD 选择一种编码方法使信息率R尽可能小。
2021/2/22
18
4.1.3 信息率失真函数R(D)
d
1
0
0.5
2021/2/22
9
4.1.1 失真函数
失真函数的数值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用 情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。
2021/2/22
10
4.1.1 失真函数
常用的失真函数
均 方 失 真 ： d (x i,yj) (x i yj)2
2021/2/22
16
4.1.3 信息率失真函数R(D)
信源编码问题的研究
如图所示，信源X经过有失真的编码器输出Y，将这样的 编码器看作是存在干扰的假象信道，Y当作接收端的符 号。这样就可以用分析信道传输的方法来研究限失真信 源编码问题。
X
Y
信源编码器
xa1,a2, an
yb1,b2, bn
假想信道
26
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)：
R(D)minI(X;Y) PD
1）假定信源给定的情况下，用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
2）它反映的是信源可以压缩的程度，是在满足一定失 真度要求下信源可压缩的最低值。
信道输出概率分布为：
p1p2 pn11/(2n)
2021/2/22
pnpn1 p2n(n1)/(2n)
32
4.1.3 信息率失真函数R(D)
信息率失真函数举例
输出熵H(Y)为
H ( Y ) H (1 ,1 , ,1 ,1 n ) l o g 2 n n 1 l o g ( n 1 )
2 n 2 n2 n2 n
0, d(xi,yj)α,
xi yj α0,xi yj
2021/2/22
7
4.1.1 失真函数
失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为
d(a1,b1) dd(a2,b1)
d(an,b1)
d(a1,b2) d(a2,b2)
d(an,b2)
d(a1,bm) d(a2,bm)
d(an,bm)
2021/2/22
24
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的∩型函数； 信道转移概率p(yj|xi)的∪型函数。
2021/2/22
25
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较
D允许试验信道
由
nm
D p(ai)p(bj |ai)d(ai,bj)
i1 j1
可知平均失真由信源分布p(xi)、假想信道的转移概率
p(yj |xi)和失真函数d(xi,yj)决定。
若p(xi)和d(xi,yj)已知，则满足DD的所有转移概率
分布pij就构成了一个信道集合PD，则
P D p ( b j|a i ) : D D ， i 1 ,2 ,,n ;j 1 ,2 ,,m
2021/2/22
23
4.1.3 信息率失真函数R(D)
信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下， 使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。即在满足保 真度准则的条件下寻找平均互信息I(X,Y)的最小值。
2 n
n 1个
压缩
由以上结果可知，经压缩编码以后，信源需要传输的信 息率由原来的log2n压缩到log2n-((n+1)/2n)log(n+1)。也 就是说，信息率压缩了log2n-((n+1)/2n)log(n+1)。这是
采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
称为D允许试验信道。
2021/2/22
20
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据 前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型 凸函数，存在极小值。因而在上述允许信道PD中，可以 寻找一种信道pij，使给定的信源p(xi)经过此信道传输后， 互信息I(X; Y)达到最小。该最小的互信息就称为信息率 失真函数R(D)，即：
期望或统计平均值表示，因此将失真函数的数学期望称 为平均失真，记为：
nm
nm
D p (a i,b j)d (a i,b j) p (a i)p (b j|a i)d (a i,b j)
i 1j 1
i 1j 1
2021/2/22
13
4.1.2 平均失真
平均失真的物理含义
平 均 失 真 D 是 对 给 定 信 源 分 布 p(ai)经 过 某 一 种 转 移 概 率