信息率失真函数及其性质
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第8章 信息率失真理论(090318)
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
信息论 第四章 信息率失真函数(1)
4.1 基 本 概 念
当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以 定义失真度为0； 当i≠j时，用Y代表X就有误差。
这种定义认为对所有不同的i和j引起的误差都一样，所以定 义失真度常数a。 失真矩阵的特点是对角线上的元素均为0，对角线以外的其 它元素都为常数a。
第四章 信息率 失真函数
第1章：概述
第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
第四章 信息率 失真函数
基本概念
在前面几章的讨论中，其基本出发点都是如何保 证信息的无失真传输。 但在许多实际应用中，人们并不要求完全无失真 地恢复消息，而是只要满足一定的条件，近似地 恢复信源发出的消息就可以了。 然而，什么是允许的失真？如何对失真进行描 述？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题，已成为量化、数据转换、频带压缩和数 据压缩等现代通信技术的理论基础。
1 2 N 1 2 N
4.1 基 本 概 念
i ai , ai , , ai , ai , ai , , ai a1 , a2 , , an
i1 , i2 , , iN =1, 2, , n，i=1, 2, , n N
信道的输出共有mN个不同的符号
j bi , bi , , bi , bi , bi , , bi b1 , b2 , , bm
[信息与通信]第10讲 信息率失真函数
![[信息与通信]第10讲 信息率失真函数](https://img.taocdn.com/s3/m/d018b36c3069a45177232f60ddccda38376be1de.png)
1 log 2e 2
2
D
1 2
R(D) log 2D
N
X
Y
反向加性高斯实验信道
1 2 D
2 2 D
R(D) 1 log 2
2D
R(D) 0
R(D)
2
D
2 D
S(D)
高斯信源的率失真函数
C
R(D)
I (X ;Y ) 的上凸函数 I (X ;Y ) 的下凸函数
I (X ;Y ) 的极大值
p(b 2
/
a) 1
(1
p)(1
e2S
)
p(b 1
/
a 2
)
(1 p) peS p(1 e2S )
p(b2
/
a2
)
(1 p) peS (1 p)(1 e2S
)
n
D(S)
m i p(ai ) p(bj )d (ai , bj )eSd (ai ,b j )
i1 j1
e S
1 eS
n
R(S) SD(S) p(ai ) ln i i 1
0
...
a
... ... ... ...
a
a
...
a
a 1
汉明失真
0 1 1
1
0
1
1
1
0
2 d(ai ,bj ) (bj ai )2 平方误差失真函数
平均失真度
失真函数d(ai，bj)是随机变量，失真函数的数 学期望称为平均失真度，记为
nm
D E[d(ai ,bj )]
作业：4.1 4.3 4.10 4.11
4.1 信息率失真函数
4.1.1 失真函数和平均失真度
ch4信息率失真函数
j
/
ai
)
p 1
(b
j
/
ai
)
(1
)
p
2
(b
j
/
ai
)
nm
D
p(ai ) p(bj / ai )d (ai ,bj )
i1 j1
D1 (1 )D2
满足保真 度准则
D' (1 )D'' D
I ( X ;Y ) R ( D ) R[D ' (1 ) D '' ]
由 I ( X ;Y ) 对 p(b j ai )的下凸性： I ( X ;Y ) I ( X ;Y1 ) (1 ) I ( X ;Y2 )
nm
D(S )
p(a ) p(b )eSd(ai ,bj )d (a , b )
ii
j
ij
4
i1 j 1
（4.2.5）
n
R(S)
m
p(a
)
p(b
)eSd (ai ,bj )
ln
i
p(b )eSd(ai ,bj ) j
ii
j
i1 j1
p(b ) j
n
SD(S ) p(a ) ln
n
1
Dm a x
min j
Dj
min j
i 1
p(ai )d (ai , bj )
n
2
i p (ai )e Sd (ai ,b j ) 1
i
i 1
3
1
i
m j 1
p(b j )eSd (ai ,bj )
p(bj )
4 p(bj ai ) p(bj )ieSd(ai ,bj )
信息率失真函数r(d)
信息率失真函数r(d)
信息率失真函数是信息论中对信源的提取率和失真之间关系的描述函数，用于量化信息传输过程中的信源失真。
信息传输中存在两个基本要素，即提取率和失真。
提取率指的是通过传输信道提取出的有效信息的比例，
而失真则是指提取出的信息与原始信息之间的差异。
信息率失真函数通常被用来评估压缩编码的性能。
在压缩编码中，为
了减小数据的传输量，我们会对数据进行压缩，并通过编码算法将其表示
为较短的二进制代码。
压缩过程中的失真表示为编码后恢复的数据与原始
数据之间的差异。
在设计压缩编码算法时，我们希望能够在提取率和失真之间达到一个
平衡。
提取率越高，我们能够从信道中提取出更多的有效信息；而失真越小，恢复的信息与原始信息的差距越小。
信息率失真函数可以帮助我们在
这两个方面之间进行权衡。
在信息论中，常用的信息率失真函数有均方误差函数和最大误差概率
函数。
均方误差函数衡量的是编码恢复的数据与原始数据之间的平方差的
期望，可以通过最小化均方误差来实现较低的失真。
而最大误差概率函数
则衡量的是编码恢复的数据与原始数据之间的最大差异的概率，可以通过
最小化最大误差概率来实现较低的失真。
总结来说，信息率失真函数是信息论中用于量化信源提取率和失真之
间关系的函数。
它可以帮助我们在设计压缩编码算法时找到提取率和失真
之间的平衡点，以达到较高的提取率和较低的失真。
第4章 信息率失真理论
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时，信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论
7.2
信息率失真函数及其性质
D允许试验信道 若p(ui)和d(ui，vj)已定，则可将在满足失真限度条件下的与 某种转移概率分布pij相对应的某种信源编码方法看成一个假 想信道，而所有可能的编码方法就构成了一个信道的集合BD
2、信息率失真函数
B D p(vj / ui ) : D D
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) (1) Dmin和R(Dmin) 因为D是非负函数d(u，v)的数学期望，因此D是非负的，其下 界为0，即： Dmin ＝0 。此时，对应于无失真的情况，相当于 无噪声信道，所以信道的信息率等于信源的熵，即
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
将此问题对应到信道，即为接收端V需要获得的有关U的信 息量，也就是互信息I(U；V)。这样，选择信源编码方法的 问题就变成了选择假想信道的问题，符号转移概率p(vj/ui)就 对应信道转移概率。 平均失真由信源分布 p(ui)、假想信道的转移概率 p(vj/ui) 和失真函数 d(vj，ui) 共同决定。
p(v j / ui） p(v j )
再次强调，在研究R(D)时，我们引用的条件概率p(v|u) 并没有实际信道的含义，只是为了求平均互信息的最小 值而引用的、假想的可变试验信道。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
实际上这些假想的信道所对应的仅仅是各种不同的有失真 的信源编码方法，或信源压缩方法。 所以，改变试验信道求最小值，实质上是选择某一种编码 方式使信息传输率为最小，也就是在保真度准则下，使信 源的压缩率最高。 信息率失真函数R(D)是信源在限定最大失真D条件下信源输 出的信息率的下界，是理论上的最佳值（最小值）。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
我们称此假想信道为试验信道。 试验信道 信宿
信源
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
保真度准则：若平均失真度不能大于所允许的最大失真限 度D，即
DD
我们称此不等式为保真度准则。 对于给定信源，定义了失真函数、满足一定的失真限度， 最终去选择一种编码方法，使得编码后信源输出的信息率 R尽可能地小。
电子信息工程学院
信息论
7.2
R(D)
信息率失真函数及其性质
R(D)>0 R(D)=0
3、信息率失真函数的性质
选择所有满足R(D)＝0中 D的最小值，定义为R(D) 定义域的上限Dmax，即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定 义域为
D
Dmax
D 0, Dmax
R( D) min{I (U ;V )}
BD
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
对于离散无记忆信源，R(D)函数可写成
R( D) min I (U ;V ) min p(ui ) p(v j / ui ) log
P ij BD P ij BD i 1 j 1 r s
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
(2) Dmax和R(Dmax) 根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量 I(U；V)的最小值。当D大到一定程度，R(D)就达到其下界0， 我们定义这时的D为Dmax。 因此，最大失真度Dmax是平均失真度的上界。 R(D)和D的关系 曲线一般如下图所示。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
信源U经过有失真的信源编码器输出V，将这样的编码器看作 是存在干扰的假想信道，V当作接收端的符号。 这样，就可以用分析信道传输的方法来研究限失真的信源编 码问题。
信源 信源 编码 信道 编码 信道 干扰
电子信息工程学院
信道 译码
信源 译码
信宿
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 当平均失真= Dmax时，R(D)已达到其下界0。当允许更大失真时， 即平均失真> Dmax时，R(D)仍只能继续是0。 由于当U和V统计独立时，平均互信息I(U；V)=0。 可见：当平 均失真≥Dmax时， R(D)＝0，意味着I(U；V)＝0，这时信道没 有传输任何信息，所以试验信道输入U与输出符号V是互相独立 的，条件概率p(v|u)与u无关，即：p(v|u)=p(v)， 或 pij p(v j / ui ) p(v j ) p j
R(Dmin)= R(0)=H(U)。
对于连续信源， R( Dmin ) R(0) Hc ( x)
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) 例：删除信源U取值于{0,1}，V取值于{0,1,2}，而失真矩阵为
信息论
7.2
信息率失真函数及其性质
1 0 0 P 0 1 0
3、信息率失真函数的性质
信道矩阵为
这是一个无噪无损信道，R(0)的最小值为H(U)，即信息传输 率至少为信源的信息熵,因此
R(0)
P v j |ui BD
I U ,V H U min
电子信息工程学院
0 1 1/ 2 D 1 0 1/ 2
允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中 每行至少有一个为0。 最小允许失真度为 Dmin P ui • mind ui , v j P(ui ) 0 0
i 1 j i 1 r r1, 2, ,r; j 1, 2, ,s
称为D允许试验信道(或D失真允许的试验信道)。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
根据互信息的性质， I(U；V)取决于信源分布(假想信道的输 入符号概率分布)和假想信道(对应某种具体的信源编码方法) 的转移概率分布。 针对特定信源，信源概率分布p(ui)确定，所以， I(U；V)是 关于信道转移概率p(vj/ui)的平滑U型凹函数，存在极小值。 这个最小的互信息就定义为信息率失真函数R(D)，简称为率 失真函数，即