信息率失真理论
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
率失真理论-中国科学技术大学
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
率失真理论及经典的码率控制算法
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
信息率失真函数的定
信息率失真函数的定
义
所谓信息率失真，是指在数据传输过程中造成的原本可以正常识别的信息被破坏而无法被正确识别的现象。
它通常由某种外部的影响，如噪声、干扰或错误编码等因素造成。
具体来说，信息率失真函数是一种度量从输入到输出信号中信息率“差异”的函数。
它定义为信号输出中比原始信号（输入）中丢失的信息的分数。
可以用以下公式来表示信息率失真：
I_R=1-D_R
其中，I_R是信息率失真，D_R是失真率，它定义为输出信号（受失真影响的信号）比输入信号（未受失真影响信号）失真的部分所占的比例，单位是%。
第4章 信息率失真理论.ppt
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
离散信源的实验信道 PD (Xˆ / X) {P(Xˆ / X) : D D} 全部n×n个实验信道转移概率——实验信道矩阵
PD (xˆ 1 / x1) PD (xˆ 1 / x 2 ) ... PD (xˆ 1 / x n )
信息率失真理论
P(x i ) log P(xˆ j ) P(x i ) log PD (xˆ j / x i ) SP(x i )d(x i , xˆ j ) i 0 i 1,2,, n j 1,2,, n
log
PD (xˆ j / x i P(xˆ j )
)
Sd(xi
i1 j1
n
SD P(x i ) log i i1
信息率失真理论
2、二进制信源的信息率失真函数
二进制信源P(XX) xp1 1x2p
其中p 1 2
失真矩阵[D]
0 1
1 0
2
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的 i
0
i 1,2,, n j 1,2,, n
信息率失真理论
PD (xˆ j / x i ) P(xˆ j )
2Sd (xi ,xˆ j ) i
i 1,2,, n
j 1,2,, n
PD (xˆ j / x i ) iP(xˆ j )2Sd(xi ,xˆ j) i 1,2,, n j 1,2,, n
PD
(Xˆ
/
X)
PD
(xˆ 2 / ...
《信息论》(电子科大)第七章_信息率失真理论
电子科技大学
称全部n 称全部n×m个失真度组成的矩阵为失真 矩阵： 矩阵：
d(x1, y1 ) d(x1, y2 ) d(x , y ) d(x , y ) 2 2 2 1 [D] = ... ... d(xn , y1 ) d(xn , y2 ) ... d(x1, ym ) ... d(x2 , ym ) ... ... ... d(xn , ym )
电子科技大学
i = 1,2,L,n, j = 1,2,L,m
µi ln − Sd(xi , yj ) − =0 p(yj ) p(xi ) p(yj / xi ) i = 1,2,L,n, j = 1,2,L,m
µi 令ln λi = p(xi )
ln
p(yj / xi ) p(yj )
电子科技大学
∂ {−S[∑∑p(xk )p(yl / xk )d(xk , yl ) − D]} ∂p(yj / xi ) k =1 l =1
n m
= −Sp(xi )d(xi , yj )
p(yj / xi ) ∂Φi ∴ = p(xi )ln ∂p(yj / xi ) p(yj ) − Sp(xi )d(xi , yj ) − µi = 0
电子科技大学
d(xi , yj ) = (yj − xi )
2
称为平方误差失真度。 称为平方误差失真度。
(2)平均失真度 (2)平均失真度
D = E[d(xi , yj )] = ∑∑p(xi )p(yi / xi )d(xi , yj )
i =1 j=1 n m
电子科技大学
(3)保真度准则 (3)保真度准则 如果给定的允许失真为D 如果给定的允许失真为D 为保真度准则。 则称 p(yj / xi ) = p(yj )
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i1 j1
信息率失真理论
(5)R(D)
n i1
n
P(xi )PD (xˆ j / xi ) log
j1
PD (xˆ j / xi ) P(xˆ j )
n i1
n
P(xi )PD (xˆ j / xi ) log
j1
i P(xˆ j )2Sd(xi ,xˆ j ) P(xˆ j )
nn
log[ i 2Sd(xi ,xˆ j) ]
0
i 1,2, ,n j 1,2, , n
信息率失真理论
PD (xˆ j / xi ) P(xˆ j )
2Sd(xi ,xˆ j ) i
i 1,2, , n
j 1,2, , n
PD (xˆ j / xi ) iP(xˆ j )2Sd(xi,xˆ j) i 1,2, , n j 1,2, , n
PD
(xˆ 1
/
x1)
p (1 p)2S p(1 22S )
PD (xˆ 2
/
x1)
(1 p) p(1
p2S 22S )
2S
PD
(xˆ 1
/
x2
)
p (1 p)2S (1 p)(1 22S
)
2S
PD
(xˆ
2
/
x
2
)
(1 p) p2S (1 p)(1 22S
)
i 1,2
j 1,2
信息率失真理论
4 44 48 88 8 0.267(bit )
信息率失真理论
71
PD (xˆ 1
/
x1)
(1 D)(p D) p(1 2D)
8 1
8 3
7 12
44
15
PD (xˆ 2
/ x1)
D(1 p D) p(1 2D)
8 1
8 3
5 12
44
11
PD (xˆ 1
/ x2)
D(p D) (1 p)(1 2D)
信息率失真理论
表示
R(D) min I(X;Xˆ ) PD (Xˆ / X)
1、信息率失真函数
实验信道转移概率分布的n个约束条件
n
PD (xˆ j / xi ) 1 i 1,2, , n
j1
保真度准则的约束条件
nn
D
P(xi xˆ j)d(xi , xˆ j ) D
i1 j1
信息率失真理论
乘P(xi)对i求和
n
1 i P(x i )2Sd(xi ,xˆ j) i1
j 1,2, , n
对j求和
n
1 i P(xˆ j )2Sd(xi ,xˆ j) j1
i 1,2, , n
信息率失真理论
信息率失真函数
n
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i
j 1,2, , n
8 3
8 3
1 36
44
信息率失真理论
75
PD (xˆ 2
/ x2)
(1 D)(1 p D) (1 p)(1 2D)
8 3
8 3
35 36
44
信息率失真理论
3、等概率信源的信息率失真函数 等概率信源
0 1 1
失真矩阵[D]
1
0
1
1
1
0
信息率失真理论
n
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i i1
22
(4)由含S的D D
P(xi )PD (xˆ j/ xi )d(xi , xˆ j )求S
i1 j1
D
p
(1 p) p2S p(1 22S )
2S
(1
p)
p (1 p)2S (1 p)(1 22S )
2S
(1 2S ) 2S 2S
1 22S
1 2S
2S D S log D
1 i
P(xˆ 1 )2S
P(xˆ 2 )2S
P(xˆ n )
1 i
i 1,2, , n
{S[
)
k 1
n l1
P(x k
)PD
(xˆ l
/
xk
)d(x k
, xˆ l )
D]}
SP(xi )d(xi , xˆ j )
PD
(xˆ j
/
x
i
)
{ i [
n l1
PD
(xˆ
l
/
xi
)
1]}
i
i 1,2, ,n j 1,2, ,n
信息率失真理论
P(xi ) log P(xˆ j ) P(xi ) log PD (xˆ j / xi ) SP(xi )d(xi , xˆ j ) i 0 i 1,2, , n j 1,2, , n
表示
➢汉明失真度——常用于离散信源
d(xi
,
xˆ
j
)
0 1
i j i j
信息率失真理论
全部n×n个失真度——失真矩阵
d(x1, xˆ1) d(x1, xˆ 2) ... d(x1, xˆ n )
[D] d(x2, xˆ1) d(x2, xˆ 2) ... d(x2, xˆ n )
...
... ... ...
信息率失真理论
第4章 信息率失真理论
教学内容和要求 ➢理解保真度准则，理解实验信道 ➢掌握二进制信源、等概率信源的信息率失真函 数 ➢了解N次扩展信源的信息率失真函数 ➢掌握高斯信源的信息率失真函数
信息率失真理论
一、保真度准则和实验信道
1、失真度
定义
单符号信源发出的消息x i或x与单符号等效信源收到的 消息xˆ j或xˆ间的非负函数d(xi , xˆ j )或d(x, xˆ )
P(x
i
)
log
P(xˆ
j
)
log
eP(x
i
)
信息率失真理论
PD (xˆ j
/
n
[ x i ) k1
n l1
P(x k )PD (xˆ l
/
x k ) logPD (xˆ l
/
xk
)]
P(xi ) log PD (xˆ j / xi ) P(xi ) log e
PD
(xˆ j
/
xi
n
P(x i )PD (xˆ j / x i ) log i
i1 j1
nn
P(x i )PD (xˆ j / xi )Sd(x i , xˆ j )
i1 j1
n
SD P(xi ) log i i1
信息率失真理论
2、二进制信源的信息率失真函数
二进制信源P(XX) xp1 1x2p
其中p 1 2
l1
PD
(xˆ j
/
xi
n
{ ) k1
P(xˆ l ) log
P(xˆ l
)
nn
P(x k )PD (xˆ l / x k ) logPD (xˆ l / x k )]
k1 l1
信息率失真理论
nn
S[ P(x k )PD (xˆ l / x k )d(x k , xˆ l ) D] k1 l1
1
1 n
2
1 2S n
n
1 2S n
1
1
1 n
2S
2
1 n
2S
n
1 n
1
i
1
n (n 1)2S
i 1,2, , n
j 1,2, , n
信息率失真理论
n
(2)由 P(xˆ j )2Sd(xi ,xˆ j) 1/ i求含S的P(xˆ j )
j1
P(xˆ 1) P(xˆ 2 )2S
P(xˆ n )2S
定义
失真度的数学期望
信息率失真理论
表示
nn
D E[d(xi, xˆ j)]
P(xixˆ j)d(xi , xˆ j)
i1 j1
bb
D E[d(x, xˆ )] a a p(xxˆ )d(x, xˆ )dxdxˆ
3、保真度准则
定义
平均失真度不大于给定的允许失真D
信息率失真理论
表示
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
离散信源的实验信道 PD (Xˆ / X) {P(Xˆ / X) : D D} 全部n×n个实验信道转移概率——实验信道矩阵
PD (xˆ 1 / x1) PD (xˆ n )
PD
(Xˆ
/
1 R(D) 0.811 p=0.5
p=0.25
0
0.25
0.5 D
信息率失真理论
例1
二进制信源P(XX)
0 1/ 4
31/ 4失真矩阵[D]
0 1
1 0
求允许失真D=1/8时的信息率失真函数R(D)及达到 R(D)的实验信道
D=1/8时 R(D) H(p) H(D) 1 log 1 3 log 3 1 log 1 7 log 7
失真矩阵[D]
0 1
1 0
2
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i
j 1,2
i1
1p 2 (1 p)2S 1
1
1 p(1
2S )
1p2S 2 (1 p) 1
2
1 (1 p)(1
2S )
信息率失真理论
2
(2)由 P(xˆ j )2Sd(xi ,xˆ j) 1/ i求含S的P(xˆ j ) j1