信息率失真理论及其应用 11.1 (2)
信息率失真函数的定义
x
上式中第二项最小，所以令 p(b2 ) 1 ， p(b1 ) p(b3 ) 0 ，可得对应 Dmax 的试验信道转移概率矩阵为
0 1 0 0 1 0 p( y | x 0 1 0
2、 R(D)是关于平均失真度D的下凸函数 设
D1 , D2 为任意两个平均失真，0 a 1，则有：
寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度 准则的试验信道集合，因而可以在D失真许可的试验信道集合 BD中寻找一个信道P(vj / ui) ，使I(U;V) 取极小值。
由于平均互信息I(U;V)是P(vj / ui)的U型凸函数，所以在BD
集合中，极小值存在。这个最小值就是在D D的条件下，信源 必须传输的最小平均信息量。即：
3.1 失真测度
一、失真度
• 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。
• 所以信息传输率与信源编码所引起的失真(或误差) 是有关的。
失真的测度
离散无记忆信源U，信源变量U＝{u1,u2,…ur}， 概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接 收变量V＝ {v1,v2,…vs} 。
[例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs}。定义单个符号失真度：
0 d (u i , v j ) 1
ui v j ui v j
这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的 元素为零，即：
0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
率失真理论-中国科学技术大学
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
第8章 信息率失真理论(090318)
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
信息论 第四章 信息率失真函数(1)
4.1 基 本 概 念
当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以 定义失真度为0； 当i≠j时，用Y代表X就有误差。
这种定义认为对所有不同的i和j引起的误差都一样，所以定 义失真度常数a。 失真矩阵的特点是对角线上的元素均为0，对角线以外的其 它元素都为常数a。
第四章 信息率 失真函数
第1章：概述
第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
第四章 信息率 失真函数
基本概念
在前面几章的讨论中，其基本出发点都是如何保 证信息的无失真传输。 但在许多实际应用中，人们并不要求完全无失真 地恢复消息，而是只要满足一定的条件，近似地 恢复信源发出的消息就可以了。 然而，什么是允许的失真？如何对失真进行描 述？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题，已成为量化、数据转换、频带压缩和数 据压缩等现代通信技术的理论基础。
1 2 N 1 2 N
4.1 基 本 概 念
i ai , ai , , ai , ai , ai , , ai a1 , a2 , , an
i1 , i2 , , iN =1, 2, , n，i=1, 2, , n N
信道的输出共有mN个不同的符号
j bi , bi , , bi , bi , bi , , bi b1 , b2 , , bm
率失真理论及经典的码率控制算法
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息率失真函数与信息价值
(续) V = Dmax – D2 = a /10 – a /20 = a /20 P2 (好)=P(好)P(好/好) +P(坏)P(坏) =0.80.95+0.20.05=0.77 P2 (坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 0.778
4
“信息论与编码”课件
信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 1 0
平均失真度为 D 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵， 有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息 量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量 的最大价值为98元，则每一比特信息的最大价值为
v R( D) R( D)
例8.7 设某地区的天气状况可简单地用好天气和坏天气 来表示，据长期统计，它们的概率分别为P(好) = 4/5和 P(坏) = 1/5。假如对某种生产，把次日是好天气当坏天 气来准备和把坏天气当好天气来准备都会损失a元，否 则无损失。（1）试求完全正确预报的信息率价值V及信 息价值率v；（2）若气象台的误报概率为10%，再求V 及 v。
即这种情况每销售出去一块PCB板，加工厂将要另外承担 可能损失200元的风险。考虑到每块销售100元，实际上是 每卖出一块可能要实际净损失100元。 情况2 全部产品不经检验全部报废——都当废品 信道传输概率为P(好/好)=0 P(废/好)=1 P (好/废)=0 P (废/废)=1 好 废 信道矩阵为
18
本章总结
“信息论与编码”课件
• 平均失真定义：
平均失真为失真函数的数学期望，
D p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
n
m
19
本章总结
“信息论与编码”课件
• 保真度准则
•人们所允许的失真指的都是平均意义上的失真。 •规定平均失真度 不能超过某一限定的值D
6
“信息论与编码”课件
信息率失真函数与信息价值
从可能带来的另外损失角度考虑，这种情况和最大损 失（98元）相比，其减少量为98 – 14.9 = 83.1 (元) 减少的原因是由于从检验的过程中获取了信息量，如 前所述，检验的过程好比“信道”，获取的信息量也 就是平均互信息量I(X;Y)，可用I(X;Y)=H(X) – H(Y|X) 求得。现在来求H(Y/X)，为此先求H(Y)。 设出厂产品为信宿Y，则有
好 0 1 废 0 1
3
“信息论与编码”课件
信息率失真函数与信息价值
平均失真度为
D
P(ai )P(b j /ai )d(ai ,b j )
i j
=P(好)P(好/好) d(好,好)+ P(好)P(废/好) d(好,废) +P(废)P(好/废) d(废,好)+ P(废)P(废/废) d(废, 废) =0.98110 0=98元/块
1
“信息论与编码”课件
信息率失真函数与信息价值
选择失真函数为 d(好，好)=0 d(废，废)=0 d(好，废)=100 d(废，好)=10 000 将产品检验分成4种情况：全部产品都当合格品，全部 产品都当废品，完美的检验和允许出错的检验。 情况1 全部产品不经检验而出厂——都当合格品 把这一过程看作是一个“信道”，其“传递概率”为 P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0 信道矩阵为 好 废
14
• 问题：在允许一定程度的失真条件下，信
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
本章总结
“信息论与编码”课件
•香农信息率失真理论指出：
在允许一定失真度D的情况下，信源 输出的信息率可压缩到R(D)。
15
本章总结
“信息论与编码”课件
• 定义失真函数：
0, d ( xi , y j ) , xi y j xi y j , 0
（2）
D2
P(ai )P(b j /ai )d(ai ,b j )
i j
12
坏 0.2 0.8
好 0.8 0.2
=P(好)P(坏/好) d(好, 坏)+P(坏)P(好/坏) d(坏,好) =0.80.05a+0.20.05a = a /20
“信息论与编码”课件
9
“信息论与编码”课件
R( D )
H ( x)
R1
R
R2
D1
D
D2
Dmax
D
图8.8信息率失真函数图
10
“信息论与编码”课件
信息率失真函数与信息价值
（2）信息率R的价值率 定义8.7 信息率R的价值率用v表示，定义为每比特信息 量的价值，即信息率R的价值率为 Dmax D( R) V （8.165）
“信息论与编码”课件
4.3信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例4.6某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
即每生产一块PCB板，加工厂将有损失98元的风险。因 为把98％本来可以卖100元一块的板子也报废了。 比较情况1、2可知，做出全部报废决定造成的损失，要 小于做出全部出厂决定所造成的损失。不做任何检验， 在全部出厂和全部报废两者之间抉择，选择后者的损失 反而小。因此，有 Dmax 98 ；R( Dmax ) 0 产品未进行质量管理，相当于信源没有输出任何信息量。
0.071
而情况3每比特信息量的价值为690.14元。比较而言，第 4种情况的信息价格最高，是最合算的检验准则。
8
“信息论与编码”课件
信息率失真函数与信息价值
把上述概念一般化，有： （1）信息率R的价值 在保真度准则下，信息速率R是设计时允许失真D的函数， R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的 反函数D =D(R)，同样，给出一个R值，就有一个D与之 对应。 定义8.6 信息率R的价值用V表示，定义为 V = Dmax – D(R) （8.164） 它的含义是当获取关于信源X某一信息率R(D)时，平均 损失从Dmax降低到D所具有的差值。 例如，图8.8中对应于R1，V1=Dmax–D1；对应于R2， V2=Dmax–D2。
16
本章总结
“信息论与编码”课件
• 失真矩阵
– 失真度还可表示成矩阵的形式
– 称d 为失真矩阵。它是n×m阶矩阵。
17
本章总结
几种常用的失真函数： （1）均方失真 （2）绝对失真 （3）相对失真 （4）误码失真 （5）汉明失真
“信息论与编码”课件
d(xi ,yj )=(xi -yj ) 2 d(xi ,yj )= xi -yj d(xi ,yj )= xi -yj / xi 0，xi yj d(xi ,yj )=(xi ,yj )= 1， 其他 0， i=j d(xi ,yj )= 1， 其他
H (Y | X) P(ai )P(bj | ai )lbP(bj | ai ) 0.286
i j
I(X;Y) = 0.778 – 0.286 = 0.492
v V a / 20 0.102a 元/比特 R( D2 ) 0.492
13
“信息论与编码”课件
本章小结
本章讨论了离散消息的失真函数和信息率失真函数，同 时对连续消息也做了相应的讨论。限失真信源编码定理 是本章的重点，由此引出了信息价值这一具有实际意义 的概念。但该定理只是一个存在性定理。在实际应用中， 该理论主要存在着两大类问题。第一类问题是符合实际 信源的R(D)函数的计算相当困难。首先，需要对实际信 源的统计特性有确切的数学描述；其次，需要对符合主、 客观实际的失真给予正确的度量，否则不能求得符合主、 客观实际的R(D)函数。 第2类问题是即便求得了符合实际的信息率失真函数， 还需要研究采取何种最佳编码方法才能达到极限值。尽 管如此，限失真信源编码定理仍为信源的压缩编码指明 了方向，是各种信源压缩编码的理论基础。
PY(好)=P(好) P(好/好)+ P(废) P(好/废) =0.980.95+0.020.05=0.932 PY(废)=0.068
则信宿熵为 H(Y)=H[0.932, 0.068]=0.358 比特/每一出厂产品
7
“信息论与编码”课件
信息率失真函数与信息价值
每生产一个产品，对应于是废品还是合格品的平均不确 定度为 H (Y | X) P(ai )P(bj | ai )lbP(bj | ai )
98 690.14 元/比特 0.142
5
废 0 1
“信息论与编码”课件
信息率失真函数与信息价值
情况4 检测时允许有一定的错误——非完美的检验 依题意检验的正确率约为95%，则信道的传输概率为
P(好/好)=0.95 P(废/好)=0.05 P(好/废)=0.05 P(废/废)=0.95 好 废 信道矩阵为 好 0.95 0.05