第6章 限失真信源编码
合集下载
第六章 限失真信源编码01
6.2 信息率失真函数
2) 试验信道 1°有失真的信源编码器视作有干扰的信道 1 有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即P(X)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为 PD={ p( yi | xj ): D ≤ D ; i=1,2, … ,n ; j=1,2,…m } p( yi | xj )为信道的传递概率。 3) 信息率失真函数R(D) 定义 在允许信道 PD 中 , 寻求 寻求一个信道 个信道p( Y |X ) , 使给定 的信源经过此信道后 , 互信息量I(X ;Y )达到最小。该最小 互信息量称为信息率失真函数R(D) , 简称率失真函数
6.1 失真测度
各种图像信号应用的码率
应用种类 HDTV 普通电视 会议电视 电视电话 象素数 /行 1920 720 352 35 128 行 数 /帧 1080 480 288 88 112 码率bps 压缩前 1.18G 167M 36.5M 36.5 5.2M 压缩后 20~25M 4~8M 1.5~2M .5 56k
第六章 限失真信源编码
《信息论基础》 印刷与包装系
内容大纲
失真测度 信息率失真函数 限失真信源编码定理 常用信源编码方法
教学重点及难点
Hale Waihona Puke 掌握失真测度方法； 熟悉信息率失真函数及限失真信源编码定理； 熟悉常用信源编码方法。
6.1 失真测度
限失真编码：信源编码经过译码后能保留应用要求的 信息 允许信源有一定的失真 信息，允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大 1 连续信源的绝对熵为无限大，由于信道的带宽有限， 由于信道的带宽有限 受信道容量的限制。不可能实现完全无失真的信源信息的 传输 (可能性) 传输。 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输。 (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真. 模拟量的采样 量化也会引入失真
信息论与编码民大06限失真信源编码
23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值， 引入参量S和μi(i=1,2,…,n)，构造一个新函数ф (4.2.6) （S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式
理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R=(Klog2 m)/L 小于信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之，若R>C，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送 要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失 真传输，所需的信息率大大超过信道容量R>>C。
引入一个失真函数，计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49
23-Oct-18
信息率与失真的关系
信道中固有的噪声和不可避免的干扰，使信源的消息通 过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确 定性就越大，获得的信息量就越小，信道传输消息所需 的信息率也越小。
研究信道容量的意义：是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道，使传输的信息量 最大而发生错误的概率任意小，以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质
率失真函数的定义域
第六章 限失真信源编码
信息论基础 武汉科技大学
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。
第六章率失真函数理论及限失真信源编码
用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量
的失真度。具体的讲，对于离散信源设发端
收端：y b1,b2, ,bm ；当发 ai时收到 b j
x a1, a2, , an ;
符号的情况下定义
失真度为：
def
0 i = j
问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
5º Guide action: Channel coding problem
I(X;Y) is a function of P(y/x).
R(D)是表达信源与失真要求 匹配条件下的最小传信率； 在RR(D)下，总能找到一种 编码方法,满足信宿要求。
Source coding problem with finite distortion (Data Compression)
i1 j 1
If let
0 i j dij 1 i j
then d Pe
即，平均每一符号可能发生的误码率。
当x, y都为L维的随机矢量时，可定义矢量间的失真函数为：
dL( x,
def
y)
1 L
L l=1
d(xl ,
yl
)
dL = E dL( x, y ) =
1 LE L l=1
d(xl , yl )
第6章 限失真信源编码
m ax
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
限失真信源编码
m
p(ui , v j )d (ui , v j )
i1 j1
nm
p(ui ) p(v j | ui )d (ui , v j )
i1 j1
DD
D 为给定的失真度
设离散信源U =[0,1]的概率分布为均匀分布，信宿V =[0,1,2]，传递概
率矩阵为
p(v
|
u)
0.6 0.3
求失真矩阵 D.
解：
d(0,0) = d(1,1) = d(2,2) = 0; d(0,1) = d(1,0) = d(1,2) = d(2,1) = 1; d(0,2) = d(2,0) = 4;
0 1 4
D
1
0
1
4 1 0
D Ed (u, v) n
这里 n=2
R(D) H (U ) H (D) H () H (D) H () - log (1 ) log(1 )
H (D) -D log D (1 D) log(1 D)
R(D) 1.0
0.8
ω=0.5
0.6
ω=0.4
ω=0.3
0.4
ω=0.2
inf 为 下确界 （最大下边界）
二元对称信源 U =[0,1], 概率分布为
P(u) [, 1 ] （ 1/ 2）
信宿 V =[0,1], 采用汉明失真，求 0 D 的率失真函数 R(D) 。
.
由汉明失真，有
R(D) H (U ) H (D) D log(n 1)
考虑对均值为零，方差为1的高斯随机变量进行8级量化。由最小均方 误差最小化，可以得到如下表所列出的最优量化及Huffman编码。
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
信息论-第6章无失真信源编码
16
6.1 单义可译码
码奇异性： ⒋ 码奇异性：
非奇异码：代码组C中所有码字都不相同。 非奇异码：代码组 中所有码字都不相同。 中所有码字都不相同 奇异码： 代码组 中有相同的码字。 奇异码： 代码组C中有相同的码字 中有相同的码字。
17
6.1 单义可译码
5. 单义可译性： 单义可译性： 任意有限长的码元序列， 任意有限长的码元序列，只能被唯一地分割 成一个个的码字，便称为唯一 单义 单义)可译码 成一个个的码字，便称为唯一(单义 可译码
5
信源编码
信源
编码器
信道
Байду номын сангаас
码表
图6-1 信源编码器示意图
6
信源编码
信源编码是指信源输出符号经信源编码器 信源编码是指信源输出符号经信源编码器 编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信 无失真信源编码： 源输出地消息
7
信源编码
将信源消息分成若干组，即符号序列 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， ， xil∈A={a1，a2，…，ai，…，an} ， ， 每个符号序列x 依照固定码表映射成一个码字y 每个符号序列 i依照固定码表映射成一个码字 i， yi＝(yi1yi2…yil…yiL)， )， yil∈B={b1，b2，…，bi，…，bm} ， ， 这样的码称为分组码 有时也叫块码。只有分组码才有对 分组码， 这样的码称为分组码，有时也叫块码。只有分组码才有对 应的码表，而非分组码中则不存在码表。 应的码表，而非分组码中则不存在码表。
i
X=(x1,x2…xr)，由r个符号组成 ， 个符号组成
的集合称为代码组 码字W 码字 i =(xi1xi2…xil )的集合称为代码组 的集合称为代码组C
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•最常用的失真函数
均方失真： 绝对失真： 相对失真：
误码失真：
d ( xi , y j ) x
i
yj
2
d ( xi , y j ) xi y j
d ( xi , y j ) xi y j / xi
0, d ( xi , y j ) ( xi , y j ) 1， xi y j 其它
R( D) min I (U ;V )
PD
Pij PD
min p(ui ) p(v j / ui ) log
i 1 j 1
n
m
p(v j / ui ) p (v j )
研究信息率失真函数是为了解决在已知 信源和允许失真度D的条件下，使信源必 须传送给用户的信息量最小。就是在一 定失真度D条件下，尽可能用最少的码符 号来传送信源信息，使得信源的消息尽 可能快的传送出去。以提高有效性。属 于信源编码问题。
6.1 失真测度
失真函数 平均失真 ห้องสมุดไป่ตู้真度准则
失真函数
在实际问题中，信号有一定的失真是可以容忍 的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失 真限度，必须先有一个定量的失真测度。为此 可引入失真函数。 直观而言，允许失真越大，信息传输率可以越 小；若允许失真越小，信息传输率需要越大。
i 1 j 1 m
n
m
p (ai ) p (b j / ai )d (ai , b j )
i 1 j 1
n
对于连续随机变量同样可以定义平均失真：
D
p xy ( x, y)d ( x, y)dxdy
保真度准则
保真度准则：给定失真D，如果平均失真度 D 不大于D. D失真许可的实验信道：信源给定，单个符号 失真度给定，满足保真度准则的信道。
i 1
n
式右边达到最小，这时上式可简化成 Dmax min
j 1,, m
pd
i 1 i
n
ij
例：设输入输出符号表为X＝Y{0，1}，输入概率分 布p(x)={1/3，2/3}，失真矩阵为
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 2 2 1
6.2 信息率失真函数的性质
R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin p(ui ) min p(v j / ui )d (ui , v j )
Dmin p(ui ) min d (ui , v j )
i
i
j
实际中，一般Dmin＝0, 当失真矩阵每行至少一个 0，每列至多一个0时，满足 R( Dmin ) R(0) H (U ) 0 1 1 / 2 例1：U取值{0,1},V取值{0,1,2},失 p 1 0 1 / 2 真矩阵 例2：U等概取值{0,1,2},V取值{0,1},失真矩阵
独立 p p(v / u ) q(v ) q ij j i j j • 求出满足条件 m q 1 的D中的最小值 ，即
j 1
j
Dmax min q j pi dij
j 1 i 1
m
n
从上式观察可得：在j=1,…,m中，可找到 pi d ij 值 最小的 j，当该 j对应的 qj＝ 1，而其余 qj为零时，上
失真函数
假如某一信源X，xi{a1,…an}，经过有失真的信道传输输出 Y，yj {b1,…bm}。指定非负函数
若xi＝yj，则认为没有失真；若xi yj，那么就产生了失真。 这个函数用以衡量用yj代替xi所引起的失真程度。
xi y j 0 d(xi ,y j ) α α 0 xi y j
失真矩阵：单个符号失真度的全体构成的矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a1 , bm ) d (a , b ) d (a , b ) d (a , b ) 2 1 2 2 2 m d d (a n , b1 ) d (a n , b2 ) d (a n , bm )
PD p (v j / ui ) : D D, i 1,2, , n; j 1,2, , m
满足保真度准则下，寻找信源必须传输给收信 者的信息量R的下限值。也就是希望在满足一 定失真的情况下，使得信息传输率R尽可能小。
信息率失真函数R(D)
信息率R是所需输出的有关信源X的信息量。接收端 获得的平均信息量，是互信息I(U;V)。互信息取决 于信源分布和信道转移概率分布，当p(ui)一定时，I 是关于p(vj/ui) 的凸函数，存在极小值。 在允许信道PD中，可以寻找一种信道pij，使给定的 信源p(ui)经过此信道传输后，互信息达到最小。该 最小的互信息就称为信息率失真函数R(D)：
解：当 Dmin＝ 0 时， R(Dmin) ＝ H(X) ＝ H(1/3 ， 2/3)＝ 0.91 比特/符号，这时信源编码器无失真，所以该编码器的 转移概率为
1 0 P 0 1
当R(Dmax)＝0时
1 0 p1 1 / 2 1 / 2 0 1
0 1 p2 0 0 1 0
(2) Dmax和R(Dmax)
• 选择所有满足R(D)＝0中D的最小值，定义为R(D) 定义域的上限Dmax，即 Dmax min D R ( D ) 0 • 显然的，当D> Dmax时，I(X;Y)=0, 即输入和输出
前三种失真函数适用于连续信源，后一种适用于离
散信源。
平均失真
由于 xi和 yj都是随机变量，所以失真函数 d(xi， yj) 也是随机 变量，限失真时的失真值，只能用它的数学期望或统计平均值， 因此将失真函数的数学期望称为平均失真，记为：
D p (ai b j )d (ai , b j )