第7章 限失真信源编码
(信息论)第7章限失真信源编码
(7.5)
BD p y | x : D D
i 1, 2, , n ; j 1, 2, , m
7.2.2 信息率失真函数的定义 在 D 允许信道 BD 中可以寻找一个信道 pY | X ，使 给定的信源经过此信道传输时，其信道传输率 I X , Y 达到 最小，定义为信息率失真函数 RD ，也称为率失真函数， 即
1 n d n xi , y j d xik , y jk n k 1
信源编码过程是这样进行的：当信源发送序列 xi 时， 就从分组码 Y 中选取一个码字 y j，使失真最小，即
d n xi | Y min d n xi , y j
y j Y
(7.7)
所以分组码 Y 的平均失真度为
当采用随机编码方法时，考虑到接收端输出序列分
布q yj
，则分组码 Y 的平均失真度为
p xi q y j d n xi | Y (7.9)
N M i 1 j 1
dn Y E dn Y
对于分组码 M , n ，其最大速率为
7.2 信息率失真函数
7.2.1 D 允许信道(试验信道)
问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信 源时，如果 R C ，就必须对信源进行压缩，使其压缩 后信息传输率 R 小于信道容量 C，但同时要保证压缩 所引入的失真不超过预先规定的限度。 保真度准则
如果预先规定的平均失真度为 D ，则称信源压缩后 的失真度 D 不大于 D 的准则为保真度准则，即保真度 准则满足
，则平均失真度为
现代通信原理指导书第七章信源编码习题详解
第七章 信源编码7-1已知某地天气预报状态分为六种：晴天、多云、阴天、小雨、中雨、大雨。
① 若六种状态等概出现，求每种消息的平均信息量及等长二进制编码的码长N 。
② 若六种状态出现的概率为：晴天—；多云—；阴天—；小雨—；中雨—；大雨—。
试计算消息的平均信息量，若按Huffman 码进行最佳编码，试求各状态编码及平均码长N 。
解: ①每种状态出现的概率为6,...,1,61==i P i因此消息的平均信息量为∑=-===6122/58.26log 1log i ii bit P P I 消息 等长二进制编码的码长N ＝[][]316log 1log 22=+=+L 。
②各种状态出现的概率如题所给，则消息的平均信息量为6212222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i iI P P bit -== = ------ ≈ ∑消息Huffman 编码树如下图所示：由此可以得到各状态编码为：晴—0，多云—10，阴天—110，小雨—1110，中雨—11110， 大雨—11111。
平均码长为：6110.620.2230.140.0650.01350.0071.68i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯ =∑—7-2某一离散无记忆信源（DMS ）由8个字母(1,2,,8)i X i =⋅⋅⋅组成，设每个字母出现的概率分别为：，，，，，，，。
试求：① Huffman 编码时产生的8个不等长码字； ② 平均二进制编码长度N ； ③ 信源的熵，并与N 比较。
解：①采用冒泡法画出Huffman 编码树如下图所示可以得到按概率从大到小8个不等长码字依次为：0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X②平均二进制编码长度为8120.2520.2030.1530.1240.140.0840.0540.052.83i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯ =∑ ③信源的熵∑=≈-=81279.2log)(i i i P P x H 。
信息论与编码7限失真信源编码1
d被称为失真矩阵。
信息论与编码-限失真信源编码
失真函数 d(xi , y j )的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代 价函数等：
平方失真：
d (xi , y j ) (xi y j )2
绝对失真：
d(xi , y j ) xi y j
相对失真： d(xi , y j ) xi y j / xi
§4.2 R(D)的计算
已知信源的概率分布和失真函数 信源的R(D)函数。
d ij
，就可以求得
信息论与编码-限失真信源编码
求R(D)函数，实际上是一个求有约束问题的最小 值问题。即适当选取试验信道的 p(y / x)使平均 互信息
I(X;Y)
m i1
m j 1
p(xi ) p( y j / xi ) log
而输出符号概率为 p(y1) 0, p(y2) 1
例题2：输入输出符号表同上题，失真矩阵为
d
d d
( x1 , ( x2 ,
y1 ) y1 )
d (x1, d ( x2 ,
y2 ) y2 )
1
2 2
1 1
求 Dmax
解： Dmax
min
j 1,2
2 i 1
p(xi )d (xi ,
yj)
信息论与编码-限失真信源编码
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。
关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： R(D) 0 ，定义域为 0 ~ Dmax ，当D Dmax 时，
R(D)=0。 R(D)是关于D的连续函数。 R(D)是关于D的严格递减函数。
误码失真：
IT_18_限失真信源编码定理
失真典型序列 失真典型序列：
1 2 3 4
1 log p x H X N 1 log p y H Y N 1 log p xy H XY N d x , y E d X ,Y
0
1 p x , y K x , y p x , y Gd , Pe 0
Pe 0
E d X , Y D Pe d max E d X ,Y D 即当R R D 时, R,D 是可达的.
x y 2
N R I X ;Y 3
2 NR
Pe 1 p x , y K x , y e
x y
2
N R I X ;Y 3
R R D R I X ;Y e
x y
2
N R I X ;Y 3
NR H Y N I Y N ; X N
H Y N H Y N X N
H X N H X N YN
N i 1 N
H Xi H X N Y N
N
H X i H X i Y N , X i 1 , , X i
y
K x, y
Pe p x 1 p y K x , y x y
2 NR
N I X ;Y 3 p x 1 p y x 2 K x , y x y N I X ;Y 3 p x 1 2 p y x K x , y x y
信息论_限失真信源编码
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
第七章 限失真信源编码
7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理和逆定理 * 7.5 熵压缩编码具体方法
第七章：限失真编码
概述
失真测度
X
Y
信源
编码器/信道
信宿
R=I(X;Y)>R(D)
第七章：限失真编码
7.1.1 失真函数
失真测度
X P
x1 p( x1
)
x2 p(x2 )
பைடு நூலகம்
xr p(xr )
Y P
y1 p( y1
)
y2 p(y2 )
ys p( ys )
d (xi , y j ) 0, i 1,2, , r, j 1,2, , s
第七章：限失真编码
7.1.1 失真函数
失真测度
失真矩阵
d(x1, y1) D d(x2 , y1)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R(D) min I (X ;Y )
p( y j | xi )BD
RN
(D)
min
p(y j |xi )BD
I (X; Y)
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
为 Y Y1Y2Y3 ，其中每个随机变量均取值于Y 0,1 。
定义失真函数
d (0,0) =d (1,1) =0，
d (0,1) =d (1,0) =1，求失真矩阵 D (N ）。
第七章：限失真编码
7.1.1 失真函数
0 1 1 2 1 2 2 3
第七章：信息率失真函数与限失真信源编码
• 信道编码→信道→信道译码
信道*
• 研究失真影响时，“信道*”可以忽略
– 根据信道编码定理 ： 信道*是一个没有干扰的 广义信道，信宿收到信息的失真只来自于信源 编码
§7.1:概述－7
• 方法：
– 虚拟：将讨论重点虚拟细化
• 将限失真信源的编译码过程虚拟
• 信源编码过程→信道* →信源译码过程
试验信道
]
• 失真函数：均方误差失真，即： d (u, v) (u v)2
–求解步骤：
• 计算平均失真度 D • 当 D ≤D，求互信息 • 求互信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
–验证：找到满足R(D)的试验信道，验证其正确性 –结果分析：R(D)曲线分析
i
j
§7.2:失真的度量－6
• 平均失真度
– confer :d & D
• d：描述了某个信源符号通过传输后失真的大小， 不同的信源符号，其d不同。
• D ：描述了某一个单符号信源在某一试验信道传输
下的失真，它不仅与单个符号的d有关，还与 试验信道的统计特性有关。
§7.2:失真的度量－7
• 平均失真度
R(D) log r D log(r 1) H (D)
R(D)
3.0
2.0
r 8
1.0
r4
r2
0.0 0.2 0.4 0.6 0.8 D
§7.3:率失真函数－11
• 高斯信源的R(D)计算
– 已知条件：高斯信源U，其均值为m，方差为σ2，
接收变量V
• 概密函数： p(u)
1 2
exp[
(um)2 2 2
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7.1 设输入符号集为}1 ,0{=X ，输出符号集为}1 ,0{=Y 。
定义失真函数为
1
)0,1()1,0(0)1,1()0,0(====d d d d
试求失真矩阵D 。
解：
041
041041041),(min )(43
0411********),()(min min min max =⨯+⨯+⨯+⨯===
⨯+⨯+⨯+⨯===∑∑i j i j i i
j i i j j y x d x p D y x d x p D D
7.2 设输入符号集与输出符号集为}3 ,2 ,1 ,0{==Y X ，且输入信源的分布为
)3 ,2 ,1 ,0( 4
1
)(===i i X p
设失真矩阵为
[]⎥⎥⎥⎥⎦
⎤⎢⎢⎢
⎢⎣⎡=01
11
101111011110d 求D max 和D min 及R(D)。
解：
041
041041041),(min )(43
0411********),()(min min min max =⨯+⨯+⨯+⨯===
⨯+⨯+⨯+⨯===∑∑i
j i j i i
j i i j j y x d x p D y x d x p D D
因为n 元等概信源率失真函数：
⎪⎭
⎫
⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )(
其中a = 1, n = 4, 所以率失真函数为：
()()D D D
D D R --++=1ln 13
ln
4ln )( 7.3 利用R(D)的性质，画出一般R(D)的曲线并说明其物理含义？试问为什么R(D)是非负且非增的？ 解：
函数曲线：
D
其中：
sym bol
nat D R D sym bol
nat D R D sym bol
nat D R D sym bol
nat R D /0)(,4
3
/12ln 21
4ln )(,21/3
16ln 214ln )(,41/4ln )0(,0==-==-==== 7.4 设二元信源为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110
P X
其失真矩阵为
[]⎥⎦
⎤⎢
⎣⎡=a a d 00 求这个信源的D min 和D max 及率失真函数R(D)。
解：
021
021),(min )(202121),()(min min min max =⨯+⨯===
⨯+⨯===∑∑i
j i j i i
j i i j j y x d x p D a
a y x d x p D D
因为二元等概信源率失真函数：
⎪⎭
⎫
⎝⎛-=a D H n D R ln )(
其中n = 2, 所以率失真函数为：
⎥⎦
⎤
⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(。