第四章 限失真信源编码

均匀量化的量化误差： e x Q(x) x yi
量化器均方误差：
e2
2
x Q(x) p(x)dx
N
i 1
ai ai1
(x
yi
)2
p(x)dx
量化器输入方差： 2 x2 p(x)dx N ai x2 p(x)dx
i 1 ai1
量化器的信噪比SNR：
SNR
10
lg
波形信道
｛y(t)｝
v X ( X1,L , X N )
Xi [a, b]
v Y (Y1 ,L ,YN )
Yi [c, d ]
vv
v
vv
v
vv
I( X;Y ) h( X ) h( X | Y ) h(Y ) h(Y | X )
4.2 信息率失真函数
实际应用中 , 允许信号有一定的失真 , 当失真超过一定 限度后 , 信息将失去实用价值 , 因此要规定失真的限度.
失真函数R(D)的问题 , 可以归结为在约束条件保真度准 则 D ≤ D 下, 求极小值的问题 .
6) 限失真信源编码定理 (香农第三定理)
设离散无记忆信源X的信息率失真函数R(D) , 并
选定失真函数 , 对于任意允许平均失真度 D ≥0 和任
意小的ε≥0, 当信息率R ≥R(D) ,只要信源序列 L足够
N维信源符号序列的信息率失真函数RN(D):
RN
(D)
min {I (U;V
p( y|s);D ( N )ND
)}
4) 连续信源的信息率失真函数
连续信源平均失真度为:
D E[d (u, v)] p(u) p(v | u)d (u, v)dudv
连续信源的信息率失真函数:
R(D) inf {I (U;V )} P ( v|u )BD
R
变为:
XN P( x)
x1 ,
p( x1),
x2, L
p( x2 ),L
, ,
xi ,L
p( xi ),L
, ,
xN p( xN
)
N
N
且: p( xi )
ai
b
p( x)dx p( x)dx 1
a(i 1)
a
i 1
i 1
此信源合理！
二、连续信源的熵
2、相对熵
h( X )
均匀量化：线性量化 最优量化：使量化器的均方误差σe2最小或信
噪比SNR最小的量化。 （概率非均匀分布的最优量化算法）
4.3.1 均匀量化
量化器输入：x，对应实数值域空间为R；
量化器输出：y，对应实数值域空间为Rc；
对应取值范围[a0,an]
y=Q (x)
均匀量化：将区间[a0,an]分割为n个相等距离 且互不重叠的子区间[ai,ai+1]，取每个小区间 的中点值作为量化值yi，即ai≤x≤ai+1时， yi=(ai+1+ai)/2
BD={ p( v j | u i ): ≤ D ; i=1,2, … ,n ; j=1,2,…m } p(v j | u i )为信道的传递概率。
3)离散信源的信息率失真函数
R(D) min {I (U;V )} p(v j |ui )BD
在允许信道 BD 中 , 寻求一个信道p( V |U ) , 使给定的信源经 过此信道后 , 互信息量I(U ;V )达到最小. 该最小互信息量称 为信息率失真函数R(D) , 简称率失真函数
ai
yi1 yi ,i 1,2,....,n 2
计算y1;
4）重复步骤（2）、（3），分别计算出a2,y2,a3,y3,….,直至最 后求得yn-1
5）检验yn是否为[an-1,an]的概率中心，
即
an an1
(x
yn1 )
p(x)dx
0
是否成立，或在允许的一定误差范
围内成立。
6）若步骤（5）满足，则过程结束，否则，重新选y0。
信息率失真是A/D转换、量化、频带压缩和数据压缩的 理论基础. 4.2.1 失真函数
1) 失真函数定义
信源 U {u1,u2 , ,un} 经过信源编码后输出 V {v1, v2 , , vm}
对于每一对( ui , vj ) , 指定一个非负函数 d ( ui , vj ) ≥ 0 i = 1 , 2 , … , n j = 1 , 2 , … , m 称 d ( xi , yj ) 为单个符号的失真函数. 表示信源发出符 号 xi , 接收端再现 yj 所引起的误差或失真. d ( xi , yj ) = 0 无失真 , d ( xi , yj ) > 0 有失真.
2 ( x yi ) p( x)dx 0
ai
ai1
xp( x)dx
yi
ai ai1
p( x)dx
ai
E[ x] ai1 p( x)dx
ai
yi最佳位置在ai和ai+1区间的概率中心。
Max-Livod迭代方法：
1）任取y0;
2）由
a1 a0
(x
y0
)
p(x)dx
0
，计算a1;
3）根据公式
表4－1 各种图像信号应用的码率
象素数 行 数
应用种类
/行
/帧
HDTV 普通电视
1920 720
1080 480
会议电视 352
288
电视电话 128
112
码率bps 压缩前 压缩后 1.18G 20~25M
167M
4~8M
36.5M 1.5~2M
5.2M
56k
4.1 连续信源的熵和互信息
一、连续消息的统计特性
2 e2
量化器的工作区域：
1. 正常量化区：
x [a0, an ] 量化器能得到正常量化。
2. 限幅区： x a0或x an 量化器处于限幅或过载工 作状态，产生较大失真。
3. 空载区： / 2 x ai / 2
（1）当x=ai时，量化器输出在两个量化级间往返跳动， 形成一个矩形输出，结果将产生点状噪声。
语音信号传输
语音（音频）信号的带宽 ：20～20000HZ
实际应用音频范围:
电话质量:
300～3.4KHZ 电话公用网
调幅广播质量: 50 ～7 KHZ 有现场感的语音传输
高保真音频信号: 20 ～20 KHZ 高保真音响
图像信号传输 一路6MHz的普通电视信号数字化后，其数码率将
高达167Mbps，对储存器容量要求很大，占有的带宽将 达80MHz左右
4) 信息率失真函数R(D)物理意义 1°R(D)是信源给定的情况下, 在可容忍的失真度内再现
信源消息所必须获得的最小平均信息量 . 2°R(D)是反映给定信源可压缩的程度. 3°R(D)求出后 , 就与选择的试验信道无关 , 而只是信源
特性的参量 , 不同的信源 , 其R(D)是不同的 .
5) 信息率失真函数R(D)的计算 已给定信源概率P(X)和失真函数d ( xi , yj ) ,求信息率
1°使其压缩后的信息传输率小于信道容量;
2°保证压缩所引入的平均失真 D不超过预先给定
的允许失真度D;
3°在满足 D≤ D的前提下 , 使编码后的信息率尽
可能小.
不等式 D ≤ D 称为保真度准则
2) 试验信道
1°有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即B(U)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为
1.波形信源：
2.描述:
x(t) { xv(t1 ), xv(t2 ),L , xv(tn )}
在一个具体的时间点ti ，{x(ti)} 为一个取值 连续的随机变量，可用有限维概率密度函数族
描述：
p1x2
,
t2
M
pn
x1
,
x2
,L
, xn , t1 , t2 ,L
,tn
一、波形信源的特性
2.描述:
n
➢ 独立的随机过程：pn ( x1,L , xn , t1,L , tn ) p( xk , tk )
k 1
➢平稳随机过程：统计特性不随时间平移而变化的随机过程。
pn x1, x2,L , xn,t1,t2,L ,tn pn x1, x2,L , xn,t1 ,t2 ,L ,tn
2) 常用的失真函数
1°平方误差失真函数 d ( xi , yj ) = (xi - yj )2
2°绝对误差失真函数 d ( xi , yj ) = | xi - yj |
3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi |
4°误码失真函数
0 d( xi , y j ) 1
i j 其他
失真函数1°,2°,3°用于连续信源 , 失真函数4°用
于离散信源 , 失真函数4°也称Hanmming失真函数.
3) 失真矩阵d
n × m 矩阵
d( x1 , y1 )
d
d ( xn , y1 )
d( x1 , ym )
d ( xn , ym )
4.2.2 平均失真 xi 和 yj 均为随机变量 , 所以d ( xi , yj ) 也
x( t ) lim 1
T
x( t )dt
T 2T T
二、连续信源的熵
X p(x)
R p(x)
p(x)dx 1
R
1、方法
变量X的概率分布与概率密度函数的关系为：
p( x) d P( x)
x
P( x) p( x)dx