信源编码

14
霍夫曼编码
n
霍夫曼编码实例：
7 个信源符号 的出现概率分别为 0.20 、 0.19 、 0.18 、 0.17 、0.15、0.10和0.01
15
霍夫曼编码
需要注意的是，霍夫曼编码方法给 出的最佳编码方案不是唯一的，但 是所有方案得到的平均码字长度相同
16
模拟信号的数字化传输
n n n
n
系统通过随机媒介（信道）把一个随机过程 （信源）的输出传送到目的地，并确保较低的 失真。
4
信源及其数学模型：数学模型
n
时域离散随机过程{ Xi | i ∈( −∞, ∞ )} ：表示信源的 输出
n n
数字信号，二进制传输 模拟信号，如语音、图象的抽样
n
离散信源的统计描述：设离散信源可发出 N 种 符号，x1, x2, …, xN, 每个符号出现的概率分别 为P(x1), P(x2), …, P(xN), 则可以用概率场表 示为
n t = −∞ n
n = −∞
∞
∞
1 M H ( ω ) = M s ( ω ) H (ω ) = T
矩形脉冲
∑ M (ω − 2nω ) ⋅ H (ω )
H
∞
Aτ = T
⎛ ωτ Sa ⎜ ∑ ⎝ 2 n = −∞
∞
⎞ ⎟ M (ω − 2nω H ) ⎠
~ M (ω ) 的非线性搬移
M H (ω )
带宽为B的高频窄带信号，其抽样频率近似等于2B。
23
随机基带信号的抽样
n
一个宽平稳的随机信号，当其功率谱密度函数 限于 fH 以内时，若以不大于 1/2fH 秒的间隔对 其进行均匀抽样，则可得一随机样值序列。如 果让该随机样值序列通过一截止频率为 fH 的 低通滤波器，那么其输出信号与原来的宽平稳 随机过程的均方差在统计平均意义下为零。
−4 B
−2 B
0
2B
4B
10 B
ω
21
带通型连续信号的抽样速率
n
fH = nB+kB, 0 ≤ k < 1, n为小于 fH / B 的最大整数
fs = 2B
fs =2B+2( fH - nB )/n
22
带通型连续信号的抽样速率
n
若 fH = nB+kB, 0 ≤k < 1, n为小于 fH / B 的最大整数， 则带通信号的最小抽样频率为 fs = 2B+2( fH - nB ) /n =2B( 1 + k/n )
n n n
概率匹配编码 变换编码 识别编码
n
标准
n n n n n
H.261，p×64kbps视听业务的视频编码解码器，会议电视 H.263，低于64kbps，运动图象 H.264 H.265 JPEG，静止图象 MPEG，运动图象（1－1.5M，2－100M的HDTV，4－基于内容的高压缩， 7－基于内容的检索）
第2章 信源编码
本章主要参考书
n
n
n
n
J.G.Proakis 等编著、叶芝慧等译，通信系 统工程，电子工业出版社 樊昌信等编著，通信原理，第5(4)版，国防 工业出版社 曹志刚等编著，现代通信原理，清华大学出 版社 J.G.Proakis. Digital Communication (3rd Edition). 电子工业出版社（影印版： 数字通信）
24
脉冲调制
n
脉冲调制：脉冲串作为载波
n
模拟调制
n n n
PAM PDM PPM PCM DPCM ADPCM
n
数字调制
n n n
25
自然抽样的PAM方式
s(t) ~ 周期性矩形脉冲序列(周期为T =1/2fH)
⎛ ωτ ⎞ ⎛t⎞ ST (ω ) = Aτ Sa ⎜ sT ( t ) = Arect ⎜ ⎟ ⎟ 2 τ ⎝ ⎠ ⎝ ⎠ 1 2π Sn = ST (ω ) ω = nω , ωs = = 2ω H s T T ∞ 2π ∞ S (ω ) = 2π ∑ S nδ (ω − 2nω H ) = Aτ Sa ( nω Hτ ) δ (ω − 2nω H ) ∑ T n = −∞ n = −∞ 26
=
∞ n = −∞ n H
∑ m δ ( t − nT ) ∗ Sa (ω t ) = ∑ m
n = −∞
∞
n
Sa ⎡ ⎣ω H ( t − nT ) ⎤ ⎦
20
带通型连续信号的抽样速率
n
带通型信号(频带受限于(fL, fH)，B= fH – fL ) n fH = nB, n为整数
M (ω )
自然抽样的PAM方式
ms ( t ) = m ( t ) ⋅ s ( t )
∞ Aτ ⎡ ⎤ 1 = M (ω ) ∗ ∑ Sa ( nω Hτ ) δ (ω − 2nω H ) ⎥ ⎡ M s (ω ) = M (ω ) ∗ S (ω ) ⎤ ⎢ ⎣ ⎦ T ⎣ 2π n = −∞ ⎦
Aτ = T
n = −∞
∑ Sa ( nτω ) M (ω − 2nω )
H H
∞
已抽样信号频谱的包络按 Sa(x) 函数逐渐衰减。
27
平顶(瞬时)抽样的PAM方式
ms(t) h(t) mH(t)
mH ( t ) = ms ( t ) ∗ h ( t ) =
t = −∞
∑ m δ ( t − nT ) ∗ h ( t ) = ∑ m h ( t − nT )
直观上：
n n
信源（模拟和数字）自身内部的相关性 数字化——带宽增加——压缩；
n
n
通过对信源信息冗余的研究和处理，提高 传输效率 针对不同结构的信源，显示方式、要求的 不同，编码方式也有差异
n n
语音编码 图象编码
9
信源压缩编码算法
n n
n
n
概率匹配编码：根据编码对象出现的概率分配 不同程度的代码，以保证总的代码长度最短 预测编码：利用信号之间的相关性，预测未来 的信号，对预测的误差（或残差）进行编码 变换编码：利用信号在不同函数空间分布的不 同，选择合适的函数变换将信号从一种信号空 间变换到另一个更有利于压缩编码的信号空间， 再进行编码 识别编码：分解文字、语音、图象的基本特征， 与汇集这些基本特征的样本集对照识别，选择 失真最小的样本编码传送
模拟信号!抽样、量化、编码!数字方式传输 理论基础：抽样定理 实现
17
均匀抽样定理
n
一个频带限制在(0, fH)内的时间连续信号m(t)，如果以 T ≤ 1/2fH 秒的间隔对它进行等间隔抽样(即在信号最高 频率分量的每一个周期内至少抽样两次)，则m(t)将被 所得到的抽样值完全确定。
m (t )
T
×
δT ( t )
ms ( t )
ms ( t ) = m ( t ) δT ( t )
=
n = −∞
∑ m δ ( t − nT )
n
∞
18
均匀抽样定理
δ ω (ω ) = ω s
s
n = −∞
∑ δ (ω − nω s ), ω s =
∞
2π T
T
M s (ω ) =
1 ⎡ M (ω ) ∗ δ ω (ω ) ⎤ s ⎦ 2π ⎣
5
信源编码定理
n
n n
n
Shannon信源编码定理：一个熵为H的信源，当 信息速率为 R 时，只要 R>H ，就能以任意小的 错误概率进行编码；反之，如果R<H，无论采 用多么复杂的编码器和译码器，错误概率都不 可能达到任意小。 熵是无失真信源压缩编码的下限速率。 只给出了信源编码存在的充要条件，并未给出 编码算法及如何才能达到预期的性能。 寻找具体的信源编码算法
12
霍夫曼编码
n n
n
霍夫曼于1952年提出了一种编码方法 它的基本原理是对那些出现概率较大的信源 符号编以较短的代码，而对那些出现概率较 小的信源符号编以较长的代码 码字的平均长度为 可以证明，如果码字长度严格按照对应符 号出现概率的大小逆序加以排列，则其平 均码字长度最小，它的理论极限值就是信 源的熵。
29
!
!
量化信噪比
设 m(t) 是均值为零，概率密度为 f(x) 的平稳随机过程
−5 B −4 B
−2 B
0
fs = 2nB
−10 B
−4 B −2 B
δ ω (ω )
s
2B
4B 5B
ω
0
2B M s (ω )
4B
10 B
ω
−10 B
−4 B
−2 B
0
fs = 2B
−10 B
−4 B −2 B
2B δ ω s (ω )
4B
10 B
ω
0
2B
M s (ω )
4B
10 B
ω
−10 B
11
n
标准：
n n n n n
图象编码
n
冗余：
n n n n
统计冗余：空间、时间、信息熵（等比特编码） 知识冗余：先验知识，如人脸 视觉冗余：视觉缺陷，细节的不敏感 结构冗余：局部的纹理、相似等
n n
性能指标：压缩效率（比）、压缩质量、编解码时延、算法复杂度 算法：
10
语音编码
n n
指标：语音质量、编码速率、编解码时延、算法复杂度 算法：
n n
n
波形编码：16-64k，PCM、ADPCM、子带编码SBC等 参数编码（模型编码）：编码速率低（低于 2.4k ）质量稍差， 声码器，线性预测声码器LPC等 混合编码：4-16k之间的满意质量，CELP（码本激励线性预 测编码） G.711：PCM，64k G.721,723,726,727：ADPCM，16/32/24/40k G.728：LD-CELP（低时延码本激励） ，16k G.723.1：MP-MLQ/ACELP，6.3/5.3k G.729：CS-ACELP（共轭结构-代数码激励），8k
13
n
霍夫曼编码
n
实现霍夫曼编码的基本步骤如下：
n
n
n
按照出现概率从大到小的顺序对信源符号进行 排列； 把出现概率最小的两个符号分别指定为 1 和 0 ；将 其概率相加，视为一个组合符号，并与前面的符 号组成新的信息源； 对新的信息源重复步骤 (1) 和 (2) ，直至所有符号 被合并。
2
基本内容
n n
Biblioteka Baidu
信源及数学模型 信源编码
n n
矢量量化 霍夫曼编码
3
信源及其数学模型：信源
n
信源
n
模拟信源：
n n
语音: 0.3~3.4kHz 图象: 0~6.5MHz
n
数字信源：数据序列 对接受者而言，不可预知——随机 带限性——抽样定理离散化
n
共性：
n n
6
率失真理论
n n
n
n
n
采用无失真编码，以接近信源熵的速率进行传输，可以 无差错地进行恢复。但在很多情况下，这几乎不可能。 模拟信源的抽样值为实数，需要无穷多比特来表示，不 可能无失真。 有损信源编码，在一定失真率的条件下进行压缩编码。 最小失真率？如何实现最小失真率？ 为了重构（译码）信源信号，为了达到所要求的失真， 每个信源输出对应的最小比特数为多少？ 失真 D ：重构信号 X’ 与原始信源信号 X 之间保真度或者 近似程度的度量，可以是距离、平方距离等。对信源应 是统计平均意义上的度量。D=E[d(X,X’)]
∞ 1 ⎡ ⎤ ⎢ M (ω ) ∗ ∑ δ (ω − nω s ) ⎥ = T n = −∞ ⎣ ⎦
2π ≥ 2ω H 时, 即 T 1 ≥ 2 f H， T M (ω ) 周期性地 重复而不重叠.
1 = T
n = −∞
∑ M (ω − nω )
s
∞
19
均匀抽样定理 — 原始信号的恢复
ms ( t )
7
率失真理论(续)
n
重构失真小于或者等于D的无记忆信源所 需要的最小比特数 / 信源输出（符号）， 称为率失真函数，记为R(D)，即
R( D ) =
E [ d ( X , X ')]≤ D
min
I(X; X ')
n
给出了编码速率和失真之间折中的基本极 限
8
信源编码的实现：有损压缩编码
n
LPF
m (t )
⎛ ω M s (ω ) ⋅ rect ⎜ ⎝ 2ω H
⎞ 1 ∞ ⎛ ω ⎟ = ∑ M (ω − nω s ) ⋅ rect ⎜ ⎠ T n = −∞ ⎝ 2ω H
T=1/2fH
⎞ 1 ⎟ = M (ω ) ⎠ T
ω ⎡ ⎤ ∴ m ( t ) = T ⎢ ms ( t ) ∗ H Sa (ω H t ) ⎥ π ⎣ ⎦
1 H (ω )
M S (ω )
LPF
M (ω )
28
量化的定义
n n
抽样：时间连续!时间离散 量化：取值连续!取值离散 n 定义：利用预先规定的有限个电平表示模拟抽样值
!
!
量化误差
!
!
qi : 量化电平 mi : 量化区间端点
mi −1 ≤ m ( kTs ) ≤ mi时， mq ( kTs ) = qi 误差：m ( kTs ) − mq ( kTs )