第3章 信源编码理论
合集下载
信源编码_3
X：信源
x ：信号单元、消息、信源符号
W：代码、码组或码书
w：码字
A：构成码字的符号集
a ：码元、符号、字符
X = {x1 , x2 , ..., xn }
信源符号集
编编码码器器
W = {w1 , w2 , ..., wn }
码字
A = {a1 , a 2 , ..., a m }
码符号集
Coding Theory 3-5
② X~W对应关系：顺序的一一对应关系：
R2 = {( x1, w1 )( x2, w2 ),( x3, w3 ),( x4, w4 )}
定长码 变长码 信源符号 码1 码2
x1
00 0
x2
01 01
x3
10 001
x4
11 111
Coding Theory 3-8
编码分类
非奇异码：所有信源符号映射到不同的码字
冗余度越低，信源输出信号携带信息的有效性越高，反之越低
0 ≤ Hn ( X ) ≤ Hn−1( X ) ≤ K ≤ H1( X ) ≤ H0 ( X ) = log m < ∞
Coding Theory 3-2
信源编码
3、信源输出信息的有效表示：如何用适当的码 符号有效表示信源输出的信息
无失真信源编码：可完整地恢复原信源符号 有失真信源编码：引入量化，按一定的失真度恢复源 符号序列，同时保留尽可能多的信息量
10
111
111 0111 111
11
Coding Theory 3-12
分组码
1、非奇异码：码中所有码字各不相同
码A是奇异码，有两个码字相同，所以信源符号与码字不是一 一对应的，一定不是唯一可译码（虽然有最小码长）
第三章 无失真离散信源编码解析
10
3.2 离散无失真信源编码定理
一、香农理论对数据压缩的指导意义
1、数据压缩的途径 途径一：使序列中的各个符号尽可能地互相
独立，即解除相关性，去冗余； 途径二：使编码中各个符号出现的概率尽可
能地相等，即概率均匀化。
2、数据压缩的理论极限
11
3.2 离散无失真信源编码定理
二、编码的指标
1. 平均码长
第三章 无失真离散信源编码
1
3.1 基本概念
例1：
N个消息集合 X={a、b、c… z、空格…}
信源 编码器
信道基本 符号(0、1)
N个代码组集合 C={c1、 c2、…cN}
2
3.1 基本概念
一、信源编码的定义：
信源编码是以提高通信的ቤተ መጻሕፍቲ ባይዱ效性为目的编码。
信源编码
适合信道传输 减少冗余度
3
3.1 基本概念
5
3.1 基本概念
二、信源编码的分类
(1) 二元码和r元码 若码符号集 X {0,1}，编码所得码字为一些
适合在二元信道中传输的二元序列，则称二元码。 二元码是数字通信与计算机系统中最常用的一种 码。若码符号集共有 r 个元素，则所得之码称为 r 元码。
6
3.1 基本概念
二、信源编码的分类
(2) 基本源编码和N次扩展源编码 (3) 无失真编码 和有失真编码
• 信源熵： H ( X ) = 1/4 log4 +3/4 log3/4 = 0. 811 bit / 信源符号
若用二元定长编码 (0,1) 来构造一个即时码：
• 平均码长： • 编码效率：
二元码符号 / 信源符号 L1 1
R H (x) 0.811L bit/code
通信原理课件第3讲 信源编码：信息论部分
H ( X , Y ) H ( X ) H (Y | X ) H (Y ) H ( X | Y ) H(X ) H(X |Y) H (Y ) H (Y | X )
j 1
信源冗余度：
假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存 在记忆，即相互关联，则信源熵可表示为：
在已知一个符号的前提下， 另一个符号所产生的信息熵 联合熵与条件熵的计算：
H (Y ) E{I [ P( y j )]} E[ log P( y j )] P( y j ) log P( y j )
m
两个符号先后到达，这时两个符号 一个符号在没有任何前兆时 n m H ( X | Y ) 两个符号共同产生的信息熵 E{I [ P( xi | y j )]} E[ log P( xi | y j )] P( xi y j ) log P( xi | y j ) 所带来的信息熵 = 带来的信息量肯定大于等于 某个符号带来的 i 1 j 1 n m 在已知这个符号的前提下 有前兆时所带来的信息量。 H (Y | X ) E{I [ P( y j | 信息熵 xi )]} E[+ log P( y j | xi )] P( xi y j ) log P( y j | xi ) i 1 j 1 另一个符号所带来的信息熵 若两个符号相互独立，则等 n m H ( X , Y ) E{I [ P( xi y j )]} E[ log P( xi y j )] P( xi y j ) log P( xi y j ) 号成立，否则大于号成立 i 1 j 1 这三者之间的关系：
x x1
P( x) P( x1
xl
xL
P( xL | xL1
j 1
信源冗余度：
假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存 在记忆，即相互关联，则信源熵可表示为：
在已知一个符号的前提下， 另一个符号所产生的信息熵 联合熵与条件熵的计算：
H (Y ) E{I [ P( y j )]} E[ log P( y j )] P( y j ) log P( y j )
m
两个符号先后到达，这时两个符号 一个符号在没有任何前兆时 n m H ( X | Y ) 两个符号共同产生的信息熵 E{I [ P( xi | y j )]} E[ log P( xi | y j )] P( xi y j ) log P( xi | y j ) 所带来的信息熵 = 带来的信息量肯定大于等于 某个符号带来的 i 1 j 1 n m 在已知这个符号的前提下 有前兆时所带来的信息量。 H (Y | X ) E{I [ P( y j | 信息熵 xi )]} E[+ log P( y j | xi )] P( xi y j ) log P( y j | xi ) i 1 j 1 另一个符号所带来的信息熵 若两个符号相互独立，则等 n m H ( X , Y ) E{I [ P( xi y j )]} E[ log P( xi y j )] P( xi y j ) log P( xi y j ) 号成立，否则大于号成立 i 1 j 1 这三者之间的关系：
x x1
P( x) P( x1
xl
xL
P( xL | xL1
第三章 信源编码-离散无记忆源等长编码
第三章 信源编码——离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。
内容：信源分类，信息速率的计算，编码定理，有效编码方法等。
一、信源及其分类 1． 离散信源和连续信源离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源无记忆源：各ＵＬ彼此统计独立简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ∑=Kk 1Ｐｋ＝１有记忆源：各ＵＬ取值相关。
ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）４．各态历经源：信源输出的随机序列具有各态历经性。
５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。
ｍ为记忆阶数。
６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝１时为简单马尔可夫链。
７．时间离散的连续源：各随机变量ＵＬ取值连续。
８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。
９．混合信源二、离散无记忆源的等长编码离散无记忆源：ＤＭＳＬ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。
对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。
１．单义可译码或唯一可译码：条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤＮ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。
《信源编码》课件
（2）若抽样频率为
= 31
则有
∞
=
=−∞
∞
− = 31
=−∞
′ − 31
例题12-5
∞
= 31
′ − 31
=−∞
（3）接收网络的传输函数2()应设计为
1
2 = 1
0
此时能由()不失真地恢复 。
∞
=
=−∞
∞
− = 5
=−∞
− 5
例题12-4
其频谱图为
例题12-5
【例题12-5】已知某信号 的频谱 如题图（a）所示，将它通过传输函数为1()的滤波器（见题
图（b））后再进行理想抽样。
（1）抽样速率应为多少？
（2）若抽样速率 = 31，试画出已抽样信号()的频谱。
（3）接收网络的传输函数2()应如何设计，才能由()不失真地恢复 ？
例题12-5
解：（1） 通过1 变为 ′ ， ′ 与()相乘，所以采样的对象是 ′ 。欲求采样速率，首
先须求得 ′ 的最高频率。
可见， 通过1()后的最高频率仍为1，故抽样频率为 ≥ 21。
1
= 400时
∞
= 400
其频谱图为
=−∞
− 400
例题12-4
【例题12-4】对基带信号 = 2000 + 24000进行理想抽样，为了在接收端能不失真地从已
抽样信号()中恢复 。
（1）抽样间隔应如何பைடு நூலகம்择？
（2）若抽样间隔取为0.2，试画出已抽样信号的频谱图。
0.25
= 31
则有
∞
=
=−∞
∞
− = 31
=−∞
′ − 31
例题12-5
∞
= 31
′ − 31
=−∞
（3）接收网络的传输函数2()应设计为
1
2 = 1
0
此时能由()不失真地恢复 。
∞
=
=−∞
∞
− = 5
=−∞
− 5
例题12-4
其频谱图为
例题12-5
【例题12-5】已知某信号 的频谱 如题图（a）所示，将它通过传输函数为1()的滤波器（见题
图（b））后再进行理想抽样。
（1）抽样速率应为多少？
（2）若抽样速率 = 31，试画出已抽样信号()的频谱。
（3）接收网络的传输函数2()应如何设计，才能由()不失真地恢复 ？
例题12-5
解：（1） 通过1 变为 ′ ， ′ 与()相乘，所以采样的对象是 ′ 。欲求采样速率，首
先须求得 ′ 的最高频率。
可见， 通过1()后的最高频率仍为1，故抽样频率为 ≥ 21。
1
= 400时
∞
= 400
其频谱图为
=−∞
− 400
例题12-4
【例题12-4】对基带信号 = 2000 + 24000进行理想抽样，为了在接收端能不失真地从已
抽样信号()中恢复 。
（1）抽样间隔应如何பைடு நூலகம்择？
（2）若抽样间隔取为0.2，试画出已抽样信号的频谱图。
0.25
信息论与编码课件第三章
入侵检测技术
利用信息论中的信号分析原理，检 测网络中的异常流量和行为，及时 发现和防范网络攻击。
THANKS FOR WATCHING
感谢您的观看
解码卷积码的方法包括最大似然解码、维特比解 码等，其中维特比解码算法具有较低的复杂度。
03 第三章 加密编码
加密编码的基本概念
加密编码是信息隐藏的一种形式， 通过将信息转化为难以理解的形 式，保护信息的机密性和完整性。
加密编码的基本要素包括明文、 密文、加密算法和解密算法。
加密编码的目标是确保只有授权 用户能够解密和读取密文，而未 经授权的用户无法获取明文信息。
离散无记忆信源的熵计算公式为$H(X) = - sum p(x) log_2 p(x)$，其中 $p(x)$表示输出符号$x$的概率。
离散无记忆信源的熵
离散无记忆信源的熵是用来度量其信 息量的一个重要参数，它表示在给定 概率分布下，输出符号所包含的平均 信息量。
离散有记忆信源的熵
离散有记忆信源的定义
信息论与编码课件第三章
contents
目录
• 第三章 信源编码 • 第三章 信道编码 • 第三章 加密编码 • 第三章 信息论与编码的应用
01 第三章 信源编码
信源编码的基本概念
01
信源编码的定义
信源编码是对信源输出的符号序列进行变换，使其满足某种特定规则的
过程。
02
信源编码的目的
信源编码的主要目的是在保证通信质量的前提下，尽可能地压缩信源输
对称密钥密码体制
对称密钥密码体制是指加密和 解密使用相同密钥的密码体制。
对称密钥密码体制的优点是加 密和解密速度快，适合于大量 数据的加密。
常见的对称密钥密码体制包括 AES（高级加密标准）和DES （数据加密标准）。
利用信息论中的信号分析原理，检 测网络中的异常流量和行为，及时 发现和防范网络攻击。
THANKS FOR WATCHING
感谢您的观看
解码卷积码的方法包括最大似然解码、维特比解 码等，其中维特比解码算法具有较低的复杂度。
03 第三章 加密编码
加密编码的基本概念
加密编码是信息隐藏的一种形式， 通过将信息转化为难以理解的形 式，保护信息的机密性和完整性。
加密编码的基本要素包括明文、 密文、加密算法和解密算法。
加密编码的目标是确保只有授权 用户能够解密和读取密文，而未 经授权的用户无法获取明文信息。
离散无记忆信源的熵计算公式为$H(X) = - sum p(x) log_2 p(x)$，其中 $p(x)$表示输出符号$x$的概率。
离散无记忆信源的熵
离散无记忆信源的熵是用来度量其信 息量的一个重要参数，它表示在给定 概率分布下，输出符号所包含的平均 信息量。
离散有记忆信源的熵
离散有记忆信源的定义
信息论与编码课件第三章
contents
目录
• 第三章 信源编码 • 第三章 信道编码 • 第三章 加密编码 • 第三章 信息论与编码的应用
01 第三章 信源编码
信源编码的基本概念
01
信源编码的定义
信源编码是对信源输出的符号序列进行变换，使其满足某种特定规则的
过程。
02
信源编码的目的
信源编码的主要目的是在保证通信质量的前提下，尽可能地压缩信源输
对称密钥密码体制
对称密钥密码体制是指加密和 解密使用相同密钥的密码体制。
对称密钥密码体制的优点是加 密和解密速度快，适合于大量 数据的加密。
常见的对称密钥密码体制包括 AES（高级加密标准）和DES （数据加密标准）。
第3章-信源编码理论PPT课件
因为实际应用中使信号恢复的低通滤波器不可能是理想的，如 图4所示。因此为了防止减弱因幅度和相位不理想造成的失真， 通常选择抽样速率略大于奈奎斯特速率。
H(f )
0
f
理想特性
0
Fm
2021/3/12
f
( f )
图4 收端低通滤波器频率特性
理想特性 9
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很 窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性
2
F
(
)
2
Ts
(
n
ns
)
1 Ts
F (
n
ns )
上式表明，已抽样信号频谱 Fs ()是低通信号频谱 F ( ) 以抽样
速率为周期进行延拓形成的周期性频谱，它包含了F ( ) 的全部
信2息021。/3/1图2 3所示为抽样过程的波形及其频谱。
7
f (t)
F ()
t 0 (a)
Ts (t )
2021/3/12
S Nq
dB
20lgN20lg2l
6l
19
(3) 非均匀量化
① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。
② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。
f (t)
fs (t)
fs (t) 低通滤波器 f (t)
Ts (t)
2021/3/12
图2 抽样与恢复
6
假设 f (t)、Ts (t)和 f s (t ) 的频谱分别是 F()、s() 和 Fs ()
H(f )
0
f
理想特性
0
Fm
2021/3/12
f
( f )
图4 收端低通滤波器频率特性
理想特性 9
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很 窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性
2
F
(
)
2
Ts
(
n
ns
)
1 Ts
F (
n
ns )
上式表明，已抽样信号频谱 Fs ()是低通信号频谱 F ( ) 以抽样
速率为周期进行延拓形成的周期性频谱，它包含了F ( ) 的全部
信2息021。/3/1图2 3所示为抽样过程的波形及其频谱。
7
f (t)
F ()
t 0 (a)
Ts (t )
2021/3/12
S Nq
dB
20lgN20lg2l
6l
19
(3) 非均匀量化
① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。
② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。
f (t)
fs (t)
fs (t) 低通滤波器 f (t)
Ts (t)
2021/3/12
图2 抽样与恢复
6
假设 f (t)、Ts (t)和 f s (t ) 的频谱分别是 F()、s() 和 Fs ()
3 信源编码
x2 x3 x4 x5 x6 x7 x8 X x1 P( X ) 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
试对该信源编二进制哈夫曼码。
x1
编码过程
0 .4
0.6 0.37 0.23
1
0 0
0
1
1
x2 0.18
x3 x4
0.13
其码字平均长度 K 满足： 其码字平均信息率 R 满足：
LH ( X ) LH ( X ) 1 K log m log m
H(X ) R H(X )
5.1.1 码字唯一可译的条件
5.1.2 香农编码
5.1.3 费诺编码 5.1.4 赫夫曼编码 5.1.5 游程编码
5.1.6 冗余位编码
对信源进行缩减时，两个概率最小的符号合 并后的概率与其它信源符号的概率相同时，这 两者在缩减信源中进行概率排序，其位置放置 次序是可以任意的，故会得到不同的哈夫曼码。
此时将影响码字的长度，一般将合并的概率放
在上面，这样可获得较小的码方差。 如下面的例子
例 设有离散无记忆信源
X x1 x2 x3 x4 x5 P( X ) 0.4 0.2 0.2 0.1 0.1
5.1.1 码字唯一可译的条件 5.1.2 香农编码 5.1.3 费诺编码 5.1.4 赫夫曼编码
5.1.5 游程编码
5.1.6 冗余位编码
5.1.5 游程编码
前面的几种编码方法主要时针对无记忆信源，对有记忆信 源，这些编码方法的效率并不高，特别是对二元相关信源，需 要一些其它的方法。游程编码就是这样的方法，对相关信源的 编码更有效。 游程：指数字序列中连续出现相同符号的一段。在二元信源 中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为 此游程的长度，同样，也有‘1’游程。 游程序列：用交替出现的‘0’游程、‘1’游程的长度， 来表示任意二元序列而产生的一个新序列。它和二元序列是一 个一一对应的变换。
试对该信源编二进制哈夫曼码。
x1
编码过程
0 .4
0.6 0.37 0.23
1
0 0
0
1
1
x2 0.18
x3 x4
0.13
其码字平均长度 K 满足： 其码字平均信息率 R 满足：
LH ( X ) LH ( X ) 1 K log m log m
H(X ) R H(X )
5.1.1 码字唯一可译的条件
5.1.2 香农编码
5.1.3 费诺编码 5.1.4 赫夫曼编码 5.1.5 游程编码
5.1.6 冗余位编码
对信源进行缩减时，两个概率最小的符号合 并后的概率与其它信源符号的概率相同时，这 两者在缩减信源中进行概率排序，其位置放置 次序是可以任意的，故会得到不同的哈夫曼码。
此时将影响码字的长度，一般将合并的概率放
在上面，这样可获得较小的码方差。 如下面的例子
例 设有离散无记忆信源
X x1 x2 x3 x4 x5 P( X ) 0.4 0.2 0.2 0.1 0.1
5.1.1 码字唯一可译的条件 5.1.2 香农编码 5.1.3 费诺编码 5.1.4 赫夫曼编码
5.1.5 游程编码
5.1.6 冗余位编码
5.1.5 游程编码
前面的几种编码方法主要时针对无记忆信源，对有记忆信 源，这些编码方法的效率并不高，特别是对二元相关信源，需 要一些其它的方法。游程编码就是这样的方法，对相关信源的 编码更有效。 游程：指数字序列中连续出现相同符号的一段。在二元信源 中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为 此游程的长度，同样，也有‘1’游程。 游程序列：用交替出现的‘0’游程、‘1’游程的长度， 来表示任意二元序列而产生的一个新序列。它和二元序列是一 个一一对应的变换。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a a
因此量化信噪比为
S 2 2 N Nq 12
2 N2 12
如果以分贝为单位，则量化信噪比为
S N q
l 20 lg N 20 lg 2 6l dB
(3) 非均匀量化 ① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。 ② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。 ③ 量化信噪比： SNR非均匀 (dB) SNR均匀 (dB) QdB
(b) 压扩特性
设压缩前的信号为 x ，压缩后的信号为 y ，则压缩特性可写
1 为 y g (x) ，扩张是压缩的反变换，故为 x g ( y)。
输出 输入
40
B2
40
30
20
压缩特性
30
扩张特性0 A1
20
10
30
40
输入
0
10
20
30
40
输出
A1 B1 B1
抽样是模拟信号数字化的第一步，它 是把时间上连续的模拟信号变成一系 列时间上离散的抽样值的过程。已抽 样信号在时间上是离散的，但其幅值 仍是连续的，因此还属于模拟信号的 范畴。
(2) 低通型抽样定理 ① 定理内容 一个频带限制在 Fm 赫以内的时间连续函数 f (t ) ，如果以 Ts ≤
1 2Fm 的间隔对其进行等间隔抽样，则所得的样值可以完全确定
t
s ( )
2 s
s
3Ts2Ts Ts 0 Ts 2Ts 3Ts
(c)
0
s
2 s
(d)
f s (t )
t
Fs ( )
s m 0 m s
3Ts 2TsTs 0 Ts 2Ts 3Ts
(e)
2 s
2 s
(f)
图3
抽样过程的波形及其频谱（理想抽样）
a ( i 1)
1 3 N 3 ( )( ) 12 24a i 1 2 a
式中，E 是求统计平均；xi a i ；qi a i 2 。
因为量化级数 N 2a ，所以
2 Nq 12
信号功率为
1 2 2 S E[( x)2 ] x 2 f ( x)dx x 2 dx N a a 2a 12
由图3可见，当s 2m ，即抽样间隔 Ts 1 2Fm时，已抽样信号
频谱无混叠现象。因此只要让信号通过一个截止频率为 m 赫的 理想低通滤波器，就可以从已抽样信号中无失真的恢复原始模拟 信号。
③ 实际抽样中应注意的问题 a. 抽样前，加截止频率为 Fm的低通滤波器，滤除 Fm 赫以上的 频谱成分，从而消除混叠现象和避免由此引起的失真。 b. 抽样时，抽样速率 f s 要比 2Fm 大，一般取 f s (2.5 : 3) Fm 。 因为实际应用中使信号恢复的低通滤波器不可能是理想的，如 图4所示。因此为了防止减弱因幅度和相位不理想造成的失真， 通常选择抽样速率略大于奈奎斯特速率。
Q 式中， dB 20 lg( dy ) 表示信噪比的改善程度。 dx
④ 非均匀量化的实现——压扩技术 (a) 压扩思想：压缩是将经量化的样值信号先进行非线性变换， 使原来的输入信号的动态范围变小，压缩器对小信号增益大，而 对大信号增益小，再将压缩器输出的信号进行均匀量化，从而使 小信号的量化信噪比得到改善，收端用扩张器恢复原抽样信号。
S ( )
Ts
(c)
t
2
2m 0 2m
(d)
2
Fs ( )
f s (t )
t
(e)
2
2m 0 2m
(f)
2
图5 实际抽样的频谱变换（自然抽样、曲顶抽样）
(3) 带通型抽样定理
带通信号的频带限制在 ( f L , f H ) ，其中 f L 为最低频率分量，f H 为最高频率分量，其带宽为 B f H f L 。任何带通信号都可 以通过混频将其频谱转换成低通型的基带信号。因而，原则上 说，只要抽样频率不低于带通信号带宽 B 的两倍，即抽样间
q2
x1
q1
x ( nTs )
量化器
xq ( nTs )
图10 均匀量化过程示意图
③ 量化信噪比：
S N q
l 20 lg N 20 lg 2 6l dB
均匀量化的量化信噪比随量化级数的增加而提高，或者说编码 位数每增加一位，量化信噪比可提高约6dB。但量化级数的增 加，编码位数的增多，会使编码信号的带宽增大。因此量化级 数要由量化信噪比和编码信号带宽的要求共同确定。 ④ 缺点： 小信号时量化信噪比小，输入信号的动态范围（满足信噪比要 求的输入信号的取值范围）受限。
2 a
量化噪声功率为
N q E[( x xq ) ] ( x xq ) 2 f ( x) dx
a
i 1 N
N
xi
xi 1
( x qi ) 2 f ( x ) dx ( x a i 2 1 ) dx 2 2a
i 1 N
a i
n
F ( n )
s
上式表明，已抽样信号频谱 Fs ( )是低通信号频谱 F ( )以抽样 信息。图3所示为抽样过程的波形及其频谱。
速率为周期进行延拓形成的周期性频谱，它包含了 F ( )的全部
f (t )
t
F ( )
0 (a)
m 0 m
(b)
Ts (t )
(4) 脉冲振幅调制信号
① 脉冲调制的定义
f (t )
模拟基带信号
t
以时间上离散的脉冲串
作为载波的调制技术。
PAM信号
脉冲高度在变化
t
② 脉冲调制的分类
脉冲幅度调制（PAM）
PDM信号
脉冲位置不变宽度在变化
t
脉冲宽度调制（PDM）
脉冲位置调制（PPM）
PPM信号 脉冲宽度不变位置在变化
t
③ 脉冲调制的波形
扩张器输出信号
压缩器输入信号
图11 压缩扩张特性
(c) 对数压缩：广泛采用的对数压缩律是 律和 A 律 。 归一化 律特性：（美国、日本）
y ln(1 x) 0 x 1 ln(1 )
式中，y ——归一化压缩器输出电压 x ——归一化压缩器输入电压 ——压缩参数，表示压缩程度 归一化 A律特性：（中国、欧洲）
因为
f s (t ) f (t ) Ts (t )
所以，按频域卷积定理可得
1 F ( ) s ( ) Fs ( ) 2 1 2 ( ns ) F ( ) 2 Ts n 1 Ts
f H (t )
f (t )
T (t )
s
f s (t )
脉冲形 成电路
f H (t )
Ts
t
图7 平顶抽样框图
图8 平顶抽样波形
3. 量化理论 (1) 量化的基本概念
① 定义：幅值上的离散化，即利用预先规定的有限个电平来表示 模拟抽样值的过程。
② 分类：按量化间隔分有均匀量化和非均匀量化； 按量化方法分有四舍五入法、舍去法、补足法及取中间
2 Nq 12
均匀量化噪声功率仅与量化间隔有关。当量化间隔确定时，或者 说当量化范围和量化级数一旦确定，量化噪声功率为一常量。
q7 x6
信号的实际值
q6 x5 q5
量化误差
信号的量化值
x (6Ts )
xq (6Ts )
x4
q4
x (t )
x3
q3
Ts
2Ts
3Ts
4Ts
5Ts
6Ts
7Ts
t
x2
H( f )
理想特性 理想特性 0 0 f
Fm
f
( f )
图4 收端低通滤波器频率特性
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很
窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性 单位冲激脉冲是不可能实现的。
F ( )
f (t )
t
(a)
m 0 m
(b)
s (t ) A
1 Ax x 0 1 ln A A y 1 1 ln Ax x 1 1 ln A A
式中， x、y 分别为归一化输入输出电压， 为压缩参量。 A
y
1.0 1.0
y
0.8
1
0.6
00
0 00 1
0.8
无
A
0.6
压
2
原信号。 ② 定理证明 考查模拟信号的抽样，它可看成是模拟信号与周期为 Ts 的单位冲 激脉冲序列的乘积，如图2所示。
f (t )
f s (t )
f s (t )
低通滤波器
f (t )
T (t )
s
图2 抽样与恢复
假设 f (t )、Ts (t )和 f s (t )的频谱分别是 F ()、 () 和 Fs ( ) s
第3章 信源编码理论
一 信源编码的基本原理 二 脉冲编码调制 三 自适应差分脉冲编码调制 四 增量调制 五 语音压缩编码简介
一 信源编码的基本原理
1. 信源编码的基本概念 2. 抽样定理 3. 量化理论
4. 编码理论
1. 信源编码的基本概念 (1) 定义 信源编码就是将信源输出的信号进行变换，使之变成合适的数
因此量化信噪比为
S 2 2 N Nq 12
2 N2 12
如果以分贝为单位，则量化信噪比为
S N q
l 20 lg N 20 lg 2 6l dB
(3) 非均匀量化 ① 定义： 根据信号的不同区间来确定量化间隔的。对于信号取 值小的区间，量化间隔小；对信号取值大的区间，量 化间隔大。 ② 优点： 与均匀量化相比，在输入信号不变的前提下，由于小 信号时量化间隔变小，其相应的量化噪声功率也减小， 从而使小信号时的量化信噪比增大，即改善了小信号 时的量化信噪比，使输入信号的动态范围增大。 ③ 量化信噪比： SNR非均匀 (dB) SNR均匀 (dB) QdB
(b) 压扩特性
设压缩前的信号为 x ，压缩后的信号为 y ，则压缩特性可写
1 为 y g (x) ，扩张是压缩的反变换，故为 x g ( y)。
输出 输入
40
B2
40
30
20
压缩特性
30
扩张特性0 A1
20
10
30
40
输入
0
10
20
30
40
输出
A1 B1 B1
抽样是模拟信号数字化的第一步，它 是把时间上连续的模拟信号变成一系 列时间上离散的抽样值的过程。已抽 样信号在时间上是离散的，但其幅值 仍是连续的，因此还属于模拟信号的 范畴。
(2) 低通型抽样定理 ① 定理内容 一个频带限制在 Fm 赫以内的时间连续函数 f (t ) ，如果以 Ts ≤
1 2Fm 的间隔对其进行等间隔抽样，则所得的样值可以完全确定
t
s ( )
2 s
s
3Ts2Ts Ts 0 Ts 2Ts 3Ts
(c)
0
s
2 s
(d)
f s (t )
t
Fs ( )
s m 0 m s
3Ts 2TsTs 0 Ts 2Ts 3Ts
(e)
2 s
2 s
(f)
图3
抽样过程的波形及其频谱（理想抽样）
a ( i 1)
1 3 N 3 ( )( ) 12 24a i 1 2 a
式中，E 是求统计平均；xi a i ；qi a i 2 。
因为量化级数 N 2a ，所以
2 Nq 12
信号功率为
1 2 2 S E[( x)2 ] x 2 f ( x)dx x 2 dx N a a 2a 12
由图3可见，当s 2m ，即抽样间隔 Ts 1 2Fm时，已抽样信号
频谱无混叠现象。因此只要让信号通过一个截止频率为 m 赫的 理想低通滤波器，就可以从已抽样信号中无失真的恢复原始模拟 信号。
③ 实际抽样中应注意的问题 a. 抽样前，加截止频率为 Fm的低通滤波器，滤除 Fm 赫以上的 频谱成分，从而消除混叠现象和避免由此引起的失真。 b. 抽样时，抽样速率 f s 要比 2Fm 大，一般取 f s (2.5 : 3) Fm 。 因为实际应用中使信号恢复的低通滤波器不可能是理想的，如 图4所示。因此为了防止减弱因幅度和相位不理想造成的失真， 通常选择抽样速率略大于奈奎斯特速率。
Q 式中， dB 20 lg( dy ) 表示信噪比的改善程度。 dx
④ 非均匀量化的实现——压扩技术 (a) 压扩思想：压缩是将经量化的样值信号先进行非线性变换， 使原来的输入信号的动态范围变小，压缩器对小信号增益大，而 对大信号增益小，再将压缩器输出的信号进行均匀量化，从而使 小信号的量化信噪比得到改善，收端用扩张器恢复原抽样信号。
S ( )
Ts
(c)
t
2
2m 0 2m
(d)
2
Fs ( )
f s (t )
t
(e)
2
2m 0 2m
(f)
2
图5 实际抽样的频谱变换（自然抽样、曲顶抽样）
(3) 带通型抽样定理
带通信号的频带限制在 ( f L , f H ) ，其中 f L 为最低频率分量，f H 为最高频率分量，其带宽为 B f H f L 。任何带通信号都可 以通过混频将其频谱转换成低通型的基带信号。因而，原则上 说，只要抽样频率不低于带通信号带宽 B 的两倍，即抽样间
q2
x1
q1
x ( nTs )
量化器
xq ( nTs )
图10 均匀量化过程示意图
③ 量化信噪比：
S N q
l 20 lg N 20 lg 2 6l dB
均匀量化的量化信噪比随量化级数的增加而提高，或者说编码 位数每增加一位，量化信噪比可提高约6dB。但量化级数的增 加，编码位数的增多，会使编码信号的带宽增大。因此量化级 数要由量化信噪比和编码信号带宽的要求共同确定。 ④ 缺点： 小信号时量化信噪比小，输入信号的动态范围（满足信噪比要 求的输入信号的取值范围）受限。
2 a
量化噪声功率为
N q E[( x xq ) ] ( x xq ) 2 f ( x) dx
a
i 1 N
N
xi
xi 1
( x qi ) 2 f ( x ) dx ( x a i 2 1 ) dx 2 2a
i 1 N
a i
n
F ( n )
s
上式表明，已抽样信号频谱 Fs ( )是低通信号频谱 F ( )以抽样 信息。图3所示为抽样过程的波形及其频谱。
速率为周期进行延拓形成的周期性频谱，它包含了 F ( )的全部
f (t )
t
F ( )
0 (a)
m 0 m
(b)
Ts (t )
(4) 脉冲振幅调制信号
① 脉冲调制的定义
f (t )
模拟基带信号
t
以时间上离散的脉冲串
作为载波的调制技术。
PAM信号
脉冲高度在变化
t
② 脉冲调制的分类
脉冲幅度调制（PAM）
PDM信号
脉冲位置不变宽度在变化
t
脉冲宽度调制（PDM）
脉冲位置调制（PPM）
PPM信号 脉冲宽度不变位置在变化
t
③ 脉冲调制的波形
扩张器输出信号
压缩器输入信号
图11 压缩扩张特性
(c) 对数压缩：广泛采用的对数压缩律是 律和 A 律 。 归一化 律特性：（美国、日本）
y ln(1 x) 0 x 1 ln(1 )
式中，y ——归一化压缩器输出电压 x ——归一化压缩器输入电压 ——压缩参数，表示压缩程度 归一化 A律特性：（中国、欧洲）
因为
f s (t ) f (t ) Ts (t )
所以，按频域卷积定理可得
1 F ( ) s ( ) Fs ( ) 2 1 2 ( ns ) F ( ) 2 Ts n 1 Ts
f H (t )
f (t )
T (t )
s
f s (t )
脉冲形 成电路
f H (t )
Ts
t
图7 平顶抽样框图
图8 平顶抽样波形
3. 量化理论 (1) 量化的基本概念
① 定义：幅值上的离散化，即利用预先规定的有限个电平来表示 模拟抽样值的过程。
② 分类：按量化间隔分有均匀量化和非均匀量化； 按量化方法分有四舍五入法、舍去法、补足法及取中间
2 Nq 12
均匀量化噪声功率仅与量化间隔有关。当量化间隔确定时，或者 说当量化范围和量化级数一旦确定，量化噪声功率为一常量。
q7 x6
信号的实际值
q6 x5 q5
量化误差
信号的量化值
x (6Ts )
xq (6Ts )
x4
q4
x (t )
x3
q3
Ts
2Ts
3Ts
4Ts
5Ts
6Ts
7Ts
t
x2
H( f )
理想特性 理想特性 0 0 f
Fm
f
( f )
图4 收端低通滤波器频率特性
c. 抽样时，采用的抽样脉冲序列一般都是高度有限，宽度很
窄的脉冲序列。因为在实际应用中，理想抽样所需的周期性 单位冲激脉冲是不可能实现的。
F ( )
f (t )
t
(a)
m 0 m
(b)
s (t ) A
1 Ax x 0 1 ln A A y 1 1 ln Ax x 1 1 ln A A
式中， x、y 分别为归一化输入输出电压， 为压缩参量。 A
y
1.0 1.0
y
0.8
1
0.6
00
0 00 1
0.8
无
A
0.6
压
2
原信号。 ② 定理证明 考查模拟信号的抽样，它可看成是模拟信号与周期为 Ts 的单位冲 激脉冲序列的乘积，如图2所示。
f (t )
f s (t )
f s (t )
低通滤波器
f (t )
T (t )
s
图2 抽样与恢复
假设 f (t )、Ts (t )和 f s (t )的频谱分别是 F ()、 () 和 Fs ( ) s
第3章 信源编码理论
一 信源编码的基本原理 二 脉冲编码调制 三 自适应差分脉冲编码调制 四 增量调制 五 语音压缩编码简介
一 信源编码的基本原理
1. 信源编码的基本概念 2. 抽样定理 3. 量化理论
4. 编码理论
1. 信源编码的基本概念 (1) 定义 信源编码就是将信源输出的信号进行变换，使之变成合适的数