第7章 信源编码 - 打印版
论信源编码与信道编码

论信源编码与信道编码摘要:如今社会已经步入信息时代,在各种信息技术中,信息的传输及通信起着支撑作用。
而对于信息的传输,数字通信已经成为重要的手段。
而在数字通信系统中,信源编码和信道编码在信息的传送过程中起到了至关重要的作用,这要求我们对信源编码和信道编码的了解和认识有更高的层次。
关键词:信息传输数字通信信源编码信道编码正文:一.信源编码和信道编码的发展历程信源编码:最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。
但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z 编码,这三种都是无损编码,另外还有一些有损的编码方式。
信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。
相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。
信道编码:1948年Shannon极限理论→1950年Hamming码→1955年Elias卷积码→1960年 BCH码、RS码、PGZ译码算法→1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码→1965年B-M译码算法→1967年RRNS码、Viterbi算法→1972年Chase氏译码算法→1974年Bahl MAP算法→1977年IMaiBCM分组编码调制→1978年Wolf 格状分组码→1986年Padovani恒包络相位/频率编码调制→1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM→1989年Hagenauer SOVA算法→1990年Koch Max-Lg-MAP算法→1993年Berrou Turbo码→1994年Pyndiah 乘积码准最佳译码→1995年 Robertson Log-MAP算法→1996年 Hagenauer TurboBCH码→1996MACKay-Neal重新发掘出LDPC码→1997年 Nick Turbo Hamming码→1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码→1999年删除型Turbo码虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的Turbo Hamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。
现代通信原理指导书第七章信源编码习题详解

第七章 信源编码7-1已知某地天气预报状态分为六种:晴天、多云、阴天、小雨、中雨、大雨。
① 若六种状态等概出现,求每种消息的平均信息量及等长二进制编码的码长N 。
② 若六种状态出现的概率为:晴天—;多云—;阴天—;小雨—;中雨—;大雨—。
试计算消息的平均信息量,若按Huffman 码进行最佳编码,试求各状态编码及平均码长N 。
解: ①每种状态出现的概率为6,...,1,61==i P i因此消息的平均信息量为∑=-===6122/58.26log 1log i ii bit P P I 消息 等长二进制编码的码长N =[][]316log 1log 22=+=+L 。
②各种状态出现的概率如题所给,则消息的平均信息量为6212222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i iI P P bit -== = ------ ≈ ∑消息Huffman 编码树如下图所示:由此可以得到各状态编码为:晴—0,多云—10,阴天—110,小雨—1110,中雨—11110, 大雨—11111。
平均码长为:6110.620.2230.140.0650.01350.0071.68i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯ =∑—7-2某一离散无记忆信源(DMS )由8个字母(1,2,,8)i X i =⋅⋅⋅组成,设每个字母出现的概率分别为:,,,,,,,。
试求:① Huffman 编码时产生的8个不等长码字; ② 平均二进制编码长度N ; ③ 信源的熵,并与N 比较。
解:①采用冒泡法画出Huffman 编码树如下图所示可以得到按概率从大到小8个不等长码字依次为:0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X②平均二进制编码长度为8120.2520.2030.1530.1240.140.0840.0540.052.83i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯ =∑ ③信源的熵∑=≈-=81279.2log)(i i i P P x H 。
樊昌信通信原理信源编码PPT课件

信源编码
通信原理(第7版)
樊昌信 曹丽娜 编著
第1页/共95页
本章内容:
第10章 信源编码
抽样 — 低通信号和带通信号
量化 — 标量(均匀/非均匀)和矢量
脉冲编码调制 — PCM、 DPCM 、ADPCM
增量调制 — ∆M
时分复用 — TDM、准同步数字体系(PDH)
压缩编码 — 语音、图像和数字数据
(2)段落码: C2 C3 C4
= 111(第⑧段)
(3)段内码: C5 C6 C7 C8 = 0011
IW6
IW7 1270
IW5
IW4
PCM码组 C1~ C8 =1 111 0011
第53页/共95页
IS= +1270
Is > IWi → 1
Is ≤ IWi → 0
IW3
IW2
IW1
第54页/共95页
第16页/共95页
§10.3
模拟脉冲调制
第17页/共95页
PAM、 PDM、PPM
第18页/共95页
实际抽样 —— 自然抽样的PAM
m(t)
ms (t )
ms (t ) m(t ) s (t )
Ms ( f ) M ( f ) S( f )
---自然抽样
对比:
1
Ms( f )
若 fs<2 fH
fH fs
此时,不能无失真重建原信号。 因此,抽样速率 必须满足:
这就从 频域角度 证明了 低通抽样定理。
第10页/共95页
重建原信号 :
低通滤波器HL( f )
第11页/共95页
m (t )
信源编码和信源解码

信源编码和信源解码字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码,信源编码标准是信息领域的基础性标准。
无论是数字电视、激光视盘机,还是多媒体通信和各种视听消费电子产品,都需要音视频信源编码这个基础性标准。
大家用电脑打字一定很熟悉,当你用WORD编辑软件把文章(DOC文件)写完,存好盘后,再用PCTOOLS工具软件把你的DOC文件打开,你一定能看到你想象不到的东西,内容全是一些16进制的数字,这些数字叫代码,它与文章中的字符一一对应。
现在我们换一种方法,用小画板软件来写同样内容的文章。
你又会发现,用小画板软件写出来的BMP文件,占的内存(文件容量)是DOC文件的好几十倍,你知道这是为什么?原来WORD编辑软件使用的是字库和代码技术,而小画板软件使用的是点阵技术,即文字是由一些与坐标位置决定的点来组成,没有使用字库,因此,两者在工作效率上相差几十倍。
[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿]目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术,而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。
实际上这种代码传输技术在图文电视中很早就已用过,在图文电视机中一般都安装有一个带有图文字库的译码器,对方发送图文信号的时候只需发送图文代码信息,这样可以大大地提高数据传输效率。
对于电视机,显示内容是活动图像信息,它哪来的“字库”或“图库”呢?这个就是电视图像特有的“相关性”技术问题。
原来在电视图像信号中,90%以上的图像信息是互相相关的,我们在模拟电视机中使用的Y/C(亮度信号/彩色信号)分离技术,就是利用两行图像信号的相关性,来进行Y/C分离。
如果它们之间内容不相关,Y/C信号则无法进行分离。
全数字信号电视也一样,如果图像内容不相关,则图像信号压缩也就要免谈。
通信原理PPT第7章详解

限失真信源 编码的方法
2、改造信源方式
7.9连续信源的限失真编码
7.9.1 数字化基本原理
模拟信号数字化从原理上看一般要经过下 列三个基本步骤:取样、量化与编码,它 们分别完成对模拟信号横向时间轴的离散化、 纵向取值域的离散化,以及将已被离散化的 数值编成对应0,1序列的码组,三个步骤 中量化是属于典型的限失真编码
按照消息序列信源是否有记忆,离散消息序列信源 又可以分为离散无记忆序列信源和离散有记忆序列信源。 所谓无记忆,就是指前后符号相互统计独立。否则,称 为有记忆。
2.2.1 消息序列信源的统计描述
(1) 消息序列信源的一般数学描述:
如果用: L X 符号的个数 每个符号的取值范围(集合)
则消息序列信源的取值范围:
对于互信息有下列主要基本数学性质:
I(X ;Y ); H (X ( )H H Y ,)X I( X Y ) H (H X )Y ( X |Y ) ) I( X Y;) H) ( Y ) H (Y | (X
全局看
图7.4.1各类熵与互信息的关系
7.5无失真离散信源编码定理
两曲线的差异,正反映了该信源编码性能的优
6. R(D)函数是限失真下信源编码应达到的理论极
限,所以它是限失真信源编码的理论基础与依
7.8限失真信源编码定理 与限失真信源编码
离散、无记忆、限失真信源编码定理
若有一个离散、无记忆、平稳信源,其信息率失真函 数为R(D),则当通信系统中实际传送信息率R>R(D)时, 只要信源序列L足够长( L→∞ ),一定存在一种编码 方式C′使其译码以后的失真小于或等于D+ε,且ε为任 意小的正整数(ε→0)。反之,若R<R(D)则无论用什么 编码方式其译码失真必大于D 。
信源编码

信源编码的基本思想
信源编码提高信息传输有效性的基本思想, 就是针对信源输出符号序列的统计特性,通 过概率匹配的编码方法,将出现概率大的信 源符号尽可能编为短码,从而使信源输出的 符号序列变换为最短的码字序列。
二、编码定义
1、非奇异码和奇异码 2、等长码和变长码 3、单义码和非单义码 4、非续长码 5、码树 6、码字平均长度 7、编码效率
在进行编码时,为了得到码方差最小的码,应使合 并的信源符号位于缩减信源序列尽可能高的位置上, 以减少再次合并的次数,充分利用短码;
码方差例子
设离散无记忆信源如下,分别按如下两种方 式编码,分析哪种编码更好。
XP
x1 0.4
x2 0.2
x3 0.2
x4 0.1
0x.51
Huffman编码1
信源符号
例子
已知信源符号集合的概率分布为 X {x1, x2, x3, x4}
P(X ) {1 , 1 , 1 , 1}
则 H(X) = 1.75 bits/符号
2488
如采用 2bit 等长编码(如x1—>00, x2—>01, x3—>10, x4—>11),则 L = 2, η= 1.75/(2*log2) = 0.875;
例: C1 = (1, 01, 00) 是单义码,如码字序列 10001101只可唯一划分为1、00、01、1、 01; C2 = (0, 10, 01) 为非单义码,如序列01001 可划分为0、10、01或01、0、01。
非续长码
设 Ci={xi1,xi2,…,xim} 是码 C 中的任一码字,而其他码字 Ck={xk1,xk2,…,xkj} (j < m) 都不是码字 Ci 的前缀,则称此码 为非续长码,也称为即时码。
信源编码ppt课件

因为 K K L H ( X ) , L log m
所以 R log m
当K达到极限值 H ( X ) 时,编码后的信息传输率 log m
HUST --- Basis for Information Theory
信源编码(主要内容)
信源编码定理
信源编码概念 香农第一定理(变长编码) 香农第三定理
信源编码方法
离散信源编码 连续信源编码* 相关信源编码* 变换编码*
1
HUST --- Basis for Information Theory
1、克拉夫特不等式
信源符号数、码符号数和码字长度之间应满 足什么条件,才能构成即时码?
定 理 设 信 源 符 号 集 X (x1, x2, xn ) , 码 符 号 集 为 Y ( y1, y2, ym ) , 对 信 源 进 行 编 码 , 相 应 的 码 字 为 W (W1,W2, Wn ) ,其分别对应的码长为 k1, k2, kn ,则即时 码存在的充要条件是
HUST --- Basis for Information Theory
3、平均码长
定义 设信源
X P
p
x1
x1
x2
p x2
xn
p xn
编码后的码字分别为W1 ,W2,…,Wn,相应 的码长分别为k1,k2,…,kn。因为是唯一可
译码,信源符号xi和码字Wi一一对应,则平均 码长为
n
K = p(xi )ki
i 1
6
HUST --- Basis for Information Theory
4、信息传输率与信息传输速率
信源编码-北邮信息论课件

信源编码贺志强信源编码:将信源符号序列按一定的数学规律映射成由码符号组成的码序列的过程。
成由码符号组成的码序列的过程信源译码:根据码序列恢复信源序列的过程。
信源译码根据码序列恢复信源序列的过程无失真信源编码:即信源符号可以通过编码序列无差错地恢复。
无差错地恢复(适用于离散信源的编码)限失真信源编码:信源符号不能通过编码序列无差错地恢复。
差错地恢复(可以把差错限制在某一个限度内)信源编码的目的:提高传输有效性,即用尽可能短的码符号序列来代表信源符号。
号序列来代表信源符号无失真信源编码定理证明,如果对信源序列进行编码,当序列长度足够长时,存在无失真编码使得传送每信源符号存在无失真编码使得传送每信源符号所需的比特数接近信源的熵。
因此,采用有效的信源编码会使信息传输效率得到提高。
会使信息传输效率得到提高概述一、信源编码器二、信源编码的分类三分组码三、分组码分组码单符号信源编码器符号集符号集AA 1{,,}q a a ii c a 编为1{,,}q c c 编码器码字集合信源序列码符号集1{,}r b b分组码单符号译码器1{,,}q c c 信源序列码字集合1{,,}q a a 译码器1{,}r b b 码符号集简单信源编码器摩尔斯信源编码器将英文字母变成摩尔斯电码将摩尔斯电码变成二进码信源编码器信源编码器(1)信源符号{英文字母英文字母}}(2)二进信道码符号集点、划、字母间隔、单词间隔信道基本符号{0,1}符号点划字母间隔单词间隔电平+ -+++ ---------二进代码 1 0111000000000摩尔斯信源编码器原信源的次扩展码原信源的N N将N个信源符号编成一个码字。
相当于对原信源的N次扩展源的信源符号进行编码。
例信源X={0,1}的二次扩展源的二次扩展源X X 2的符号集为:信源X={0,1}。
对X X2编码,即为原信源编码,即为原信源X X的二{00,01,10,11}。
对{00,01,10,11}编码即为原信源X {00011011}对即为原信源次扩展码。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
7.4.2 均匀量化与量化噪声-均匀量化与量化噪声
均匀量化的量化级差 △是均匀的。或者说, 均匀量化的实质是不 管信号的大小,量化 级差都相同。 量化节(segment):
∆ f max − f min f max − f min ≈ L −1 L
e (t ) 量化误差 =
fq (t ) − f (t )
量化 将抽样后的信号在幅度上离散化,即将模拟信号转换为数字 信号。 将PAM信号的幅度变化范围划分为若干个小间隔,每一个小 间隔叫做一个量化级。相邻两个样值的差叫做量化级差,用△表 示。当样值落在某一量化级内时,就用这个量化级的中间值来代 替,该值称为量化值。 量化误差 用有限个量化值表示无限个取样值,总是含有误差的。由于 量化而导致的量化值和样值的差称为量化误差,用e(t)表示。 即 e(t)=量化值 - 样值
第 7 章 信源编码
1
本章内容
抽样定理 脉冲编码调制(PCM) PCM信号的时分复用 增量编码调制(DM或ΔM)
2
7.2 抽样定理 抽样是任意模拟信号数字化的理论基础。 抽样又可称为取样或者采样。 抽样是对模拟信号进行时间上的离散化处理,即每 隔一段时间对模拟信号抽取一个样值。 抽样包括均匀抽样和非均匀抽样。
δ = δ ( t − nTs ) ∑ T (t ) n 2π = δ ( ω − k ωs ) δ T (ω ) ∑ T s k
Fs (ω )
f s ( t ) ∑ f ( nTs ) δ ( t − nTs ) = n 1 1 F (ω ) ∗ δ T (ω= Fs (ω= ) ) Ts 2π
3
7.2.1低通信号的抽样定理
一个频带限制在(0,f s ≥ 2 f H )Hz内的低通信号f(t),如 果以 f s ≥ 2 f H 的抽样频率(以 Ts ≤
1 的抽样间隔)对其进 2 fH
行等间隔抽样,则f(t)将由所得到的抽样值完全确定。
f(t) f(t)
t
t
4
7.2.1低通信号的抽样定理
7.4.3 压扩原理及非均匀量化-压扩原理
输入
输出
均匀量化
非均匀 量化
非均匀 量化
从理论分析上,不同 概率分布的信号有不 同的最佳压扩对应。 实际中对语音信号编 码,从易实现和工作 稳定性出发,常用两 种压扩:A律、 μ律。
24
7.4.3 压扩原理及非均匀量化- U律压缩特性
μ律压缩特性 μ律压缩特性公式为:
9
7.4 脉冲编码调制(PCM) 7.4.1 PCM基本原理
在数字通信系统中,脉冲编码调制通信是数字通信的主 要形式之一。一个基带传输PCM单向通信系统如图所示。
f (t ) fq (t )
10
7.4.1 PCM基本原理
发信端:完成A/D变换,主要步骤为抽样、量化、编码。 收信端:完成D/A变换,主要步骤是解码、低通滤波。 信号在传输过程中要受到干扰和衰减,所以每隔一段距 离加一个再生中继器,使数字信号获得再生。 为了使信码适合信道传输,并有一定的检测能力,在发 信端加有码型变换电路,收信端加有码型反变换电路。
量化器输出信噪比(无过载情况):
∆2 2 L S 2 12 = = L = 22 N 2 ∆ Nq 12 S = 10 log10 22 N ≈ 6 N dB N q dB
L(或N)直接影响编码质量: L ↑则
S Nq
↑,抗干扰性增强;
T N
N ↑,信号编码码元宽度 T = s ↓,信号带宽 B = ↑,有效性降低。
11
7.4.1 PCM基本原理-抽样、量化、编码
图b: 根据抽样定理,f(t)经过 抽样后变成了时间离散、幅度连 续的信号fS(t)。 图c:将其送入量化器,就得到 了量化输出信号fq(t)。 这里采用 了 “四舍五入”法将每一个连续 抽样值归结为某一临近的整数值, 即量化电平,这里采用了8个量 化级,将图(b)中7个准确样值4.2、 6.3、6.1、4.2、2.5、1.8、1.9分别 变换成4、6、6、4、3、2、2。 图d:量化后的离散样值可以用 一定位数的代码来表示,也就是 对其进行编码。因为只有8个量 化电平,所以可用3位二进制码 来表示。 抽样、量化、编码过程的示意图:
f (t )
一般在 ±
内变化,称 为量化噪声。相当于:
∆ 2
→⊕→ f ↑
e (t )
q
(t )
15
7.4.2 均匀量化与量化噪声-过载现象与过载噪声
∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆ ∆
∆ ∆
当输入信号幅度在 -4△~+4 △之间时, 量化误差的绝对值都不 会超过△/2,这段范围 称为量化的未过载区。 在未过载区产生的 噪声称为未过载量化噪 声。 当输入电压幅度 u(t)>4△ 或u(t)<-4△时,量化 误差值线性增大,超过 △/2,这段范围称为量 化的过载区。 在量化过载区产生 的噪声称为过载量化噪 声。
A律压缩特性 A律压缩特性公式为: 1 A| x | sgn ( x ) | x |≤ 1 + ln A A y= 1 sgn ( x ) 1 + ln A | x | ≤| x |≤ 1 1 + ln A A 式中A为压缩系数,表示压缩程度。 在上图的曲线中: A=1时,y=x,为无压缩即均匀量化情况。 A值越大,在小信号处斜率越大,对提高小信号信噪比越有利。 实用中对语音信号常用A=87.6。
f (t ) fs (t ) So ( t )
即 f s= (t ) f (t ) ⋅ s (t ) 式中:s(t)是重复周期为 Ts、脉冲幅度为1、脉冲宽 度为τ的周期性脉冲序列, 即抽样脉冲。
理想抽样:s(t)是理想冲激 脉冲串。 自然抽样:s(t)是理想矩形 抽样脉冲。 平顶抽样
5
7.2.1低通信号的抽样定理-理想抽样(1)
∑ F ( ω − kω )
s k
= h (t )
ωH Sa (ωH t ) (ωH ≤ ωc ≤ 2ωs − ωH ) π 1 = ⋅ = S ω F ω H ω F (ω ) ( ) ( ) ( ) s o
S= o (t ) fs (t ) ∗ h (t ) Ts
=
ωH π
∑ f ( nT ) ⋅ Sa ω ( t − nT )
f qi : ±
( 2i − 1) ∆ , , ± L − 1 ∆ ∆ 3∆ , ± ,, ± 2 2 2 2
∆=
2A L
2 量化信号功率: S f = E q ( kT )=
∫
+∞
−∞
f q2 ( kT ) ⋅ f ( x ) dx =
∑∫
i L 2
f qi f qi −1
( f qi ) ⋅ f ( x ) dx
1 T
19
7.4.3 压扩原理及非均匀量化-均匀量化的问题
均匀量化的量化台阶固定、分层均匀。 均匀量化信噪比的特点:
∆2 2A N = ∆ = L 2N , ,= 码位越多,信噪比越大: q 12 L
在相同码位的情况下,大信号时信噪比大,小信号时 信噪比小。 如果将△变小,可降低量化噪声功率
21
7.4.3 压扩原理及ຫໍສະໝຸດ 均匀量化-一个非均匀量化具体分析过载电压V=4Δ,其中Δ 为常数,其数值视实际而定。 量化级数M=8,幅值为正时, 有四个量化级差。 从图中看出:在靠近原 点的(1)、(2)两级量化 间隔最小且相等(Δ1=Δ2 =0.5Δ),其量化值取量 化间隔的中间值,分别为 0.25和0.75;以后量化间隔 以2倍的关系递增。所以满 足了信号电平越小,量化间 隔也越小的要求。
2 Nq = E e ∫ x ⋅ f e ( x ) dx = ∫ ( t ) = ∆ 2 ∆ − 2
Nq
2 1 ∆ x 2 ⋅ dx = ∆ 12
可以看到量化噪声功率仅与△有关,与信号f(t)无关。
17
7.4.2 均匀量化与量化噪声-量化信号功率
设f(t)在(-A,A)内均匀分布(并且没有发生过载), 其分布的概率密度函数为 1 f (x = | x |≤ Α ) 2A 量化信号 f q ( kT ) 的均匀量化取值
s H s n
=
ωs = 2ωH
∑
n
ωs f ( nTs ) ⋅ Sa ( t − nTs ) 2
f(t)完全由其抽样值 f ( nTs ) 确定。
7
7.2.1低通信号的抽样定理-自然抽样
8
7.2.1低通信号的抽样定理-结论
只要频谱间不发生重叠现象,在接收端就可通过截止频率为 fc=fH的理想低通滤波器从样值信号中取出原模拟信号。因此,对 于低频频率fL很低,最高频率为fm的模拟信号来说,只要抽样信 号频率fs≥2fm,在接收端就可不失真地取出原模拟信号。 抽样信号s(t)的重复频率fs必须不小于模拟信号最高频率的 两倍,即fs≥2fm,它是模拟信号数字化的理论根据。 实际滤波器的特性不是理想的,因此常取fs>2fm。 在选定fs后,对模拟信号的fm必须给予限制。其方法为在抽样 前加一低通滤波器,限制fm,保证fs>2fm。
s H s n
6
7.2.1低通信号的抽样定理-理想抽样(2)
So = (t )
ωH π
∑
n
f ( nTs ) ⋅ Sa ωH ( t − nTs )
So ( t ) =
1 f (t ) Ts
TsωH f (t ) = Ts So ( t ) =
π
∑ f ( nT ) ⋅ Sa ω ( t − nT )
2 2
=
∑ ( f qi )
i
2