第2章-信源编码

合集下载

信息论与编码复习题目

信息论与编码复习题目

信息论复习提纲第一章绪论1.通信系统模型;2.香浓信息的概念;3.信源、信道、信源编码和信道编码研究的核心问题。

第二章离散信源及信源熵1.离散信息量、联合信息量、条件信息量、互信息量定义;2.信源熵、条件熵、联合熵定义;3.平均互信息量定义、性质、三种表达式及物理意义,与其它熵的关系(不证明);4.最大信源熵定理及证明;5.本章所有讲过的例题;第三章离散信源的信源编码1.信息传输速率、编码效率定义;2.最佳编码定理(即节定理:概率越大,码长越小;概率越小,码长越大)及证明;3.码组为即时码的充要条件;4.单义可译定理(Kraft不等式)及应用;5.费诺编码方法、霍夫曼编码方法应用(二进制,三进制,四进制);6.本章所有讲过的例题;第四章离散信道容量1.利用信道矩阵计算信道容量(离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道);2.本章讲过的例题;第五章连续消息和连续信道1.相对熵的定义;2.均匀分布、高斯分布、指数分布的相对熵及证明;3.峰值功率受限条件下的最大熵定理及证明,平均功率受限条件下的最大熵定理及证明,均值受限条件下的最大熵定理及证明;4.香农公式及意义;5.本章所有讲过的例题;第六章差错控制1.重量、最小重量、汉明距离、最小汉明距离、编码效率的定义;2.最小距离与检错、纠错的关系(即节定理);3.本章所有讲过的例题;第七章线性分组码1.线性分组码定义;2.线性分组码的最小距离与最小重量的关系及证明;3.生成矩阵、一致校验矩阵定义,给出线性方程组求出生成矩阵和一致校验矩阵的标准形式,生成矩阵与一致校验矩阵的关系;4.制作标准阵列并利用标准阵列译码;5.本章所有讲过的例题;第八章循环码1.生成多项式的特点,有关定理(三定理1,定理2,定理3)及证明;2. 生成矩阵、一致校验矩阵定义,如何获得生成矩阵、一致校验矩阵的典型形式;3.本章所有讲过的例题; 习题:1.已知随机变量X 和Y 的联合分布如下:计算:、I(X;Y)。

第2章 数据通信基础(习题答案)

第2章 数据通信基础(习题答案)

第2章数据通信基础习题及答案一、填空题(1)按使用的传输介质划分,信道可以分为__有线信道___和__无线信道__两类。

(2)按允许通过的信号类型划分,信道可以分为_模拟信道_和_数字信道_两类。

(3)按数据传输的方向和时序关系分类,信道可以分为_单工信道__、__半双工信道__和__全双工信道__三类。

(4)按传输信号频谱分类,信道可以分为__基带信道__和___频带信道_两类。

(5)数据通信系统的主要技术指标有__码元速率__、__信息速率__、__误比特率_、__误码率_、__可靠度__、_频带利用率__和__通信建立时间___。

(6)常用的数字传输系统的标准有__ T1____和__E1__。

(7)按同步方式划分,交换可以分为(同步交换)和(异步交换)两种类型。

(8)按差错控制的方式划分,交换可以分为(分组交换)和(快速分组交换)两种类型。

(9)按存储转发的信息单位划分,交换可以分为(报文交换)和(分组交换)两种类型。

(10)按占用信道的方式划分,交换可以分为(电路交换)和(分组交换)两种类型。

(11)按交换的信号类型划分,交换可以分为(数字交换)和(模拟交换)两种类型。

(12)按信号分割方式划分,信道共享技术分为(频分复用)、(时分复用)、(波分复用)和(码分复用)四种类型。

(13)按接入信道的方式划分,信道共享技术分为(集中器接入)和(多点接入)两种类型。

(14)按共享策略的实施时间划分,信道共享技术分为(静态复用)和(动态接入)两种类型。

(15)采用交换技术的计算机通信网络的核心设备是(结点交换机/路由器)。

二、名词解释信息:从信息论的角度来讲,信息就是对消息解除不确定度。

通常把信息理解成所关注的目标对象的特定知识。

数据:数据是对所关注对象进行观察所得到的结果或某个事实的结果。

信号:信号是通信系统实际处理的具体对象。

基带、基带传输:在电磁波的傅利叶级数表示中,从零开始并覆盖了信号的主要能量表现的那段频率范围称为基本频带,简称基带。

编码理论第二章

编码理论第二章
i=1
编码理论——信源编码
4
13
必须注意: 必须注意:
–Kraft不等式只是用来说明唯一可译码是否存在,并不能 Kraft不等式只是用来说明唯一可译码是否存在, Kraft不等式只是用来说明唯一可译码是否存在 作为唯一可译码的判据。 作为唯一可译码的判据。 –如码字{0,10,010,111}虽然满足Kraft不等式,但它不 如码字{0,10,010,111}虽然满足Kraft不等式, 如码字{0 虽然满足Kraft不等式 是唯一可译码。 是唯一可译码。
n L≤m K
X
信源
L长序列
信源编码器
Y
信道
码表
K长码字
15
பைடு நூலகம்
编码理论——信源编码
若对信源进行定长编码,必须满足: 若对信源进行定长编码,必须满足: 定长编码
n ≤m
L
K

K log n ≥ L log m
(2-2)
只有当K长的码符号序列数 mK大于或等于信源的符号数nL时,才可能存 只有当K 大于或等于信源的符号数n 定长非奇异码 非奇异码。 在定长非奇异码。 例如英文电报有27个符号,n=27,L=1,m=2(二元编码) 例如英文电报有27个符号,n=27,L=1,m=2(二元编码) 27个符号,n=27,L=1,m=2(二元编码
时,只要 失真, 也就是收端的译码差错概率接近于零, 失真 , 也就是收端的译码差错概率接近于零 , 条件是所取的 符号数L足够大。 符号数L足够大。
KL 1 (2-5) K= log m = log M L L _ 这种编码器一定可以做到几乎无 K > HL ( X ) ,这种编码器一定可以做到几乎无
a1 a2 a3 a4

信息论与编码(曹雪虹第三版)第一、二章

信息论与编码(曹雪虹第三版)第一、二章
信道的分类
根据传输介质的不同,信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等;无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下,信道能 够传输的最大信息量,通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下,香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同,信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组,然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ,适用于各种信道条件, 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中,然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值,然后对数字值进行编 码。这种方法会导致量化噪声,是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的,因 为自信息量总是非负的 。
当随机变量为确定值时 ,其信息熵为0。
对于独立随机变量,其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时,其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介,它提供了信号传输的通路,是通信系统中的重要组成 部分。

第二章基本信息论5信源冗余度

第二章基本信息论5信源冗余度
适当的冗余可提高抗干扰能力
信源编码:通过减少冗余来提高通信效率 信道编码:通过增加冗余来提高通信的抗干扰能力
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
27
p(xi ) lb p( xi )
i 1
H 0.047 Q 0.001 Z 0.001
4.03比特/符号
I 0.058 R 0.048 空格 0.189
3)看成一阶马尔可夫信源,则信源熵: H2 ( X ) H11( X ) 3.32比特/符号
4)看成二阶马尔可夫信源,则信源熵: H3( X ) H21( X ) 3.1比特/符号
5)看成无穷阶马尔可夫信源,则信源熵: H ( X ) 1.4比特/符号
二、冗余的利用
消息的冗余为提高通信效率、压缩信号容量提供 了基础。
lb
1 27
英语 出现 英语 出现 英语 出现 字母 概率 字母 概率 字母 概率
4.75比特/符号
A 0.064 J 0.001 S 0.051 2)按实际概率分布,且 B 0.013 K 0.005 T 0.08 无相关性,则信源熵:
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H1( X ) H01( X )
2
Hmax ( X ) p( xi ) lb p( xi )
i 1
2 1 lb 1 1比特/符号
i1 2 2
若发送12个符号,则12个符号含有的信息量为:
I12 12H max ( X ) 12比特
若信源符号间有相关性,则信源熵达不到最大熵。 若实际上为0.8比特/符号,则发送12个符号只能传 递12*0.8=9.6比特的信息量。

2-1 第2章 信源的数学模型和分类

2-1 第2章 信源的数学模型和分类
将方格按行和列编号,甲将棋子所在方格的行(或列)编号告 诉乙之后,再令乙猜测棋子所在列(或行)的位置。
解:
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内, 因此棋子在棋盘中所处的行(或列)位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8,p ( y j ) 1 / 8, 同时,有二维概率分布函数p ( xi y j ) 1 / 64,故 在二维联合集XY上,元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义:单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn ),n为消息符号个数, 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n, 消息符号彼此互不相关,且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件; ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时,
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时,同时发生得到的自信息量, 等于这两个随机事件各自独立发生得到的自信息量之和。19

1 数字通信理论讲义 2012

1 数字通信理论讲义 2012

课程介绍:·研究生专业课程。

讲座。

研讨。

·先修课。

·教材及参考书。

·要求。

科研方法。

深入。

前沿。

·考试。

第1章 概述1.1 数字通信系统基本组成·各框功能:1)信源与输入变换器 2)信源编码器 3)信道编码器4)数字调制器 之前,信号处理。

如均衡。

5)信道6)数字解调器 7)信道译码器 8)信源译码器 9)输出变换器1.2 通信信道及其特征一、信道概念信号传输的途径、媒介。

物理信道。

1)带宽。

2)衰减。

3)畸变。

4)噪声。

二、信道分类 1. 有线信道双绞线 同轴电缆 波导 光纤kHz MHz 百MHz GHz (带宽) 2. 光纤信道历史。

特点。

应用。

结构简述。

3. 无线电磁信道特点:直射。

反射。

散射。

绕射。

噪声。

干扰。

频率范围。

天线:/10λ>。

应用。

4. 水声信道传播距离:几十——几百 Km 。

声速:1500 m/s特点:背景噪声。

多径传播。

5. 存储信道信道编码。

1.3 通信信道的数学模型一、加性噪声信道 ()()()r t s t n t α=+二、线性滤波器信道 例:有线电话信道()()()()()()()r t s t c t n t c s t d n t ατττ∞-∞=*+=-+⎰三、线性时变滤波器信道例:水声信道。

电离层无线信道。

时变、多径。

()()(;)()(;)()()r t s t c t n t c t s t d n t αττττ∞-∞=*+=-+⎰特例:多径传播。

1(;)()()Lk k k c t t ταδττ==-∑1()()()()Lk k k r t t s t n t ατ==-+∑1.4 数字通信系统的参数与性能指标一、传输速率、带宽、带宽效率符号速率。

信息速率。

二、信噪比与错误概率信噪比定义。

符号错误概率。

比特错误概率。

蒙特卡洛法。

三、复杂度——2012 第1次3学时1.5 通信系统分类一、有线通信、无线通信二、模拟通信、数字通信三、长波、中波、短波、微波、光通信 四、单工、半双工、全双工、单向通信 五、语音、图像、多媒体通信 六、窄带通信、宽带通信 七、固定通信、移动通信1.6 信号传输有关概念一、基带传输与频带传输 二、串序传输与并序传输 三、同步传输与异步传输1.7 主要的远距离通信方式一、电缆通信SSB/FDM 。

第2章 卫星通信基本技术11

第2章 卫星通信基本技术11
2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.3.6 多址方式与信道分配 FDMA方式 TDMA方式 SDMA/SS/TDMA方式 CDMA方式 ALOHA方式
2.1 信号设计技术
通常将数字通信中用于系统设计的编码、译码与调制、解调技术统称为信号 设计。下面主要介绍数字卫星通信中的信号设计技术。 2.1.1 编码技术 在数字卫星通信中,所用的编码技术有信源编码和信道编码两类。 信源编码:是指通过压缩编码来去掉信号源中的冗余成分,以达到压缩码率和带宽 ,实现信号有效传输的目的。因此,信源编码实际上就是把话音、图像等模拟信号 变换成数字信号,并利用传输信息的性质,采用适当的编码方法,降低传输速率, 即实现话音或图像的频带压缩传输,提高通信系统的效率。而译码则是编码的逆过 程。 信道编码:是指通过按一定规则重新排列信号码元或加入辅助码的办法来防止码元 在传输过程中出错,并进行检错和纠错,以保证信号的可靠传输。因此,信道编码 是用来检测或纠正传输过程中的误码,它是一种编码变换。纠、检错用在数字卫星 通信中有着非常好的效果,它是实现通信系统传输质量的重要技术。
下面以码长为15的BCH码为例来进行说明。可见此时m=4(24-1=15),即表 示最高次数为4。由xn+1的因式分解可知: m0 ( x ) x 1
m1 ( x) x 4 x 1 m3 ( x) x 4 x 3 x 2 x 1 m5 ( x) x 2 x 1 m7 ( x ) x 4 x 3 1 x15 1 m0 ( x) m1 ( x) m3 ( x) m5 ( x) m7 ( x)
表2-1 校正子与错码位置
s1 0
s2 0
s3 0
错误 位置 无误
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

音在音色上的相似程度,或由收听者来判断发话
人是谁来衡量。通常,利用四级评分法(最好、 较好、较差、最差)来区别优劣程度。此评分法 称为自然度。
2.1.1 抽样
模拟信号数字化的第一步是在时间上对信号进
行离散化处理,即将时间上连续的信号处理成时 间上离散的信号,这一过程称之为抽样。 1. 抽样定义及实现抽样的电路模型 连续信号在时间上离散化的抽样过程如图2.1所示。
图 2 20 非 均 匀 量 化 特 性 及 量 化 误 差
.
图2.21 非均匀量化实现框图
图 2 22 压 缩 扩 张 特 性
.
(2)μ律和A律压缩扩张特性 目前PCM通信系统中采用两种描述压缩扩张特性方法:
• μ律特性:μ作为参量的压扩特性。
• A律特性:A作为参量的压扩特性。
目前应用较多的是以数字电路方式实现的A律13
1 ST t Ts
n
e

jns t
1 S T T s

n jn s t
e

jn s t j t
e
dt
1 Ts 1 Ts s
n n n
e


e
• (2) 与抽样有关的误差


前面所讨论的抽样定理是基于下列三个前提:
· 对语声信号带宽的限制是充分的; · 实行抽样的开关函数是单位冲激脉冲序列, 即理想抽样; · 通过理想低通滤波器恢复原语声信号。
① 抽样的折叠噪声

抽样定理指出,抽样序列无失真恢复原信
号的条件是fS≥2fM。为了满足抽样定理,对语 声信号抽样时先将语声信号的频谱限制在fM以 内。为此,在抽样之前,先设置一个前置低通 滤波器将输入信号的频带限制在3400Hz以下,
.
对展宽电路的要求: 展宽电路是用来形成矩形脉冲的,应该具有矩形
波形的冲激响应特性,其函数为:
1 q t 0 t t

2

2
传递函数为:
Q
sin

2

2
则经展宽后的样值序列频谱为:
FQ FS Q FS
-80
62.5 250 500 Hz
3. 语音信号的动态范围 语音信号的动态范围定义为:
Pmax L 10 lg Pmin
dB
( 5)
式中,Pmax,Pmin分别是语音信号的最大、最小 功率。
二、衡量语音质量的宏观感知特性 1. 可懂度 评定的方法是:一个人在发话端发出一系列有意 义的句子,在收话端由几个人共同收听,最后计
(3)高斯分布
u x 设 u e ,u为信号的瞬时电压,ue为u 的均方
根值,则标称化的分布函数为:
x2 2
p x
1 2
e
( 4)
2. 语音信号的功率谱密度
测量方法:将语音信
号同时加到一组并联
的BPF的输入端,测
dB -30 -40
出各个输出端的平均
值,即可画出功率谱 密度特性曲线。
2 U


2 ue
e
2U ue
3. 空载噪声功率 (可忽略不计)

'' 2

u j
4
2
4. 语音信号总的量化噪声平均功率
N q 2 '2 1 2 u j Pj ue2 e 12 j 1
N 2U ue
上式既可用于均匀量化,也可用于非均匀量化情况。
j t
dt
2 n s
n s
1 Fs Ts
n
F n s

图2.6 理想抽样样值序列频谱
图 2 7 三 种 不 同 抽 样 频 率 时 的 样 值 序 列 频 谱
.
至此,我们可以用下述两种彼此等价的方 式来表示有限能量频带受限信号的抽样定理。 ① 对于频谱分量低于 fM 的有限能量信号, 可以用时间间隔小于或等于 1/2fM 的该信号瞬 时样值来完全描述。 ② 对于频谱分量低于 fM 的有限能量信号, 可以从抽样速率大于或等于 2fM 的该信号瞬时 样值序列中完全地恢复,即抽样频率应为 fS≥2fM。
(1)均匀量化器 (2)最佳量化器
(3)对数量化器
(4)自适应量化器 (5)差分量化器
矢量量化:复杂、具有较高的数据压缩效率。
常用的方法:树形搜索法、多级矢量量化法、分裂式矢量 量化法等。
2. 均匀量化及量化噪声计算 一、均匀量化的概念 各量化分级间隔相等的量化方式即为均匀量化。

图2.16(a)所示的阶梯状特性中的一个台阶
图2.1 连续信号抽样示意图
图2.2 抽样器及抽样波形示意
图2.3 相乘器抽样模型
图2.4 开关函数
2. 抽样定理 一、定理 设时间连续信号f(t),其最高截止频率为fM。
如果用时间间隔为TS≤1/2fM的开关信号对f(t)进 行抽样,则f(t)就可被样值信号fS(t)=f(nTS) 来 唯一地表示。或者说,要从样值序列无失真地 恢复原时间连续信号,其抽样频率应选为
fS≥2fM。这就是著名的奈奎斯特抽样定理,简
称抽样定理。
二、定理证明
(1) 低通型信号抽样
低通信号:低端频率从0或某一低限频率f0到某 一高限频率fM的带限信号,并且f0 < fM — f0 。 理想抽样:指开关函数ST(t)为单位高度的周期冲 激脉冲序列,其波形图如图2.5所示。
图2. 5 单位冲激脉冲序列
方根值,则标称化的分布函数为:
K x
p x
K 2

e
x
( 1)
式中,K为常数,通常K = 0.866 。
(2)拉普拉斯分布 拉普拉斯分布函数:
a a x px e 2
。 a 式中,a为常数,通常
( 2)
2

当变量为u 时,

pu
1 2 ue
e
2 u
ue
( 3)
折线压扩特性。
具体实现的方法是:
对X轴在0~1(归一化)范围内以1/2递减规律分成
8个不均匀段,其分段点是1/2、1/4、1/8、1/16、
1/32、1/64和1/128。
图 2 23 8 段 折 线 的 分 段 示 意
.
图 2 24 律 13 折 线 压 缩 特 性
. A
2.1.3 编码与解码
开关函数: S T t
n
t nT
s

——式中,Ts为序列周期,即抽样周期。
ST t
n
An e

jns t
2 2 f s 式中: s Ts
1 An Ts

Ts
2 2
T S
ST t e
j n s t
1 dt Ts
sin

2

2
展宽孔径效应失真
图2.14 展宽孔径效应失真
解决孔径效应失真办法:
在接收端恢复原信号时,应加入具有孔径均衡特
性的均衡网络,其均衡网络的特性应为:

P 2 sin

2
2.1.2 量化
1. 量化定义及描述

量化:把信号在幅度域上连续取值变换为幅
度域上离散取值的过程。 量化过程是一个近似表示的过程,即无限个 数取值的模拟信号用有限个数值的离散信号近 似表示。
第2章 信源编码
2.1 模拟信号的数字化 2.2 语音编码技术 2.3 图像编码技术(此节略去不讲)
针对信源发送信息所进行的压缩编码,称为信源 编码。 信源编码的目的:
1)模拟信号数字化后,采用压缩编码技术,在 保证一定信号质量的前提下,尽可能去除信号中 的冗余信息,从而减少信号速率和传输所用带宽。 2)对于数字信号,也需要通过压缩编码降低信 息冗余,提高传输效率。
使用量化器的方法:
当输入信号的主要成分均超过量化范围时,信
号在进入量化器之前要进行线性缩小,若信号
平均值过小,波动范围大都在 1 个量化间隔 (Δ)范围内,此时信号在进入量化器之前要 进行线性放大。
二、量化噪声平均功率的计算
量化噪声:量化产生误差,对通信质量产生的影 响以噪声的形式出现,称其为量化噪声。
算出他们听懂句子与原句数的百分比。这个百分
比称为句子的可懂度,简称可懂度。
2. 清晰度 发话端发出一些孤立的单音字,在收话端由几个 人收听并记录下来,然后计算出正确收听到的单
字与原单字数的百分比,一般称之为单字清晰度,
简称清晰度。
3. 自然度 把语音经过通信系统传到对方并转换成语音信 号后,在收话端由几个人收听其与原来所发的语
2.1 模拟信号的数字化
现以语音信号的脉冲编码调制过程说明模拟 信号数字化的过程。
2.1 模拟信号的数字化
模拟信号的数字化过程可以分为抽样、量化、编码 三个阶段。
抽样:数字化的第一步,在时间上对信号进行离散处理, 量化:将幅度连续的信号转换成幅度离散的信号, 即将时间上连续的信号变换成时间上离散的信号,这一过 编码:用一组特定的代码来代表每个量化电平值。 即用某个特定的量化电平值代替原始信号幅度。 程称为抽样。
1.未过载部分量化噪声功率
1 2 u j Pj 12 j 1
2 N
Δuj:第j级,量化间隔; Pj:信号幅值在 Δuj 这一分级的概率。
图2.17 语声信号的幅度概率分布
图2.18 语声信号的分级间隔及量化值
2. 过载部分量化噪声功率

'2
2 u U P u du
相关文档
最新文档