第2讲——离散信源的数学模型及其信息测度(1)
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
第二章 离散信源及其信息测度讲解
空间称为信源空间。
6
单消息（符号）信源－－离散信源
特点：这些信源可能输出的消息数是有限的或可数的，
而且每次只输出其中一个消息。因此，可以用一维离散
型随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各消 息出现的先验概率，信源的概率空间必定是一个完备集。
一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。例如，在汉字组成的中文序列中，只有根 据中文的语法、习惯用语、修辞制约和表达实际意义的制 约所构成的中文序列才是有意义的中文句子或文章。所以， 在汉字序列中前后文字的出现是有依赖的，不能认为是彼 此不相关的。其他如英文，德文等自然语言都是如此。这 种信源称为有记忆信源。
X P(x)
a1, a2 ,aq
P(a1
),
P(a2
),
P(aq
)
重点掌握： 形式，每个 符号的含义
例：对于二进制数据/数字信源：U={0,1}，则
有
UP
u0
0, p0 ,
u1 p1
1
当p0
p1
1 2
0 ,1 1,1
• 离散信源的信息熵性质：
什么是信息熵； 九大性质
• 几种具体信源：
离散平稳信源 马尔可夫信源
3
信源特性与分类
信源的统计特性
• 1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、文字、 图像、数据…。在信息论中，信源是产生消息（符号）、消 息（符号）序列以及连续消息的来源，数学上，信源是产生
信息论 第2章 离散信源及其信息
合肥学院胡学友
22
2.2.1 自信息
信源发出某一符号 xi (i = 1,2, L, n) 后，它提供多 少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的 量。
2011-7-22
合肥学院胡学友
23
具体地说，如信源发某一符号ai，由于信道中 噪声的随机干扰，收信者收到的一般是ai的某 种变型bi．收信者收到bi后，从bi中获取关于ai 的信息量,如果以I(ai；bi)表示， 则有I(ai；bi) ＝收到bi前，收信者对ai存在的不确定性(先验 不定度)—收到bi后，收信者对ai仍然存在的不 确定性(后验不定度) ＝收信者收到bi前、后，对ai存在的不确定性的 消除。 2011-7-22 24 合肥学院胡学友
6
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 1 6
∑ p (a ) = 1
i =1 i
2011-7-22 合肥学院胡学友
完备集
4
X a1 p ( x) = p (a ) 1
q
a2 L aq p(a2 ) L p(aq )
离散情况
2011-7-22 合肥学院胡学友 10
• 若信源输出的N维随机矢量 ，每个 uu v X = ( X 1 , X 2 ,L , X N ) 随机变量 (i=1, 2, …, N) 都是取值为连续 Xi 的连续型随机变量，即每个随机变量的可 能取值是不可数的无限值。而且随机矢量 的各维概率密度函数都与时间起点无关， 也就是说，在任意两个不同时刻随机矢量 的各维概率密度函数都相同，这样的信源 称为连续平稳信源
信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习
![信息论与编码[第二章离散信源及其信息测度]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/4f9eb902763231126edb115f.png)
第二章离散信源及其信息测度2．1．1 信源的分类信源是信息的来源，是产生消息或消息序列的源泉。
不同的信源输出的消息其随机性质不同。
根据消息所具有的随机性质的不同，对信源进行如下分类：按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为离散信源(数字信源)和波形信源(模拟信源)；按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和连续信源；按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳信源和非平稳信源；按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。
2．1．2 基本信源的数学模型根据信源输出消息所对应的不同的随机特性就有不同的信源数学模型。
而基本的信源数学模型有以下几种。
1．离散信源信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。
信源的数学模型就是离散型随机变量x的概率空间，表示为2．连续信源信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。
相应的信源的数学模型就是连续型随机变量的概率空间，表示为其中(a，b)是连续随机变量X的取值区间，R表示全实数集，而p(x)是连续随机变量X的概率密度函数。
2．1．3 离散信源的信息熵1．自信息自信息即为某事件a i发生所含有的信息量。
事件的自信息定义为式中P(a i)是事件a i发生的概率。
自信息的单位有几种：以2为底的对数时单位是比特(bit)；以e为底的自然对数时单位是奈特(nat)；以10为底的常用对数时单位是哈特(hart)。
2．信息熵离散随机变量X的信息熵就是其概率空间中每个事件所含有的自信息量的数学期望，即其单位是：以2为底的对数时是比特／符号(bit／symbol)；以e为底的对数时是奈特／符号(nat／symbol)；以10为底的对数时是哈特／符号(hart／symbol)。
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论基础第2章离散信源及其信息度量
《信息论基础》
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
2离散信源及其信息测度
第2章 离散信源及其信息测度
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源
离散信源的数学模型(1)
研究对象是： 例如，掷一个质地均匀的六面骰子，如把 信源各种可能 朝上一面的点数作为作为随机试验结果， 的输出以及输 把试验结果看作信源的输出，那么这个随 出各种消息的 机试验可视为一个信源。信源的输出X的 不确定性。不 状态空间及其概率空间P(X)集合分别为 X A : 2 3 4 5 6 1 研究信源的内 部结构，不研 P( X ) P : / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 究信源为什么 所以，这个单符号离散信源的数 产生和如何产 学模型可表示为： 生各种不同的、 X 1 2 3 4 5 6 可能的消息。
I (ai ) logb 1 P( ai )
定义 2.1
自信息量的定义：某离散消息 a i 所携带的自信息量
I (ai ) logb 1 P( ai )
b=2 b=e
单位为比特(bit) 单位为奈特(nat——nature unit)
b=10 单位为哈特莱(Hart——Hartley)
自信息（4）
例 2.1 从英文字母中任意选取一个字母所给出的信息给出的信息是多少呢？ 因为有 26 种可能情况，取任一字母的概率为 1/26，所以
I log 26 4.7(bit)
例 2.2 假设一条电线上串联了 8 个灯泡 x1 , x2 , x3, x4 , x5 , x6 , x7 , x8 ,这 8 个灯泡损坏的概率是 相同的，现假设有一个灯泡是坏的，现用万用表去检测，检测过程如下图所示
第2讲——离散信源的数学模型及其信息测度(1)
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为：
I(0) =-log2 (1/4)=log24= 2bit
I ( xi , y j ) I ( xi )
I ( y j ) I ( y j xi )
I ( xi y j )
I ( xi y j ) log 2 p( xi y j ) log 2 p( xi ) p( y j / xi ) I ( xi ) I ( y j / xi ) log 2 p( xi y j ) log 2 p( y j ) p( xi / y j ) I ( y j ) I ( xi / y j )
n 1 H ( X ) E[ I ( xi )] E[log2 ] p( xi ) log2 p( xi ) p( xi ) i 1
• 熵函数的自变量是X表示信源整体，实质上是离散无 记忆信源平均不确定度的度量。与自信息不同,自信 息表示某一消息所含有的信息量，它是一个随机变量, 不能用它来作为整个信源的信息测度。
信源熵例题
该信源X输出符号只有两个,设为0和1输出符号发生 的概率分别为p和q，p＋q=l，即信源的概率空间为
X 0 1 P p q
则二元信源熵为
H(X)= -plogp-qlogq = -plogp- (1- p)log(1-p) = H(p)
简单信源
• 离散信源
a2 , , aq X a1 , P ( x) P (a ), P (a ),, P (a ) 1 2 q
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
qN N
P(i ) P(aik ) 1
i 1
i1 ik 1
X 000 011 10 11
掷两一枚硬币
P
1/
42
1/ 42 1/ 4
1/ 4
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有依赖 关系，但记忆长度有限。
马尔可夫信源实例
Xr
Yr
+
Yr-1
T
相对码编码器 • Y与r是Yr-一1 、个Y马r-2氏…链等,Y无r确关定后,Yr+1概率分布只与Yr有关,
简单信源
• 离散信源
X P( x)
a1,
a2 , ,
P(a1
),
P
(a2
),
aq , P(aq )
且满足 : 0 P(ai ) 1
• 连续信源
q
P(ai ) 1
i 1
注：X代表随机变
量，指的是信源整
体；ai代表随机事 件的某一结果或信
源的某个元素。
X p( x)
(a, b)
p(
p(xi y j ) 1
或 log b X log a X log b a
自信息的性质
(1) I (xi)是非负值 (2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) =∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即
当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息
观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。
输入 码字 消息 (输出)
消息 先验 概率
x1 000 1/2 x2 111 1/2
消息后验概率
收到 收到 收到 0后 01后 010后
1-p 1/2 1-p p 1/2 p
Review
数字通信系统模型
消息
信源
编码器
信号＋干扰 消息
x)
并满足
b
a p(x)dx 1
注：这里的p(x)代 表概率密度函数。
离散无记忆信源
离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。
X
P(
x)
1 ,
2 ,
P(1
),
P(
2
),
q
,
P(
q
)
q
其中，i 1,2 , ,q 且 P(i ) 1 i 1
离散无记忆信源 N次扩展信源
其它几种常见信源
• 有记忆信源：输出的随机序列X中各随机变量之间有 依赖关系，但记忆长度有限。
• m阶马尔可夫信源：信源每次发出的符号只与前m个 符号有关，与更前面的符号无关。
• 随机波形信源：信源输出的消息在时间上和取值上都 是连续的。
自信息量定义
设单符号离散信源的信源空间为
X P( x)
量之和，即统计独立信源的信息量等于它们分别 的信息量之和。
自信息量例题
• 一个以等概率出现的二进制码元(0,1)所包含的 自信息量为： I(0)= I(1)= -log2 (1/2)=log22=1 bit
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4, 则这两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit
x1 ,
p(
x1
),
x2 , , p(x2 ),
,
xn p(xn )
且满足 : 0 p(xi ) 1, p(xi ) 1 i 1
如果知道事件xi已发生，则该事件所含有的信息量称 为自信息，定义为:
I (xi ) log
1 p(xi )
log
p(xi )
自信息量定义
• I (xi) 含义
√1
x5 100 1/8
×0 ×0
×0
x6 101 1/8
×0 ×0
×0
x7 110 1/8
×0 ×0
×0
x8 111 1/8
×0 ×0
×0
Review
设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为
p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当
• 由离散无记忆信源输出N长的随机序列构成的信源。
X N
P(i )
1, 2 ,
P(1), P(2 ),
qN , P(qN
)
其中i (ai1ai2 aiN ) (i1, i2 , iN 1,2, q)
N
并满足： P(i ) P(ai1ai2 aiN ) P(aik ) ik 1
qN
信道
译码器
信宿
干扰
噪声源
可靠性、有效性、保密性和认证性
离散信源的数学模型 及信息测度
信源的数学描述
通信系统中收信者在未收到消息以前对信 源发出什么消息是不确定的,是随机的，所 以可用随机变量、随机序列或随机过程来 描述信源输出的消息,或者说用一个样本空 间及其概率测度—概率空间来描述信源。
信源的分类
联合自信息与条件自信息
考虑两个随机事件，其联合概率空间为
XY P( XY
)
x1 y1, p(x1 y1
, x1 ),
ym , x2 y1, , x2 p(x1 ym ), p(x2
ym , y1),
, ,
xn y1, p(xn ym
xn )
ym
nm
0 p(xi y j ) 1,
不同的信源输出的消息的随机性质不同，可以根据消 息的不同的随机性质来对信源进行分类： • 按照某时刻信源输出消息的取值集合的离散性和连续 性, 信源可分为离散信源和连续信源。 • 按照信源输出消息的所对应的随机序列中随机变量前 后之间有无依赖关系, 信源可分为无记忆信源和有记忆 信源。 • 按照信源输出消息的所对应的随机序列的平稳性, 信源 可分为平稳信源和非平稳信源。
第二讲
离散信源的数学模型 及其信息测度(Ⅰ)
Review
输 入 码 字 消 息 先 消息后验概率 消 息 输 出 验 概 率 收到0 收到01 收到011
x1 000 1/8
1√/4 ×0
×0
x2 001 1/8
1√/4 ×0
×0
x3 010 1/8
1√/4 1√/2
×0
x4 011 1/8
1√/4 1√/2
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
• I (xi)单位
– 常用对数底是2,信息量的单位为比特(bit)；
– 若取自然对数,则信息量的单位为奈特(nat);
1 nat＝log2e ≈ l.433 bit，
对数换底关系：log a
X
log b X log b a