信源的数学模型及分类
X X1X2 XN 表示，又称为随机序列。
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统
各随机变量之间无依赖且统计独立，则称此信源为连续平稳 无记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中， 各随机变量之间有依赖，则称此信源为连续平稳有记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
2.1.3信源输出的消息用随机过程描述
很多实际信源的输出消息常常是时间和取值都是连续的，例如语 音信号、热噪声信号、电视信号等时间连续函数。同时在某一具 体时间t0,它们的可能取值又是连续的和随机的。
计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下：
I ( x) log a
次只输出一个消息。 离散信源的数学模型：
X P(x)
x1 p( x1 )
x2
x3
p(x2 ) p(x3)
xq p(xq )
式中， 0 p(xi ) 1 (i 1, 2,L q)
q
p( xi ) 1
i 1
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源的数学模型及分类
2.1.1信源输出的消息用随机变量描述
信源的消息符号是离散的且是有限的，每次信源的输 出为单个的信源符号，且所有符号的概率满足完备性， 这是最基本的离散信源。如书信、文稿、电报等。
如果信源输出为连续信号，如语音、电压、温度、压力、 振动信号等，这些信源的输出都是连续的，随机取值的， 称为连续信源。其输出消息是不可数的。
若信源在不同时刻发出的符号之间是相互依赖的，这种信源为 有记忆信源。
通常符号之间的依赖关系（记忆长度）是有限的，若记忆长度 为m+1,则称这种有记忆信源为m阶马尔可夫信源。
用条件概率来描述随机序列中各随机变量之间依赖关系：
P(xi xi1xi xi1 xim x1) P(xi xi1xi2 xim )
信息论
信息论
主讲教师：李玉峰
电子信息工程学院
信息论
2.1 信源的数学模型及分类
通信过程是从信源开始的，信源发送的是消息或消息序列， 通信系统中传递的是消息，消息中包含信息。因此，我们通 过研究消息来研究信源。
在通信系统中收信者在收到消息之前，对信源发出的消息是 不知道的，是不确定的、随机的，所以可以用随机变量、随 机矢量或者随机过程来描述信源输出的消息。
电子信息工程学院
信息论2.1 信源的数学模型及分类
若信源先后发出的各个符号彼此统计独立，则：
P( X ) P( X1X 2 L X N ) P1( X1)P2 ( X 2 )L PN ( X N ) 若不同时刻的离散随机变量X i的取值于同一个符号集合
A : a1, a2,, aq 则有：
N
P(x i ) P(ai1ai2 L aiN ) P(aik ) ik 1
若该信源不同时刻发出的符号之间无依赖关系，彼此统计独立， 则为离散无记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
则信源X所输出的随机矢量X所描述的信源称为离散无记忆信 源X的N次扩展信源。
连续信源的数学模型是连续型的概率空间，用下式表示：
X
P
(a, b) p(x)
p(x) 0，
b
p(x)dx 1
a
电子信息工程学院
信息论2.1 信源的数学模型及分类
2.1.2信源输出的消息用随机矢量描述
实际信源每次输出的消息是按一定概率选取的符号序列，可 以看做是时间上或者空间的随机矢量。用N维随机矢量
通常用一个样本空间及其概率测度——概率空间来描述信源。
X
P
a1 p(a1 )
a2
L
p(a2 ) L
ai
L
p(ai ) L
aq
p(aq
)
q
0 p(ai ) 1 (i 1, 2,L , q)
p(ai ) 1
i 1
电子信息工程学院
信息论
2.1
若随机矢量的各维概率分布都与时间起点无关，这样的信源 称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是有限的，这样 的平稳信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变量，这样的平 稳信源则为连续平稳信源。
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？
整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后，
才能消除不确定性获得信息。
如果某一消息发生的不确定性消除是一个从“不知-知”的过程，在此过程中，收
i 1,2,, N
电子信息工程学院
信息论
2.1 信源的数学模型及分类
若上述条件概率与时间起点无关,即信源输出符号序列可看成 为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，
对于这种信源的输出消息，可用随机过程来描述。称这类信源为 随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t）
按照取样定理，随机过程也可以用一系列离散的取样值来表示， 即离散随机序列。
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每
信者获得足够的信息量。
消息发生的不确定性和发生的概率有关，消息发生的概率越小，
则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为
消息ai 的自信息量。
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统
各随机变量之间无依赖且统计独立，则称此信源为连续平稳 无记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中， 各随机变量之间有依赖，则称此信源为连续平稳有记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
2.1.3信源输出的消息用随机过程描述
很多实际信源的输出消息常常是时间和取值都是连续的，例如语 音信号、热噪声信号、电视信号等时间连续函数。同时在某一具 体时间t0,它们的可能取值又是连续的和随机的。
计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下：
I ( x) log a
次只输出一个消息。 离散信源的数学模型：
X P(x)
x1 p( x1 )
x2
x3
p(x2 ) p(x3)
xq p(xq )
式中， 0 p(xi ) 1 (i 1, 2,L q)
q
p( xi ) 1
i 1
电子信息工程学院
信息论
2.2 离散信源的信息熵
信源的数学模型及分类
2.1.1信源输出的消息用随机变量描述
信源的消息符号是离散的且是有限的，每次信源的输 出为单个的信源符号，且所有符号的概率满足完备性， 这是最基本的离散信源。如书信、文稿、电报等。
如果信源输出为连续信号，如语音、电压、温度、压力、 振动信号等，这些信源的输出都是连续的，随机取值的， 称为连续信源。其输出消息是不可数的。
若信源在不同时刻发出的符号之间是相互依赖的，这种信源为 有记忆信源。
通常符号之间的依赖关系（记忆长度）是有限的，若记忆长度 为m+1,则称这种有记忆信源为m阶马尔可夫信源。
用条件概率来描述随机序列中各随机变量之间依赖关系：
P(xi xi1xi xi1 xim x1) P(xi xi1xi2 xim )
信息论
信息论
主讲教师：李玉峰
电子信息工程学院
信息论
2.1 信源的数学模型及分类
通信过程是从信源开始的，信源发送的是消息或消息序列， 通信系统中传递的是消息，消息中包含信息。因此，我们通 过研究消息来研究信源。
在通信系统中收信者在收到消息之前，对信源发出的消息是 不知道的，是不确定的、随机的，所以可以用随机变量、随 机矢量或者随机过程来描述信源输出的消息。
电子信息工程学院
信息论2.1 信源的数学模型及分类
若信源先后发出的各个符号彼此统计独立，则：
P( X ) P( X1X 2 L X N ) P1( X1)P2 ( X 2 )L PN ( X N ) 若不同时刻的离散随机变量X i的取值于同一个符号集合
A : a1, a2,, aq 则有：
N
P(x i ) P(ai1ai2 L aiN ) P(aik ) ik 1
若该信源不同时刻发出的符号之间无依赖关系，彼此统计独立， 则为离散无记忆信源。
电子信息工程学院
信息论
2.1 信源的数学模型及分类
则信源X所输出的随机矢量X所描述的信源称为离散无记忆信 源X的N次扩展信源。
连续信源的数学模型是连续型的概率空间，用下式表示：
X
P
(a, b) p(x)
p(x) 0，
b
p(x)dx 1
a
电子信息工程学院
信息论2.1 信源的数学模型及分类
2.1.2信源输出的消息用随机矢量描述
实际信源每次输出的消息是按一定概率选取的符号序列，可 以看做是时间上或者空间的随机矢量。用N维随机矢量
通常用一个样本空间及其概率测度——概率空间来描述信源。
X
P
a1 p(a1 )
a2
L
p(a2 ) L
ai
L
p(ai ) L
aq
p(aq
)
q
0 p(ai ) 1 (i 1, 2,L , q)
p(ai ) 1
i 1
电子信息工程学院
信息论
2.1
合集下载
第3章 离散信源
信息量单位
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
信源和信息熵
且：I(X1;X2)＝I(X2;X1)
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
第3章 信源
P( xi N | xi , xi 1 ,..., xi N 1 ) P( x j N | x j , x j 1 ,..., x j N 1 )
因此：
H ( X1 ) H ( X 2 ) H ( X N )
H ( X 2 | X 1 ) H ( X 3 | X 2 ) H ( X N | X N 1 )
离散单符号信源X的概率空间：
X x1 P( X ) p( x ) 1
p( xi ) 0
x2 p( x2 )
n
... ...
p( xq ) xq
p( x ) 1
i 1 i
第三章：信源及信源熵
信源分类
单符号信源 多符号信源
连续信源
H(X
N
N
| X1 X 2 X N 1 ),
N 1,2,... 是单调有界数列，
极限 lim H ( X N | X1 X 2 X N 1 ) 必然存在，且极限为0和 H ( X1 ) 之 间的某一个值。
第三章：信源及信源熵
信源分类
单符号信源
多符号信源 连续信源
3. 离散平稳有记忆信源（续3）
为了研究离散平稳无记忆信源的极限熵，把信源输出 的符号序列看成是一组一组发出的。
例1：电报系统中，可以认为每2个二进制数字组成一组。 这样信源输出的是由2个二进制数字组成的一组组符号。 这时可以将它们等效看成一个新的信源，它由四个符号 00，01，10，11组成，把该信源称为二进制无记忆信源 的二次扩展。
X X1 X 2 X N X
N
N次扩展信源的概率空间为：
1 2 i qN XN p( ) p( ) p( ) p( ) 1 2 i qN P( X )
因此：
H ( X1 ) H ( X 2 ) H ( X N )
H ( X 2 | X 1 ) H ( X 3 | X 2 ) H ( X N | X N 1 )
离散单符号信源X的概率空间：
X x1 P( X ) p( x ) 1
p( xi ) 0
x2 p( x2 )
n
... ...
p( xq ) xq
p( x ) 1
i 1 i
第三章：信源及信源熵
信源分类
单符号信源 多符号信源
连续信源
H(X
N
N
| X1 X 2 X N 1 ),
N 1,2,... 是单调有界数列，
极限 lim H ( X N | X1 X 2 X N 1 ) 必然存在，且极限为0和 H ( X1 ) 之 间的某一个值。
第三章：信源及信源熵
信源分类
单符号信源
多符号信源 连续信源
3. 离散平稳有记忆信源（续3）
为了研究离散平稳无记忆信源的极限熵，把信源输出 的符号序列看成是一组一组发出的。
例1：电报系统中，可以认为每2个二进制数字组成一组。 这样信源输出的是由2个二进制数字组成的一组组符号。 这时可以将它们等效看成一个新的信源，它由四个符号 00，01，10，11组成，把该信源称为二进制无记忆信源 的二次扩展。
X X1 X 2 X N X
N
N次扩展信源的概率空间为：
1 2 i qN XN p( ) p( ) p( ) p( ) 1 2 i qN P( X )
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
2-1 第2章 信源的数学模型和分类
将方格按行和列编号，甲将棋子所在方格的行（或列）编号告 诉乙之后，再令乙猜测棋子所在列（或行）的位置。
解：
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内， 因此棋子在棋盘中所处的行（或列）位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8，p ( y j ) 1 / 8， 同时，有二维概率分布函数p ( xi y j ) 1 / 64，故 在二维联合集XY上，元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n， 消息符号彼此互不相关，且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件； ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时，
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时，同时发生得到的自信息量， 等于这两个随机事件各自独立发生得到的自信息量之和。19
解：
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内， 因此棋子在棋盘中所处的行（或列）位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8，p ( y j ) 1 / 8， 同时，有二维概率分布函数p ( xi y j ) 1 / 64，故 在二维联合集XY上，元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n， 消息符号彼此互不相关，且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件； ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时，
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时，同时发生得到的自信息量， 等于这两个随机事件各自独立发生得到的自信息量之和。19
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
2-1-信源的描述和分类解析
j
• 若处信状源态处就于变某了一,任状何态时s候i ,当信它源发处出于一什个么符状号态后完,全所 由前一时刻的状态和发出符号决定。
• 系中统 的在 任任 意一 一时 个刻 状可态处,状于态状转态移空时间,转S移={概s1率,s2矩,…阵,sQ}
P
p(s j
|
si )
p11
p1Q
pQ1 pQQ
x2 1/ 6
x3 1/ 6
x4 1/ 6
x5 1/ 6
x6 1/ 6
10
离散无记忆信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号 序列代表一个消息
X 1 2 3 4 5 6
P
1/
6
1/ 6
1/ 6
1/ 6
信息
6
信源的分类
• 按照信源发出的消息在时间上和幅度上的分布 情况可将信源分成离散信源和连续信源两大类
{ 信源 离散信源: 文字、数据、电报—随机序列 连续信源: 话音、图像—随机过程
• 连续信源
– 指发出在时间或幅度上是连续分布的连续消 息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
1/ 6
1/ 6
11
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1, x2,, xn}
a,b,c,…z
• 它们的概率分别为
P {p(x1), p(x2),, p(xn )}
• p(xi): xi的先验概率
• 单符号离散信源的数学模型—概率空间
X P
x1 p(x1
第1章 信源模型及信息的度量
6
二元联合信源
有两个信源X，Y
, an a2 , X a1 , P ( x) P (a ), P (a ), , P (a ) n 1 2
, bm b2 , Y b1 , P ( y ) P (b ), P (b ), , P(b ) 1 m 2
, aq a2 , X a1, P ( x) P (a ), P (a ), , P (a ) q 1 2
例：
a2 a1 P ( ) 0.01 0.99
b1 b2 P ( ) 0 .4 0 .6
可பைடு நூலகம்性公理：
两个消息独立，则 I (ai , b j ) I (ai ) I (b j ) 对同一条消息，观察两次所得到的信息量等 于两次分别收到的信息量之和
I (ai ; b j ck ) I (ai ; b j ) I (ai ; ck / b j )
例题
说明信息论在我们日常生活中的指导意义
P(X)： p
1. p=0.5时； H(X)=-0.5log0.5+(-0.5log0.5)=1 bit/符号 2. p=0.99，1-p=0.01时；
H(X)=-0.99log0.99+(-0.01 log0.01)=0 .08bit/符号
3. p=0，1-p=1（或p=1，1-p=0）时； H(X)=-0log0+(-1 log1)=0 bit/符号
XY——样本值共有 m n 个
p ( x i y j ) p ( y j ) p ( xi / y j ) p ( x i ) p ( y j / x i )
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
第3讲 信源模型
第3讲 信源模型信源（information source ），也称消息源，是通信系统中发送消息的一方。
信源所产生或者输出的消息（message ）是一个符号序列。
任何产生符号序列的事物都可视为信源。
报社、广播电台是信源；一个的人表情、行为是信源；我们所说的汉语是一个信源；一本英文小说也构成一个信源；水面波纹、天空的云等等万事万物都是信源，都在传递着各自的信息。
这一讲我们介绍离散信源的几种基本的和常用的模型。
1. 随机过程随机过程是一个带时间参数的随机变量，其取值的统计特性可随时间不断变化，用以机变量描述状态不断变化的物理系统或者随机现象。
定义1.1 随机过程是定义在同一个样本空间上一族随机变量{(),}X t t T ∈，其中t 为时间参数，T 是参数集合。
对于任何t T ∈，随机变量()X t 的值称为随机过程在时刻t 的状态。
为表达方便，可将随机过程{(),}X t t T ∈简记为()X X t 或。
定义 1.2 当随机过程的参数集合为实数区间(,)[0,)-∞∞∞或者时，该随机过程称为时间连续的。
当随机过程的参数集合为整数集或者非负整数集时，该随机过程称为时间离散的。
时间离散的随机过程称为随机序列。
若X 为随机序列，则X 在时刻t 的状态X(t)一般记为X n 。
实例：热噪声电压的样本函数这里我们主要学习关于随机序列的基本概念和性质，随机过程的更多知识在后面需要的地方再作介绍。
随机序列的概率分布：随机序列的统计特性用其中各随机变量的概率分布和联合概率分布进行描述。
一维分布：对于()Pr{}t t p x X x ==这是随机序列在时刻t 处于状态x 的概率。
二维分布：对于任何状态1x 与2x ，随机序列从t 时刻开始所经历的状态序列为12x x 的概率记为12112112()Pr{}Pr{,}t t t t t p x x X X x x X x X x ++=====则函数t p 称为该随机序列在t 时刻的二维分布。