信源数学模型及分类共18页
合集下载
(信息论)第3章离散信源
k = 1, 2, L, N
② 连续无记忆信源 若在 N 维随机矢量 X 中，每个随机变量 X k 是连续随 机变量，且相互独立，则 N 维随机矢量 X 的联合概率密 度函数为
p (X ) = ∏ p k
k =1 N
6
有记忆信源
{
无限记忆信源
有限记忆信源
有限记忆信源可用有限状态马尔可夫链来描述。当信 源记忆长度为 m+1 时，也就是信源每次发出的符号仅与前 m 个符号有关，与更前面的符号无关。这样的信源称为 m 阶马尔可夫信源。此时可用条件概率分布描述信源的统计 特性。
H (X ) = E[I (xi )] = −∑ p(xi ) log p(xi )
i =1
q
(3.7)
信源熵 是从平均意义上表征信源总体统计特征的一个 量，是信源的统计平均不确定性的描述。
10
例：设信源符号集
1 率分别为 p ( x1 ) = , 2
X = {x1 , x2 , x3 , x4 }
k
或 a 2 的概率。
14
2、离散无记忆二进制信源 X 的三次扩展信源 、
N X 3 = ( X 1 , X 2 , X 3 ) 共输出 q 个消息 三次扩展信源
符号，q=2, N=3。所以二进制三次扩展信源的符号序列 共有8个， ai , i = 1, 2, L, 8。它可等效为一个具有8个消息 符号的新信源 X 。同时每个消息符号具有如下的概率分 布
(3.1)
其中
p ( xi ) ≥ 0
i = 1,2,L, q
∑ p(x ) = 1
i =1 i
q
即信源的概率空间是完备。
1
① 离散信源的数学模型 其数学模型为离散型的概率空间：
信源和信息熵
且：I(X1;X2)＝I(X2;X1)
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
信息论与编码第三版资料讲解
i 1
自信息量：事件ai发生所含有的信息量
I (ai )
f [P(ai )] logr
2
第三页，共248页。
第1章
绪论
第四页，共248页。
1.1 信息(xìnxī)的概念
4
第五页，共248页。
几个(jǐ ɡè)常见概 念
情报：是人们对于某个特定对象所见、所闻、所理 解而产生的知识。
知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维(sīwéi)，对客观事物 规律性的概括。
25
第二十六页，共248页。
2.2 离散(lísàn)信源的信息熵
基本的离散信源： 输出(shūchū)单符号消息，且这些消息间两两互不相
容。用一维随机变量X来描述信源的输出(shūchū)，其 数学模型可抽象为:
X P( x)
a1
P(a1
)
a2 P(a2 )
a3 P(a3 )
... ...
消息：用文字、符号、语音、图像等能够被人们感 觉器官所感知的形式，把客观物质运动和主观思维 (sīwéi)活动的状态表达出来。
5
第六页，共248页。
香农信息(xìnxī)的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个(yī ɡè)可能选择的消息指定一个(yī ɡè) 概率。
1924年奈奎斯特(Nyquist)的 “影响电报速率因素 的确定” 。
1928年哈特莱(Hartley) 的“信息传输” 一文研究 了通信系统传输信息的能力，并给出了信息度量 方法。
16
第十七页，共248页。
1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰 理论”，根据最小错误概率准则和最小均方误差准则研究了 离散和连续信道(xìn dào)的最佳接收问题。
自信息量：事件ai发生所含有的信息量
I (ai )
f [P(ai )] logr
2
第三页，共248页。
第1章
绪论
第四页，共248页。
1.1 信息(xìnxī)的概念
4
第五页，共248页。
几个(jǐ ɡè)常见概 念
情报：是人们对于某个特定对象所见、所闻、所理 解而产生的知识。
知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维(sīwéi)，对客观事物 规律性的概括。
25
第二十六页，共248页。
2.2 离散(lísàn)信源的信息熵
基本的离散信源： 输出(shūchū)单符号消息，且这些消息间两两互不相
容。用一维随机变量X来描述信源的输出(shūchū)，其 数学模型可抽象为:
X P( x)
a1
P(a1
)
a2 P(a2 )
a3 P(a3 )
... ...
消息：用文字、符号、语音、图像等能够被人们感 觉器官所感知的形式，把客观物质运动和主观思维 (sīwéi)活动的状态表达出来。
5
第六页，共248页。
香农信息(xìnxī)的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个(yī ɡè)可能选择的消息指定一个(yī ɡè) 概率。
1924年奈奎斯特(Nyquist)的 “影响电报速率因素 的确定” 。
1928年哈特莱(Hartley) 的“信息传输” 一文研究 了通信系统传输信息的能力，并给出了信息度量 方法。
16
第十七页，共248页。
1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰 理论”，根据最小错误概率准则和最小均方误差准则研究了 离散和连续信道(xìn dào)的最佳接收问题。
第2章 信源及其熵
熵的含义
熵----考虑的是整个集合的统计特性，它从平均意义上来 表征信源的总体特征。 在信源输出前，信息熵H(X) 表示信源的平均不确定性； 在信源输出后，信息熵H(X)表示每个消息提供的平均信 息量； 信息熵H(X) 表征了变量X的随机特性。 例如，有两信源X、Y，其概率空间分别为：
例如，语音信号{X(t)} 、热噪声信号{n(t)}
离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独 立，即各随机变量Xi (i＝1,2,…,N)之间统计独立 性质：
独立－>p (X )= p (X1, X2, …,XN)= p1(X1) · 2(X2)· · N(XN) p ·p
问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量?
信息的测度
考虑：
信息的测度（信息量）和不确定性消除的程度有关， 消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测 度，概率小－>不确定性大； 概率小 －>信息量大，即信息量是概率的单调递减函 数； 信息量应该具有可加性； 用香农信息量公式来计算。
（1）它应是先验概率p(ai)的单调递减函数，即当 p (a1) > p (a2) 时，有 f [ p (a1)] < f [ p (a2) ] ； （2）当p (ai) =1时， f [ p (ai)] = 0 （3）当p (ai) =0时， f [ p (ai)] = （4）两个独立事件的联合信息量应等于它们分别的信息量之 和，即统计独立信源的信息量等于它们分别的信息量之和。
描述的信源X的各输出Xi间统计独立、且取值同一 例如：A={1，2，3}，N=2。则XN为： 符号集A，则X为离散无记忆信源，称该信源输出 {11，12，13，21，22，23，31，32，33 } 的N维随机矢量X 为离散无记忆信源X的N次扩展 信源
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
第2章信源及信源熵
续
3、确定性
只要信源符号集中有一个符号出现的概率为1，那么信源熵 就等于零。
H(1 , 0 ) = H(1 , 0 , 0 ) = H(1 , 0 , 0 ….0 ) = 0 确知事件，不存在不确定度，则H(X ) = 0
2、对称性 当变量P的顺序任意互换后， H(X)的值不变，即H(P1 , P2 , P3 …. Pn ) = H(P2 , P3 , P4 …. Pn , P1 ) 该性质表明：信源熵只与随机变量的总体结构有关，即与信 源的总体统计特性有关。 如果两个信源的总体统计特性相同（含有的符号数和概率分 布相同），那么两个信源就是相同的。
熵的性质
1、非负性 2、对称性 3、确定性 4、可加性 5、极值性 6、H(X/Y) ≤ H(X)； H(Y/X) ≤ H(Y) 7、H(XY) ≤ H(X) + H(Y)
续
1、非负性 离散信源熵的值不会小于0，即 H(X) ≥ 0。 只有当随机变量是一个确知量（P(xi) = 1）时等号才成立。
信源熵H(X) 是从平均意义上来表征信源的总 体特征，可以表示信源的平均不确定度。
对于特定的信源（即概率空间给定），其信源 熵是一个确定的数值，不同的信源因统计特性 不同，其熵也不同。
例
通过例子了解信息熵的含义：
一个布袋内放100个球，其中80个为红球，20个为白球， 任摸取一个，猜测是什么颜色。
X
＝
x1
x2
P
0.8 0.2
如果摸出红球，那么这一事件的自信息量为：
I (x1) = －log P (x1) = －log 0.8 bit
如果摸出白球，那么这一事件的自信息量为：
I (x2) = －log P (x2) = －log 0.2 bit
第2章信源及信源熵 145页PPT文档
【例2.1】
设信源只有两个符号“0”和“1”，且它们以消 息的形式向外发送时均以等概率出现，求它们 各自的自信息量。
（二）不确定度d(ai)与自信息量I(ai) 两者的联系
数值上相等，单位也相等，但含义不同。
两者的区别
具有某种概率分布的随机事件，不管其发生与否， 都存在不确定度，不确定度是任何随机事件本身所 具有的属性。
信源空间：
X P（x）
a1 a2 … aN ＝
P(a1) P(a2) … P(aN)
显然有：
例：对于二进制数据、数字信源：X={0,1}， 若这两个符号是等概率出现的，则有：
X P（x）
a1 = 0a2 = 1 Nhomakorabea＝
P(a1) =0.5 P(a2) = 0.5
（二）多符号离散信源
是发出符号序列的信源
一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比 较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也 就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假 设。
若在信源输出的随机序列X= (Ｘ１，Ｘ２，…，ＸＮ)中，每个随机变 量Xi (i=1,2,…，N)都是取值离散的离散型随机变量，即每个随机变量 Xi的可能取值是有限的或可数的；而且随机矢量X的各维概率分布都 与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率 分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字， 离散化平面灰度图像都是这种离散型平稳信源。
离散无记忆信源
在某些简单的离散平稳信源情况下，信源先后发出的 一个个符号彼此是统计独立的。也就是说发出的信源 发出的符号是相互独立的，发出符号序列中各个符号 之间也是相互独立的。
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
第3讲 信源模型
第3讲 信源模型信源（information source ），也称消息源，是通信系统中发送消息的一方。
信源所产生或者输出的消息（message ）是一个符号序列。
任何产生符号序列的事物都可视为信源。
报社、广播电台是信源；一个的人表情、行为是信源；我们所说的汉语是一个信源；一本英文小说也构成一个信源；水面波纹、天空的云等等万事万物都是信源，都在传递着各自的信息。
这一讲我们介绍离散信源的几种基本的和常用的模型。
1. 随机过程随机过程是一个带时间参数的随机变量，其取值的统计特性可随时间不断变化，用以机变量描述状态不断变化的物理系统或者随机现象。
定义1.1 随机过程是定义在同一个样本空间上一族随机变量{(),}X t t T ∈，其中t 为时间参数，T 是参数集合。
对于任何t T ∈，随机变量()X t 的值称为随机过程在时刻t 的状态。
为表达方便，可将随机过程{(),}X t t T ∈简记为()X X t 或。
定义 1.2 当随机过程的参数集合为实数区间(,)[0,)-∞∞∞或者时，该随机过程称为时间连续的。
当随机过程的参数集合为整数集或者非负整数集时，该随机过程称为时间离散的。
时间离散的随机过程称为随机序列。
若X 为随机序列，则X 在时刻t 的状态X(t)一般记为X n 。
实例：热噪声电压的样本函数这里我们主要学习关于随机序列的基本概念和性质，随机过程的更多知识在后面需要的地方再作介绍。
随机序列的概率分布：随机序列的统计特性用其中各随机变量的概率分布和联合概率分布进行描述。
一维分布：对于()Pr{}t t p x X x ==这是随机序列在时刻t 处于状态x 的概率。
二维分布：对于任何状态1x 与2x ，随机序列从t 时刻开始所经历的状态序列为12x x 的概率记为12112112()Pr{}Pr{,}t t t t t p x x X X x x X x X x ++=====则函数t p 称为该随机序列在t 时刻的二维分布。
离散信源
32
初始 状态 状态 序列
00 02 10 30 00 02 22 20
10 01 11 12 23 31 30 03 33 32 21 13
状态分布
P(00)= 1 p( 其他) 0 P(02/22/20) =1/3 p( 其他)= 0 P(10/01/11/12/ 23/31) =1/6 p( 其他)= 0
35
定理3-3 设P为马尔可夫信源的一步状态转 移矩阵，该信源为平稳马尔可夫信源的充 要条件是存在一个正整数N，使矩阵PN中所 有的元素大于0。 例3-13
36
2.平稳马尔可夫信源的熵 平稳马尔可夫信源中nm个状态出现的概率能够 逐渐稳定下来，不再发生变化。设达到稳定发布 后，各个状态的概率为p（S1） ， p（S2） ，p（S nm ），那平稳马尔可夫信源的熵是－∑ p（Si）log p（Si）吗？当然不是。 因为信源的熵指信源符号带有的信息量的平均 值。并且它和离散无记忆信源的信源熵定义也是 有区别的，因为信源符号出现的概率与已经出现 的符号有关。
24
3.4.2有限状态马尔可夫链 马尔可夫链并不是信源，它体现的是一种 状态和状态之间的一环扣一环的性质，因 此称为链。 定义3-6 一个状态序列：s1,s2,…sl,…,若满足 以下条件 1.有限性 J<∞ 2.马氏性p(sl/sl-1sl-2…s1)=p(sl/sk) 则称此随机序列为有限状态马尔可夫链。
26
描述马尔可夫链的数学工具是状态转移矩 阵和状态转移图。 已知系统当前处于状态 sk ，则系统将要达 到的状态sl的概率为pkl=p(sl/sk),由于所有可 能的状态有J个，因此共有J*J个这样的概率 组成一个矩阵