最新信息论基础精品课件第2章_信源与信息熵(习题课)
合集下载
信息论第2章PPT(2012z最新版)
们引入平均自信息量来表述信源输出消息的不肯定性。 们引入平均自信息量来表述信源输出消息的不肯定性。
平均自信息量又称为信源熵、 或无条件熵。 平均自信息量又称为信源熵、信息熵 或无条件熵。
表示信源输出消息中的每个符号所含信息量的统计 平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值， 平均值，其表达式为 q
[
]
(a1a1 L a2 ) L (aq aq L aq ) X N (a1a1 L a1 ) = P (a a L a ) P (a a L a ) L P (a a L a ) 1 1 1 1 1 2 q q q P (X )
这个概率空间共有 q N 个元素。 个元素。 多符号的离散信源可以分为 多符号的离散信源 可以分为 1） 离散无记忆信源 ） 2） 离散有记忆信源 ）
一般情况下， 如果取以 r 为底的对数 r>1） 一般情况下， （ ） ， 则
I (ai ) = − log r P (ai )
(r 进制单位）
通常采用“比特”作为信息量的实用单位。 通常采用“比特”作为信息量的实用单位。
已知二元信源输出“ 、 两种符号， 例： 已知二元信源输出“0”、“1”两种符号， 两种符号 出现概率相等， （1）如果“0”、“1”出现概率相等，计算出现 如果“ 、 出现概率相等 的信息量； “0”的信息量； 的信息量 出现概率为1/3 （2）如果“0”出现概率为1/3，计算出现“1”的 如果“ 出现概率为1/3，计算出现“ 的 信息量。 信息量。 根据信息量的定义式， 解：根据信息量的定义式，可以得到
2、平均自信息量H(X) 、平均自信息量
如果一个离散信源输出的消息符号集合为 X = {x i } = {x1 , x 2 , L , x q } , 信源输出的消息符号不同，所含有的信息量就不相同，因此， 信源输出的消息符号不同，所含有的信息量就不相同，因此，自信息量
平均自信息量又称为信源熵、 或无条件熵。 平均自信息量又称为信源熵、信息熵 或无条件熵。
表示信源输出消息中的每个符号所含信息量的统计 平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值， 平均值，其表达式为 q
[
]
(a1a1 L a2 ) L (aq aq L aq ) X N (a1a1 L a1 ) = P (a a L a ) P (a a L a ) L P (a a L a ) 1 1 1 1 1 2 q q q P (X )
这个概率空间共有 q N 个元素。 个元素。 多符号的离散信源可以分为 多符号的离散信源 可以分为 1） 离散无记忆信源 ） 2） 离散有记忆信源 ）
一般情况下， 如果取以 r 为底的对数 r>1） 一般情况下， （ ） ， 则
I (ai ) = − log r P (ai )
(r 进制单位）
通常采用“比特”作为信息量的实用单位。 通常采用“比特”作为信息量的实用单位。
已知二元信源输出“ 、 两种符号， 例： 已知二元信源输出“0”、“1”两种符号， 两种符号 出现概率相等， （1）如果“0”、“1”出现概率相等，计算出现 如果“ 、 出现概率相等 的信息量； “0”的信息量； 的信息量 出现概率为1/3 （2）如果“0”出现概率为1/3，计算出现“1”的 如果“ 出现概率为1/3，计算出现“ 的 信息量。 信息量。 根据信息量的定义式， 解：根据信息量的定义式，可以得到
2、平均自信息量H(X) 、平均自信息量
如果一个离散信源输出的消息符号集合为 X = {x i } = {x1 , x 2 , L , x q } , 信源输出的消息符号不同，所含有的信息量就不相同，因此， 信源输出的消息符号不同，所含有的信息量就不相同，因此，自信息量
《信息论与编码》课件1第2章
I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论基础第2章
仅有是 ( ) (t2) 未知的。这类积分方程又称为齐次第二类线性积
分方程，其核是对称型的，求解比较容易。它要求特征值i为某些离
散值，而与之对应的正交函数则是积分方程的特征函数 i (t) 。
可见，当 R(t1,t2 ) 已知时，可求解上述积分方程，得特征值i 和相
应特征函数 i (t) ，然后即可将U(t, ω)展成为：
有
L
n
L
种可能取值。
对消息序列信源有：
UL
pu
U u1 p(u1)
U unL p(unL )
24-Mar-20
P.5
2）实际信源 （续）
例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i={0,1}，则有：
U3 p(u)
U
000,U p03 ,
001, p02 p1
,U ,
这里，H ( f , ) 为一频域中周期性随机过程，同理，类似于对周期性
确知信号，在频域可做下列付氏级数展开：当 f F 时，
a.e
a.e
j 2n f
H ( f ,) H ( f ,) gn ()e 2F
n
而
gn
(
)
a.e
1 2F
F
j 2n f
H ( f ,)e 2F df
1
F
2F
24-Mar-20
P.18
(三）实际信源举例
下面仅以最常见的图像与语音信源为例
1）图像信源 图像信源一般可以引用一个五元的随机场来表示：
扫描时
U (x, y, z,,t) U (x,t) （简化）
主要统计特性：初步可以认为是一个近似的平稳遍历过程
①幅度概率分布：它主要采用专用仪器测试并用直方图分析，但未 得出一致性结论，主要原因是其分布与图像类型密切相关，比如对 准动态型，其分布接近于正态分布，而对于动态型，其分布则接近 于对数正态分布。
信息论新教材02
假定某一离散信源发出的各个符号消息的集合为：
X {x1 , x2 ,
各个符号的先验概率为： 通常将它们写在一起：
, xn }
x2 p( x2 )
i
P { p( x1 ), p( x2 ), , p( xn )}
X x1 P p( x ) 1 xn p( xn )
若xi与yj相互独立，即 p( xi y j ) p( xi ) p( y j ) ，则有
I ( xi y j ) I ( xi ) I ( y j )
若xi与yj的出现不是相互独立的，而是有联系的，此时，要用条件概率来表 示，即在事件yj出现的条件下，事件xi发生的条件概率，其条件自信息量定义 为： I ( xi | y j ) log a p( xi | y j )
，
I (e) log 2 0.105bit 3.25bit
， ，
例题2-2 将二信息分别编码为A和B进行传送，在接收端，A被误收作B的概 率为0.02；而B被误收作A的概率为0.01，A与B传送的频繁程度为2:1。若 接收端收到的是A，计算原发信息是A的条件自信息量。 解：设U0表示发送A，U1表示发送B；V0表示接收A，V1表示接收B。 由题意知： 1 2 p(V | U ) 0.02 p(V | U ) 0.98 p(V | U ) 0.01
p(U0 )
p(V | U1 ) 0.99 则接收到A时，原发信息是 A的条件概率为： 。 1
3
p(U1 )
3
，
1
0
0
0ቤተ መጻሕፍቲ ባይዱ
0
1
p (U 0 | V0 )
p (U 0V0 ) p (V0 | U 0 ) p (U 0 ) p (V0 ) p (V0 )
信息论课件 2-1.3马尔科夫信源
x3:1/2 s3
相通
s4
x2:1/2 x3:1/2
x4:1 x5:1
s2 x2:1/2
非周期性的：对于 pii(k)＞0的所有k值， 其最大公约数为1。
x2:1/2 x1:1/4
过渡态
s1
s6
x6:1
x6:1/4
吸收态
x4:1/4
s5
周期性的：在常返态中, 有些状态仅当k能被某整
数d＞1整除时才有pii(k)＞16 0, 图中的周期为2；
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(sj | si ) 0.3 0 0.7
0.2 0 0.8
21
1
1
W
W
21
23
W 1
1
3
W
W p i ij
W j
i
4 1
1W
W 43 1W
W 2
W
32
54
3
2 W
32
4W 54
W 4
W W W W 1
1
2
3
4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
信息论基础课件2[1][1].1.1- 2
![信息论基础课件2[1][1].1.1- 2](https://img.taocdn.com/s3/m/5d523fd3360cba1aa811da2f.png)
r i 1
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
信息论与编码第2章信源与信息熵PPT课件
pji(l)p(ul Si |ul1Sj)
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
第2章信源及信源熵 145页PPT文档
【例2.1】
设信源只有两个符号“0”和“1”，且它们以消 息的形式向外发送时均以等概率出现，求它们 各自的自信息量。
（二）不确定度d(ai)与自信息量I(ai) 两者的联系
数值上相等，单位也相等，但含义不同。
两者的区别
具有某种概率分布的随机事件，不管其发生与否， 都存在不确定度，不确定度是任何随机事件本身所 具有的属性。
信源空间：
X P（x）
a1 a2 … aN ＝
P(a1) P(a2) … P(aN)
显然有：
例：对于二进制数据、数字信源：X={0,1}， 若这两个符号是等概率出现的，则有：
X P（x）
a1 = 0a2 = 1 Nhomakorabea＝
P(a1) =0.5 P(a2) = 0.5
（二）多符号离散信源
是发出符号序列的信源
一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比 较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也 就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假 设。
若在信源输出的随机序列X= (Ｘ１，Ｘ２，…，ＸＮ)中，每个随机变 量Xi (i=1,2,…，N)都是取值离散的离散型随机变量，即每个随机变量 Xi的可能取值是有限的或可数的；而且随机矢量X的各维概率分布都 与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率 分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字， 离散化平面灰度图像都是这种离散型平稳信源。
离散无记忆信源
在某些简单的离散平稳信源情况下，信源先后发出的 一个个符号彼此是统计独立的。也就是说发出的信源 发出的符号是相互独立的，发出符号序列中各个符号 之间也是相互独立的。
信息论第2章(信息量、熵及互信息量)PPT课件
假设一条电线上串联了8个灯泡x这8个灯泡损坏的可能性是等概率的假设有也只有一个灯泡损坏用万用表去测量获得足够的信息量才能获知和确定哪个灯泡x损坏
信息论基础
The Basis of Information Theory
主题No2：信息量、熵和互信息量
在上一次课中我们提到香农对信息定性的 定义——事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。
信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。
研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
I(X;Y)是一个用来衡量信道好坏的 非常好的工具。
计算条件熵的例子
例6 设一个二进制对称信道BSC：
其先验概率为p(0)=p(1)=1/2，试计算条 件熵. [解答]由已知条件得：
由条件熵的定义有：
结果表明，虽然每个字符的错误率只有 0.1，可导致整个信宿对信源的平均不确定 性达到了0.469，将近一半。可见通信系统 对信道的要求非常高。
信息论基础
The Basis of Information Theory
主题No2：信息量、熵和互信息量
在上一次课中我们提到香农对信息定性的 定义——事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。
信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。
研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
You Know, The More Powerful You Will Be
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
I(X;Y)是一个用来衡量信道好坏的 非常好的工具。
计算条件熵的例子
例6 设一个二进制对称信道BSC：
其先验概率为p(0)=p(1)=1/2，试计算条 件熵. [解答]由已知条件得：
由条件熵的定义有：
结果表明，虽然每个字符的错误率只有 0.1，可导致整个信宿对信源的平均不确定 性达到了0.469，将近一半。可见通信系统 对信道的要求非常高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例6：
• 设信源发出两个消息 x1 x 2 • • 它们的概率分布为：
p( x1 ) 3 / 4 p ( x2 ) 1 / 4
求该信源的熵和冗余度。
10
• 设离散无记忆信源
例7：
X a1 0 a2 1 a3 2 a4 3 P( x) 3 / 8 1 / 4 1 / 4 1 / 8
4
自信息量的计算 定义：对于给定的离散概率空间表示的信源， x=ai事件所 对应的（自）信息为 1
I ( xi ai ) log p( xi ) log
以2为底，单位为比特（bit)
p( xi )
信息量的计算和概率相关。
5
例1：教材 page 39 2-4
• • • • 红色球和白色球各50个 红色球99个，白色球1个 红、黄、白色球各25个 分别求出布袋中随意取出一个球时， 猜测其颜色所需要的信息量？
例10：
（1）求X1X2X3的联合熵和平均符号熵 （2）求这个链的极限平均符号熵 （3）求H0，H1，H2和它们所对应的冗余度
14
END
15
例8：
•
•
（1）试问这个信源是否是平稳的？ 2 H ( X ) ，H ( X 3 X 1 X 2 )及 lim H N (X) （2试计算 ） （3）试计算 有的 所有符号。
H(X )
4
•
并写出
X4
N
信源中可能
12
例9：一个二元无记忆信源，其发0的概率为p， 而p≈1，所以在发出的二元序列中经常出现的 是那些一串为0的序列（称高概率序列）。对 于这样的信源我们可以用另一新信源来代替， 新信源中只包含这些高概率序列。这时新信 S n s1 , s2 , s3 ,, sn , sn 1 源
一个一阶马尔可夫链X 1 , X 2 ,, X r ,, 各X r 取值于 1 A a1 , a2 , a3 。已知起始概率P( x)为p1 P( X 1 a1 ) , 2 i j 1 2 3 1 p2 p3 。转换概率为 1 1/2 1/4 1/4 4
2 3 2/3 2/3 0 1/3 1/3 0
信息论基础B 第2章 信源与信息熵（习题课）
任课老师： 博士(讲师) 江苏省图像处理与图像通信重点实验室
1
本章重要知识点
信息量(自信息量、条件信息量、联合信息量) 离散单符号信源熵、条件熵、联合熵 平均互信息量 马尔可夫信源极限熵（信源的符号熵） 熵及平均互信息量的性质
2
本章其它知识点
共有n+1 新信源序列： s1， 个符号，它与高概率的二元序列的 s2， s3， s4， s8， ， sn， sn 1 对应关系如下： 求H (S n )
当n ，求信息源的熵H (s) limH (Sn )
n
13
n位 n位 二元序列： 1， 01 ， 001 ， 0001 ， 00000001 ， ， 0001 ， 0000 。
离散序列熵、序列符号熵 连续信源相对熵及最大熵定理 冗余度的概念 数据处理中信息不增加性原理
3
第一章内容回顾
• 通信系统的模型,和各模块的功能
信源
消息
编码器
信号
信道
信号ቤተ መጻሕፍቲ ባይዱ加噪 声
译码器
消息
信宿
噪声
信源 信源 编码 加密 信道 编码
如何评价通信系统的好坏？
干扰 信道 信宿 信源 译码 解密 信道 译码 噪声
8
• 两个二元随机变量X和Y，它们的联合概率分 布函数如下： 1 X Y 0
0 1 1/8 3/8 3/8 1/8
例5：教材page 40 2-13
• 定义另一随机变量Z=X〃Y（一般乘积），试 计算 • (1) 熵H(X), H(Y), H(Z), H(X,Z),H(Y,Z),H(X,Y,Z)； • (2)条件熵 H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z), 9 • H(Z|Y),H(X|YZ),H(Y|XZ)和H(Z|XY)；
•
其发生的消息为
2021201302 1300120321 0110321010 0210320112 23210
• • • 求： （1）此消息的自信息是多少？ （2）在此消息中平均每个符号携带的信 息量是多少？
11
• 设有一个信源，它产生0，1序列的消息。它 在任意时间而且不论以前发出过什么符号， 均按P(0)=0.4，P(1)=0.6的概率发出符号。
6
例2： （1）试问四进制、八进制的每一个波形 所含的信息量是二进制波形的信息量的多 少倍？
例3： （2）有81枚硬币，外观完全相同，已知 有一枚硬币恰好与其它硬币不同，问确定 随意取出一枚硬币恰好是重量不同的一枚 硬币，并进一步确定它比其他硬币是重还 是轻一些所需要的信息量是多少？
7
例4： • 掷两粒骰子，当其向上的面的点数之 和是3时，该消息所包含的信息量是多 少？当小圆点数之和是7时，该消息所 包含的信息量又是多少？