第2章 信源与信息熵1
状态转移概率p(sj/si)
起始状态
00
终止状态
01 10 11
00
01 10 11ቤተ መጻሕፍቲ ባይዱ
1/2
0 1/4 0
1/2
0 3/4 0
0
1/3 0 1/5
0
2/3 0 4/5
• 符号条件概率矩阵
1 / 2 1 / 3 [ p (a j / si )] 1 / 4 1 / 5
1/ 2 2 / 3 3 / 4 4 / 5
i
1 3 2 6 3 6 4 4 2 35 3 35 4 35 5 7
2.2离散信源熵与互信息
2.2.1 自信息量
信源的概率空间
X x1 P p( x ) 1
x2
p( x2 )
xn p( xn )
为信源固有，通常已知。但信源在某时刻到底发生什 么符号，接收者是不能确定的，只有当信源发出的符 号通过信道传输到达接收端，接收者才能得到消息， 从而消除不确定性。
例2-7
H ( X ) p log p q log q p log p (1 p) log(1 p) H ( p)
例2-7
H ( X ) p ln p q ln q p ln p (1 p) ln(1 p) H ( p)
例2-7
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( p i ) pi , I ( pi ) , 且当pi 1时, I ( p i ) 0
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
I ( xi , y j ) log p( xi , y j ) log p( xi y j ) p( y j ) log p( xi y j ) log( y j ) I ( xi y j ) I ( y j )
2.2.2 离散信源熵 自信息量I(xi)只是表征信源中各个符号xi 的不 确定度，是信源总体与概率分布有关的一个随 机变量，不能作为信源总体的信息量度。 平均自信息量：
X集合的条件熵为
H ( X y j ) p ( xi y j ) I ( xi y j )
i
p ( xi y j ) log p ( xi y j )
更一般，经过n-m步后转移至sj的概率
pij (m, n) PS n s j / S m si Ps j / si pij (m, n) 0 pij (m, n) 1 j
特别关心n-m=1情况，pij(m,m+1)
pij ( m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: p ( m) PS m k j / S m i p
由于高阶马尔可夫信源需要引入矢量进行分析，现方 法将矢量转化为状态变量。定义状态：
si ( xi1, xi 2 ,, xim )
xij A a1,, an
信源在某一时刻出现符号概率xj与信源此时所处状态 si 有关，用条件概率表示p(xj/si),状态转移概率表示为 p(sj/si)
第2章 信源与信息熵
2.1 信源的描述和分类
按照信源发出的消息在时间和幅度上的分布情况可 将信源分成离散信源和连续信源两大类。离散信源 是指发出时间和幅度上都离散分布的离散消息的信 源，如文字、数字、数据等符号都是离散消息；连 续信源是指在时间或幅度上是连续分布的连续消息 （模拟消息）的信源，如语音、图像和图像等都是 连续消息。
(k ) ij (k ) ij
系统在任一时刻可处于状态空间的任意一状态，状态 转移时，转移概率是一个矩阵， 一步转移转移矩阵 为
p { pij , i, j S} p11 p12 p 21 P pQ1 pQ 2
p1Q p2 Q pQQ
log 10 1
310 5
1 10
310 5 310 5
1 10 1
310 5
log
1 10
310 5
1 10
310 5
log
1 10
310 5
310 5
log
10
310 5
log
3 105 log10 106 比特 / 画面
10
当 pi 1/ n 1/10000
E( I ( X )) p( xi ) I ( xi ) p( xi ) log p( xi )
i i
单位为 比特/符号或bit/symbol
信源X的平均不确定度，是总体意义上的信源不确定度， 也称为信源熵。
H ( X ) p( xi ) I ( xi ) p( xi ) log p( xi )
i 1
3
1 1 1 1 1 1 log log log 2 2 4 4 4 4 1.5比特/ 符号
例2-6 当 p
i
1 / n 1 / 10
n
3105
时
平均每个画面提供的信息量为
H ( X ) pi log pi
i 1
1 10 1 10
310 5
• 状态转移概率矩阵
0 1 / 2 1 / 2 0 0 0 1 / 3 2 / 3 [ p( s j / si )] 1 / 4 3 / 4 0 0 0 1 / 5 4 / 5 0
稳态分布概率方程组
0 1 / 2 1 / 2 0 0 0 1 / 3 2 / 3 W1 W2 W3 W4 W1 W2 W3 W4 1 / 4 3 / 4 0 0 0 1 / 5 4 / 5 0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
定义：对于给定的离散概率空间表示的 信源，x=xi事件所对应的（自）信息为
1 I ( xi ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.443bit 以10为底，单位为笛特（det) 1det=3.322bit
X +
Y
T
• 编码器输入输出之间的对应关系：
Y1 X 1
Y2 X 2 Y1
Y3 X 3 Y2
...
• Y序列的条件概率：
p00 p(Y2 0 Y1 0) p( X 0) p p01 p(Y2 1Y1 0) p( X 1) q p10 p(Y2 0 Y1 1) p( X 1) q p11 p(Y2 1Y1 1) p( X 0) p
2.1.3 马尔可夫信源
当信源的记忆长度为m+1时，该时该发出的符号与前 m个符号有关联性，而与更前面的符号无关。
p( X1 , X 2 ,, X L ) p( X L / X1 ,, X L1 ) p( X1 , X 2 ,, X L1 ) p( X L / X Lm ,, X L1 ) p( X1 , X 2 ,, X L1 )
j
不可约性，对于任意一对i和j， 都存在至少一 个k，使pij(k)>0.
非周期性，所有pij(n)>0的n中没有比1大的公因 子。
定理：设P是某一马尔可夫链的状态转移矩阵， 则该稳态分布存在的充要条件是存在一个正整 数N，使矩阵PN中的所有元素均大于零。
• Eg. 一个相对编码器，求平稳分布
自信息量的特性： 1.
p( xi ) 1, I ( xi ) 0
2.
p( xi ) 0, I ( xi ) log p( xi )
3.非负性， I ( xi )
若 4.单调递减性， p( x1 ) p( x2 ),则I ( x1 ) I ( x2 )
5.可加性，
1000
1/10
4000
时
平均每篇千字文提供的信息量为
H ( X ) pi log pi
i 1 n
1 1 1 1 1 1 4000 log 4000 4000 log 4000 4000 log 4000 10 10 10 10 10 10 1 1 4000 4000 10 log 4000 10 10 1 log 4000 4000log10 1.3 104 比特/ 千字文 10
按照信源发出的符号之间的关系可分为下列几 种类型：
信源 发出单个符号的无记忆 无记忆信源 信源 发出符号序列的无记忆 信源 信源 有记忆信源发出符号序列的有记忆 夫信源 发出符号序列的马尔可
2.1.2 有记忆信源
• 离散有记忆序列信源
布袋摸球实验，每次取出两个球，由两个球的颜色组 成的消息就是符号序列。若先取出一个球，记下颜色 不放回布袋，再取另一个球。
1 1 H ' ( X ) ln p p ln(1 p) (1 p) p 1 p ln p 1 ln(1 p) 1 1 p ln p
1 p 令 ln 0, 解得p 1 / 2 p
在给定yj条件下，xi的条件自信息量为
I ( xi , y j ) log p ( xi y j )
随机过程分为平稳随机过程和非平稳随机过程。 最常见的平稳随机过程为遍历过程。 对信源输出的波形信号，只要是时间或频率有限的 随机过程，都可以通过采样将其变成时间或频率离 散的连续符号序列。如果原来的随机过程是平稳的， 则采样后的随机序列也是平稳的。 一般情况下，采样得到的2fmtB 个随机变量之间是线 性相关的，也就是说L= 2fmtB维连续随机序列也是平 稳的。
合集下载
第二章 信源熵 第1节
奈特
page10
Chapter 2 信源熵
$2.ቤተ መጻሕፍቲ ባይዱ 信息的度量
约定：由于二进制数字通信系统的普及，比特的应用 最为普遍。当不指明对数的底时( log1 p)，均是 指以2为底。 计算机专业中的比特和信息量中的比特间的区别
计算机专业：例：存储容量=？字节 1字节=8比特 数据传输率 001111101111 比特/秒 思考：是否与0，1出现的概率有关？无关 信息论：比特与0，1出现的概率有关
定长变长编码定理chapter信源熵page321信息的度量211自信息量和互信息量自信息量的定义及性质联合自信息量条件自信息量的定义几种自信息量间的关系互信息量定义的引出物理意义性质212平均自信息量熵信源熵信息熵香农熵平均自信息量定义的引出联合熵和条件熵熵的主要性质及定理加权熵的概念及基本性质213平均互信息量交互熵平均互信息量定义的引出主要性质几种熵信源熵联合熵条件熵交互熵之间的关系chapter信源熵page421信息的度量211自信息量和互信息量一自信息量的定义问题
1 p( A) I ( A) log 5.17 比特 36 5 (2) B：XY={26, 35, 44, 53, 62}。 I ( B ) log 2.85 36 比特 2 (3) C：XY={34, 43}。 I (C ) log 4.17 比特 36
p ( x i ) 0 p ( xi )1
f [ p( AB )]
page6
Chapter 2 信源熵
$2.1 信息的度量
信息量是随机事件概率的函数 概率越小，信息量越大
定性认识： 概率趋近于0，信息量趋近于无穷大 确定性事件，信息量为0
两个独立事件，联合事件的信息量是 二者之和
《信息论与编码》课件1第2章
I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论与编码 第二章 信源与信息熵
按照信源发出的消息在时间上和幅度上的分布情况可 将信源分成离散信源和连续信源两大类 ： 离散信源: 文字、数据、电报
信源
{ 连续信源: 话音、图像
2~3 1~2 0~1 2 1 0
电 压 5~6 4~5 范围 量化 5 4
3~4
3
电 压 -1~0 -2~-1 -3~-2 -4~-3 -5~-4 -6~-5 范围
散无记忆信源。可用一个离散型随机变量X来描述这
个信源输出的消息。
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,, an }
X的概率分布为：
P { p(a1 ), p(a2 ),, p(an )}
2.2.2 离散信源熵
信源熵
——信源的平均不确定度。
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
信源熵是在平均意义上来表征信源的统计特性，它是信源X的函数。
当信源给定，各符号的概率空间就给定，信源熵就是一个确定的值。
不同的信源因概率空间不同而具有不同的信源熵。
无记忆信源
{ 发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出符号序列的信源
——每次发出1组含L个（L≥2）符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
信源
{ 连续信源: 话音、图像
2~3 1~2 0~1 2 1 0
电 压 5~6 4~5 范围 量化 5 4
3~4
3
电 压 -1~0 -2~-1 -3~-2 -4~-3 -5~-4 -6~-5 范围
散无记忆信源。可用一个离散型随机变量X来描述这
个信源输出的消息。
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
可用一个离散型随机变量X来描述这个信源输出的消息。 随机变量X的样本空间就是符号集：
A {a1 , a2 ,, an }
X的概率分布为：
P { p(a1 ), p(a2 ),, p(an )}
2.2.2 离散信源熵
信源熵
——信源的平均不确定度。
H ( X ) E[ I ( X )] p( xi )log p( xi )
i
单位为bit/符号
信源熵是在平均意义上来表征信源的统计特性，它是信源X的函数。
当信源给定，各符号的概率空间就给定，信源熵就是一个确定的值。
不同的信源因概率空间不同而具有不同的信源熵。
无记忆信源
{ 发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出符号序列的信源
——每次发出1组含L个（L≥2）符号的符号序列来代表一 个消息的信源。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 当L=2时，此时信源为X =(X1, X2) ，其概率空间为：
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
信息论与编码第2章信源与信息熵PPT课件
pji(l)p(ul Si |ul1Sj)
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
p(Si |Sj)
pji表示从第(l-1)时刻到第l时刻的状态 转移概率，称为一步状态转移概率。 此时，信源的随机状态序列服从马尔
四、 马尔可夫信源的状态转移图
【补充】 马尔可夫信源的状态序列在数学模型上 可以用马尔可夫链的状态转移图来描述 信源。
状态转移图也可称为香农线图。
2. 数学条件
② 信源某一时刻(l)所处的状态只由当前 输出的符号和前一时刻(l-1)信源的状 态唯一确定。 即：
p(ul Si | xl ak,ul1 Sj ) p(Si | ak,Sj )
(Si,Sj S; ak A)
三、 n阶马尔可夫信源的条件
3. 状态转移概率
设信源在第(l-1)时刻处于状态Sj时， 下一时刻转移到Si的状态概率为：
四、 马尔可夫信源的状态转移图
状态转移图的元素
① 每个圆圈代表一个状态。
② 状态之间的有向线段代表某一状态向 另一状态的转移。
③ 有向线的一侧标注发出的某符号ak和 条件概率p(ak|Sj)。 ak:p(ak|Sj)
S1
S2
【例2.5】
设一个二元一阶马尔可夫信源，信 源符号集为A={0,1}，条件概率为 p(0|0)=0.25，p(0|1)=0.50， p(1|0)=0.75，p(1|1)=0.50。 试画出该信源的状态转移图。 【课本P64 例3.5.2】
假设信源发出的消息x用二进码011表示接收到每个二进制码元后得到有关2012128492222符号符号符号2012128502222平均互信息量其中2012128512222熵的性质对称性确定性香农辅助定理最大熵定理条件熵小于无条件熵20121285222222012128532222对称性信息熵相同2012128542222确定性香农辅助定理loglog2012128552222最大熵定理条件熵小于无条件熵2012128562222平均互信息的性质互易性与熵和条件熵及联合熵关系极值性凸性函数性质信息不增性原理2012128572222同理2012128582222互易性2012128592222平均互信息与熵的关系2012128602222互信息量与熵的关系2012128612222极值性2012128622222凸性函数当条件概率分布给定时平均互信息量是输入概率分布的上凸函数当集合x的概率分布保持不变时平均互信息量是条件概率分布的下凸函数2012128632222信息不增性条件下假设在2012128642323离散无记忆信源的序列熵离散有记忆信源的序列熵2012128652323离散无记忆信源的序列熵ililil2012128662323离散无记忆信源的序列熵平均每个符号熵消息熵2012128672323离散有记忆信源的序列熵和消息熵2012128682323eg求信源的序列熵和平均符号熵361191118211342918792012128692323离散有记忆信源的序列熵和消息熵结论1是l的单调非增函数结论3是l的单调非增函数2012128702323马氏链极限熵左边遍历马氏链对于齐次2012128712323右边2012128722323eg求马氏链平均符号熵三个状态2012128732424幅度连续的单个符号信源熵loglimloglim2012128742424幅度连续的单个符号信源熵互信息条件熵联合熵相对熵2012128752424波形信源熵随机波形信源取条件熵相对熵2012128762424最大熵定理具有最大熵当它是均匀分布时变量对于定义域有限的随机限峰功率最大熵定理dxdxdxdxdxdxdxdxdxdxdxdxdxdxdx2012128772424最大熵定理限平均功率最大熵定理
第2章 信源与信源熵(1)
2016年5月29日7时35 分 13
表述有记忆信源要比表述无记忆信源困 难得多。实际上信源发出的符号往往只与前 面几个符号的依赖关系较强，而与更前面的 符号依赖关系就弱。为此可以限制随机序列 的记忆长度。 当记忆长度为m+1时，称这种有记忆信源 为m阶马尔可夫信源。也就是信源所发出的符 号只与前m个符号有关，与更前面的符号无关。
2016年5月29日7时35 分 6
（二）离散信源的度量 §2.1 信源的数学模型及其分类 正如绪论中所述，在通信系统中收信 者在未收到消息以前，对信源发出 什么消息是不确定的，所以可用随 机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描 述信源。 离散信源的数学模型就是离散型的概 率空间：
这个I(ai)也就是ai本身所含有的信息量，即能
提供的全部信息量，我们称之为ai 的“自信息 量”。
2016年5月29日7时35 分 18
根据上述的一般原则，就可有：
I(ai)＝收到ai前，收信者对信源发ai的不确 定性。 这就是说，信源符号 ai 的自信息量，在 数量上等于信源发符号 ai 的不确定性。 ai 的 度量问题，就转变为信源发符号 ai 的不确定 性的度量问题。 我们知道，不确定性是与可能性相联系 的，而可能性又可由概率的大小来表示．所 以可以断言，自信息量I(ai)一定是信源发符 号ai的先验概率p(ai)的某一函数。
来描述，其中N可为有限正整数或可数的无限值。
2016年5月29日7时35 分
10
在上述随机矢量中，若每个随机变量
x i (i 1,2, , N )
都是离散的，则可用 N重离散概率空间来描述 这类信源。 即若N维随机矢量 X ( x1 , x 2 , , x N ) 中
表述有记忆信源要比表述无记忆信源困 难得多。实际上信源发出的符号往往只与前 面几个符号的依赖关系较强，而与更前面的 符号依赖关系就弱。为此可以限制随机序列 的记忆长度。 当记忆长度为m+1时，称这种有记忆信源 为m阶马尔可夫信源。也就是信源所发出的符 号只与前m个符号有关，与更前面的符号无关。
2016年5月29日7时35 分 6
（二）离散信源的度量 §2.1 信源的数学模型及其分类 正如绪论中所述，在通信系统中收信 者在未收到消息以前，对信源发出 什么消息是不确定的，所以可用随 机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描 述信源。 离散信源的数学模型就是离散型的概 率空间：
这个I(ai)也就是ai本身所含有的信息量，即能
提供的全部信息量，我们称之为ai 的“自信息 量”。
2016年5月29日7时35 分 18
根据上述的一般原则，就可有：
I(ai)＝收到ai前，收信者对信源发ai的不确 定性。 这就是说，信源符号 ai 的自信息量，在 数量上等于信源发符号 ai 的不确定性。 ai 的 度量问题，就转变为信源发符号 ai 的不确定 性的度量问题。 我们知道，不确定性是与可能性相联系 的，而可能性又可由概率的大小来表示．所 以可以断言，自信息量I(ai)一定是信源发符 号ai的先验概率p(ai)的某一函数。
来描述，其中N可为有限正整数或可数的无限值。
2016年5月29日7时35 分
10
在上述随机矢量中，若每个随机变量
x i (i 1,2, , N )
都是离散的，则可用 N重离散概率空间来描述 这类信源。 即若N维随机矢量 X ( x1 , x 2 , , x N ) 中
第2章 信源与信息熵-1
27
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
应用信息论-第2讲-信源熵1
2 1 p ( xi ) p ( y j )
log
2
1 p ( xi )
log
2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息 量之和。
③ 条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量 I(xi/yj)定义为 1 I ( x i / y j ) log 2
互信息量定义 举例 互信息量的三种不同表达式
互信息量定义
X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源通过有干扰的信道发出消息传递给信宿； 信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一 个结果； 最简单的通信系统模型： 信源X、信宿Y的数学模型为
率比值的对数。
I ( x i ; y j ) log log
p ( xi / yi ) 2 p ( xi )
( i 1, 2 , , n ; j 1, 2 , , m )
1 2 p(x / y ) i j
1 2 p(x ) i
log
I ( xi ) I ( xi / y j )
1 p ( xi )
用概率测度定义信息量：
设离散信源X，其概率空间为
X P( X x2 , ， xn x1 , ) p ( x 1 ), p ( x 2 ), , p ( x n )
如果知道事件xi已发生，则该事件所含有的自信息定义为
I ( x i ) log
自信息的测度单位及其换算关系 信息论中“比特”与计算机术语中“比特”区别
log
2
1 p ( xi )
log
2
1 p( y j )
I ( xi ) I ( y j )
两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息 量之和。
③ 条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量 I(xi/yj)定义为 1 I ( x i / y j ) log 2
互信息量定义 举例 互信息量的三种不同表达式
互信息量定义
X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源通过有干扰的信道发出消息传递给信宿； 信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一 个结果； 最简单的通信系统模型： 信源X、信宿Y的数学模型为
率比值的对数。
I ( x i ; y j ) log log
p ( xi / yi ) 2 p ( xi )
( i 1, 2 , , n ; j 1, 2 , , m )
1 2 p(x / y ) i j
1 2 p(x ) i
log
I ( xi ) I ( xi / y j )
1 p ( xi )
用概率测度定义信息量：
设离散信源X，其概率空间为
X P( X x2 , ， xn x1 , ) p ( x 1 ), p ( x 2 ), , p ( x n )
如果知道事件xi已发生，则该事件所含有的自信息定义为
I ( x i ) log
自信息的测度单位及其换算关系 信息论中“比特”与计算机术语中“比特”区别
第二章信源与信息熵
第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。
由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。
较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。
本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该消息就无信息而言。
只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。
因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：（1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。