第2章信源与信息熵
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
第2章 信源与信源熵
p( X 1 ) p( X 2 / X 1 ) p( X 3 / X 1 X 2 ) p( X 1 ) p( X 2 / X 1 ) p( X 3 / X 2 )
m阶马尔可夫信源
p( X L / X 1 X 2
2014-12-30
X L 1 ) p( X L / X L m
X L1 )
X a1 p a P 1 p a2 a2
n an p ai 0, p ai 1 p an i 1
当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 信源可能的消息（符号）数是有限的，而且每次 必定选取其中一个消息输出，满足完备集条件。
无记忆信源 马尔可夫信源：某一个符号出现的概率只与前面一 个或有限个符号有关，而不依赖更前面的那些符号
2014-12-30 5
发出单个符号的无记忆信源
概率空间
概率
随机现象中事件发生的可能性大小是客观存在的，因此 可以对它进行量度。量度的数量指标就是概率。 样本空间 某事物各种可能出现的不同状态，即所有可能选择的消 息集合。 每个可能选择的消息是这个样本空间的一个元素。 概率空间
第2章 信源及信源熵
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 冗余度
2.5 连续信源熵和互信息
2014-12-30 1
复习信息的概念
在信息论中，信源是发出消息的源，信源输出 以符号形式出现的具体消息。 如果符号是确定的而且预先是知道的，那么该 消息就无信息而言。只有当符号的出现是随机 的，预先无法确定，那么一旦出现某个符号就 给观察者提供了信息。 因此，应该用随机变量或随机矢量来表示信源， 运用概率论和随机过程的理论来研究信息，这 就是香农信息论的基本点。
第2章信源与信息熵
7
称为符号x 的先验概率，信源数学模型表示为： 称为符号 i的先验概率，信源数学模型表示为：
X x1 P = p( x ) 1 x2 p( x 2 ) x3 L p( x 3 ) L xn p( x n )
n
称为概率空间， 称为概率空间，其中
长江大学电信学院
长江大学电信学院
12
X
概率论知识复习
1）条件概率
p ( xi | y j ) = p ( xi y j ) p( y j ) , p ( y j | xi ) = p( xi y j ) p( xi )
13
2）联合概率
p ( xi y j ) = p ( y j ) p ( xi | y j ), p( xi y j ) = p ( xi ) p ( y j | xi )
16
长江大学电信学院
X
2.2 离散信源熵和互信息
如果信源具有更多的消息，例如发10个 【例2.3 】如果信源具有更多的消息，例如发 个 数字0,1…..9(例如采用 位十进制树的中文电报 ， 例如采用4位十进制树的中文电报 数字 例如采用 位十进制树的中文电报)， 而且假定这是个消息是等概率分布的，均为0.1， 而且假定这是个消息是等概率分布的，均为 ， 这时信宿仅凭猜测的话，就更难猜了。 这时信宿仅凭猜测的话，就更难猜了。因为信源 发送什么消息更加不确定。 发送什么消息更加不确定。 现在讨论一种极端的情况， 【例2.4 】现在讨论一种极端的情况，信源只发送 一种消息，即永远只发送1或者只发送 或者只发送0， 一种消息，即永远只发送 或者只发送 ，从这样 的信源中我们就不能从中获取任何信息， 的信源中我们就不能从中获取任何信息，也就是 说信源的不确定性为0。 说信源的不确定性为 。
第2章 信源与信息熵(5)
n 27
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
2信源与信息熵1new
• 可以理解，平稳马尔可夫信源肯定是齐次信源。 反 之不成立。(P11)
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
信息论与编码 第2章 信源与信息熵
设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0），
且有B1∪B2∪…=Ω（样本空间）；
P(Bi)＞0,i=1，2…，则对任一事件A，有：
p( A) p( Bi ) p( A | Bi ) p( ABi )
i i
2013-8-19
5
相 关 知 识 复 习
4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件 A，有：
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
2013-8-19
9
2.1信源特性与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两
个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
2.1信源描述与分类
马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在
不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
lim p p j k p j 0
(k ) ij i 0
p j pi pij
2013-8-19
p
j
j
1
22
2.1信源描述与分类
马尔可夫信源 定理：设有一齐次马尔可夫链，其状态
2.1 马尔可夫信源的定义
3. 【特殊说明】
① n阶马尔可夫信源只与前面发 出的n个符号有关，即关联长 度为n+1。
② 当n=1时，即任何时刻信源符 号发生的概率只与前面一个符 号有关，则称为一阶马尔可夫 信源。
且有B1∪B2∪…=Ω（样本空间）；
P(Bi)＞0,i=1，2…，则对任一事件A，有：
p( A) p( Bi ) p( A | Bi ) p( ABi )
i i
2013-8-19
5
相 关 知 识 复 习
4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件 A，有：
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
2013-8-19
9
2.1信源特性与分类
离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两
个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
2.1信源描述与分类
马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在
不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
lim p p j k p j 0
(k ) ij i 0
p j pi pij
2013-8-19
p
j
j
1
22
2.1信源描述与分类
马尔可夫信源 定理：设有一齐次马尔可夫链，其状态
2.1 马尔可夫信源的定义
3. 【特殊说明】
① n阶马尔可夫信源只与前面发 出的n个符号有关，即关联长 度为n+1。
② 当n=1时，即任何时刻信源符 号发生的概率只与前面一个符 号有关，则称为一阶马尔可夫 信源。
第2章 信源与信息熵-1
27
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
联合自信息、条件自信息与自信息间 的关系
I(xiyj )=- log2p(xi)p(yj|xi)= I(xi)+I (yj|xi)
16
【例2.1 】某二元信源（含有两个不同消息的信源）发 送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简 单的认为信源发出的消息始终都是1，即使如此，猜错 的概率仅为百分之一。这说明在这种情况下，信源基 本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5， 这时信宿不依赖通信仅凭猜测的话，猜错的概率高达 50%。这说明在这种情况下，猜测信源发送什么消息 就困难了，因为信源发送什么消息相当不确定。
X 0 1 0 1 p p P 0 1 / 2 1 / 2 1
8
单个连续信源
X (a, b) p ( x) P X
pX(x)为随机变量X的概率密度函数
b
a
p X ( x) 1
19
二、自信息量
1) 定义：一个符号消息 xi 的自信息量为其发生概率的 对数的负数，并记为 I(xi)； I (xi) = -log p(xi) 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 2) 自信息量的单位 自信息量的单位与所用对数的底有关：
1º对数的底是2 时，单位为比特 — bit(binary unit) 2º对数的底是 e (自然对数)时，单位为奈特
第二章
信源与信息熵
本章内容
• 信源的分类及基本的信源数学模型描述、自信息 和信息熵的定义及性质、互信息的概念及性质、 信源冗余度的描述等。
本章重点
• 理解信源不确定性的含义，熵函数H(X)的性质、 平均互信息量的定义、性质，联合信源的联合熵、 条件熵，离散平稳信源的信源熵、极限熵等概念 和计算方法。 • 了解马尔可夫信源的定义和计算方法。
第二章信源与信息熵
第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。
由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。
较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。
本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该消息就无信息而言。
只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。
因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：（1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息
含义：
信源输出符号后提供的平均信息量 信源输出符号前，存在的平均不确定性，是固有 的。 反映了信源的随机性
普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
例2. 有两个信源，概率空间分别为
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1信源描述与分类
描述：通过概率空间描述 单符号离散无记忆信源
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n
例如：二进制数字与数据信源
X 0 P( x) P 0
5
b
2.1信源描述与分类
离散序列无记忆信源
X (a1 , a1 , a1 ) (a1 , a1 , a2 ) (an , an , an ) P ( a , a a ) P ( a a a ) P ( a , a a ) P ( X ) 1 2 2 2 n n n 1 1
P( X N X 1 ,, X N 1 ) P( X N 1 X 1 ,, X N 2 ) P( X 1 ,, X N 2)
P( X N X 1 ,, X 1 ) P( X 2 X 1 ) P( X 1 )
普通高等教育“十五”国家级规划教材《信息论与编码》
8
当p=1/2
X 000 001 111 1 1 1 P ( X ) 8 8 8
普通高等教育“十五”国家级规划教材《信息论与编码》
7
离散序列有记忆信源
P( X 1 , X 2 ,, X N ) P( X N X 1 ,, X N 1 ) P( X 1 ,, X N 1 )
i 1 j 1 n m
m
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》
23
2.2离散信源熵与互信息
例：已知信源X和Y都是由0和1两个符号构成，XY 的联合概率为： P(a1=0,b1=0)=P(a2=1,b2=1)=1/8 P(a1=0,b2=1)=P(a2=1,b1=0)=3/8 计算条件熵 H ( X Y )
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi )log p( xi)
i
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
普通高等教育“十五”国信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
1 p ( xi , y j ) 64
（1）联合（自）信息量为
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64
（2）条件（自）信息量为
I ( xi / y j ) log2 p( xi / y j ) log2 p( xi , y j ) 1 log2 3bit p( y j ) 8
15
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2离散信源熵与互信息
二、单符号离散信源熵
11
2.2离散信源熵与互信息
性质
当P(ai)=1时，I(ai)=0; 当P(ai)=0时，I (ai ) 非负性，即 I (ai ) 0 单调递减性。若 P(a1 ) P(a2 ) ，则 I (a1 ) I (a2 )
普通高等教育“十五”国家级规划教材《信息论与编码》
1 I (ai b j ) log log P(ai b j ) P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
10
2.2离散信源熵与互信息
含义
信源输出符号ai后提供的信息量 信源输出符号ai前，存在的不确定性，是固有的。
普通高等教育“十五”国家级规划教材《信息论与编码》
a2 X a1 P( x) 0.88 0.12
Y b1 b2 P( y ) 0.5 0.5
H(X)=-0.88log0.88-0.12log0.12=0.529bit/符号 H(Y)=-0.5log0.5-0.5log0.5=1bit/符号
若2个符号不独立：
I (ai , b j ) log[ P(ai ) P(b j ai )] log P(ai ) log P(b j ai ) I (ai ) I (b j ai )
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号。 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
三、离散信源条件熵 假设有两个集合X和Y
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
离散信源平均互信息
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
普通高等教育“十五”国家级规划教材《信息论与编码》
24
2.2离散信源熵与互信息
四、离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x，y)的数学期望为集合X和集合Y 的信源联合熵，单位为比特/序列
H ( XY ) E[ I ( xy)] p( xi , y j )log p( xi , y j )
2.2离散信源熵与互信息
一、自信息
定义：对于给定的离散概率空间表示的信源， x=ai事件所对应的（自）信息为
1 I (ai ) log log P(ai ) P(ai )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
i, j
普通高等教育“十五”国家级规划教材《信息论与编码》
25
2.2离散信源熵与互信息
例：若有6行8列的棋形方格，现有两个质点A和B， 分别以等概率落入任一方格内，但不能落入同一 方格内，求A，B同时都落入的平均信息量。
普通高等教育“十五”国家级规划教材《信息论与编码》
26
2.2离散信源熵与互信息
P( X ) P( X 1 X 2 X L ) P( X 1 ) P( X 2 ) P( X L ) [ P( X )]L
普通高等教育“十五”国家级规划教材《信息论与编码》
6
以3位PCM信源为例
X 000 001 111 3 2 3 P 1 1 P( X ) P0 P0 P
1 0 1 P 1 2
1 1 2
4
普通高等教育“十五”国家级规划教材《信息论与编码》
2.1信源描述与分类
单符号连续无记忆信源
X ( a, b) p ( x) p ( x) X
满足 p X ( x)dx 1
a
普通高等教育“十五”国家级规划教材《信息论与编码》
X x1 x2 P 0.8 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
17
2.2离散信源熵与互信息
I ( x1 ) log 2 p( x1 ) log 2 0.8bit I ( x2 ) log 2 p( x2 ) log 2 0.2bit N 次后所获得的信息量为 I Np( x1 ) I ( x1 ) Np( x2 ) I ( x2 ) ( 0.8log 2 0.8 0.2 log 2 0.2) N 平均每次所获得的信息量为 I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p ( xi ) log p ( xi )
12
可加性。2个符号的联合信息量
I (ai , b j ) log P(ai , b j )
若2个符号独立：
I (ai , b j ) log[ P(ai ) P(b j )] log P(ai ) log P(b j ) I (ai ) I (b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息
含义：
信源输出符号后提供的平均信息量 信源输出符号前，存在的平均不确定性，是固有 的。 反映了信源的随机性
普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
例2. 有两个信源，概率空间分别为
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1信源描述与分类
描述：通过概率空间描述 单符号离散无记忆信源
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n
例如：二进制数字与数据信源
X 0 P( x) P 0
5
b
2.1信源描述与分类
离散序列无记忆信源
X (a1 , a1 , a1 ) (a1 , a1 , a2 ) (an , an , an ) P ( a , a a ) P ( a a a ) P ( a , a a ) P ( X ) 1 2 2 2 n n n 1 1
P( X N X 1 ,, X N 1 ) P( X N 1 X 1 ,, X N 2 ) P( X 1 ,, X N 2)
P( X N X 1 ,, X 1 ) P( X 2 X 1 ) P( X 1 )
普通高等教育“十五”国家级规划教材《信息论与编码》
8
当p=1/2
X 000 001 111 1 1 1 P ( X ) 8 8 8
普通高等教育“十五”国家级规划教材《信息论与编码》
7
离散序列有记忆信源
P( X 1 , X 2 ,, X N ) P( X N X 1 ,, X N 1 ) P( X 1 ,, X N 1 )
i 1 j 1 n m
m
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》
23
2.2离散信源熵与互信息
例：已知信源X和Y都是由0和1两个符号构成，XY 的联合概率为： P(a1=0,b1=0)=P(a2=1,b2=1)=1/8 P(a1=0,b2=1)=P(a2=1,b1=0)=3/8 计算条件熵 H ( X Y )
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi )log p( xi)
i
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
普通高等教育“十五”国信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
1 p ( xi , y j ) 64
（1）联合（自）信息量为
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64
（2）条件（自）信息量为
I ( xi / y j ) log2 p( xi / y j ) log2 p( xi , y j ) 1 log2 3bit p( y j ) 8
15
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2离散信源熵与互信息
二、单符号离散信源熵
11
2.2离散信源熵与互信息
性质
当P(ai)=1时，I(ai)=0; 当P(ai)=0时，I (ai ) 非负性，即 I (ai ) 0 单调递减性。若 P(a1 ) P(a2 ) ，则 I (a1 ) I (a2 )
普通高等教育“十五”国家级规划教材《信息论与编码》
1 I (ai b j ) log log P(ai b j ) P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
10
2.2离散信源熵与互信息
含义
信源输出符号ai后提供的信息量 信源输出符号ai前，存在的不确定性，是固有的。
普通高等教育“十五”国家级规划教材《信息论与编码》
a2 X a1 P( x) 0.88 0.12
Y b1 b2 P( y ) 0.5 0.5
H(X)=-0.88log0.88-0.12log0.12=0.529bit/符号 H(Y)=-0.5log0.5-0.5log0.5=1bit/符号
若2个符号不独立：
I (ai , b j ) log[ P(ai ) P(b j ai )] log P(ai ) log P(b j ai ) I (ai ) I (b j ai )
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号。 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
三、离散信源条件熵 假设有两个集合X和Y
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
离散信源平均互信息
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
普通高等教育“十五”国家级规划教材《信息论与编码》
24
2.2离散信源熵与互信息
四、离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x，y)的数学期望为集合X和集合Y 的信源联合熵，单位为比特/序列
H ( XY ) E[ I ( xy)] p( xi , y j )log p( xi , y j )
2.2离散信源熵与互信息
一、自信息
定义：对于给定的离散概率空间表示的信源， x=ai事件所对应的（自）信息为
1 I (ai ) log log P(ai ) P(ai )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
i, j
普通高等教育“十五”国家级规划教材《信息论与编码》
25
2.2离散信源熵与互信息
例：若有6行8列的棋形方格，现有两个质点A和B， 分别以等概率落入任一方格内，但不能落入同一 方格内，求A，B同时都落入的平均信息量。
普通高等教育“十五”国家级规划教材《信息论与编码》
26
2.2离散信源熵与互信息
P( X ) P( X 1 X 2 X L ) P( X 1 ) P( X 2 ) P( X L ) [ P( X )]L
普通高等教育“十五”国家级规划教材《信息论与编码》
6
以3位PCM信源为例
X 000 001 111 3 2 3 P 1 1 P( X ) P0 P0 P
1 0 1 P 1 2
1 1 2
4
普通高等教育“十五”国家级规划教材《信息论与编码》
2.1信源描述与分类
单符号连续无记忆信源
X ( a, b) p ( x) p ( x) X
满足 p X ( x)dx 1
a
普通高等教育“十五”国家级规划教材《信息论与编码》
X x1 x2 P 0.8 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
17
2.2离散信源熵与互信息
I ( x1 ) log 2 p( x1 ) log 2 0.8bit I ( x2 ) log 2 p( x2 ) log 2 0.2bit N 次后所获得的信息量为 I Np( x1 ) I ( x1 ) Np( x2 ) I ( x2 ) ( 0.8log 2 0.8 0.2 log 2 0.2) N 平均每次所获得的信息量为 I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p ( xi ) log p ( xi )
12
可加性。2个符号的联合信息量
I (ai , b j ) log P(ai , b j )
若2个符号独立：
I (ai , b j ) log[ P(ai ) P(b j )] log P(ai ) log P(b j ) I (ai ) I (b j )