第2章 信源与信息熵
合集下载
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
第2章信源与信息熵
香农辅助定理
H (p 1 ,p 2 ,p 3 ) p ilo p i g p ilo q i g
i
i
普通高等教育“十五”国家级规划教材《信息论与编码》
32
2.2离散信源熵与互信息
最大熵定理
H (X)H (1,1, 1)loM g
条件熵小于无条M 件M 熵 M
H(Y/X)H(Y)
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章信源与信息熵
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
信源的基本特性是具有随机不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源描述与分类
连续信源
p U (u ) (p a (,u b ))
离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x/y)在集合X上的数学期望为给定y 条件下信源的条件熵，单位为比特/序列
H ( X /y ) E [ I ( X /y ) ] p ( x i/y ) l o g p ( x i/y )
i
H ( X / Y ) E [ H ( X /y ) ] p ( y j ) p ( x i/y j ) l o g p ( x i/y j )
I Np( x1) I ( x1) Np( x2 ) I ( x2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息量为
I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p( xi ) log p( xi )
i
普通高等教育“十五”国家级规划教材《信息论与编码》
H (p 1 ,p 2 ,p 3 ) p ilo p i g p ilo q i g
i
i
普通高等教育“十五”国家级规划教材《信息论与编码》
32
2.2离散信源熵与互信息
最大熵定理
H (X)H (1,1, 1)loM g
条件熵小于无条M 件M 熵 M
H(Y/X)H(Y)
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章信源与信息熵
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
信源的基本特性是具有随机不确定性
普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源描述与分类
连续信源
p U (u ) (p a (,u b ))
离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x/y)在集合X上的数学期望为给定y 条件下信源的条件熵，单位为比特/序列
H ( X /y ) E [ I ( X /y ) ] p ( x i/y ) l o g p ( x i/y )
i
H ( X / Y ) E [ H ( X /y ) ] p ( y j ) p ( x i/y j ) l o g p ( x i/y j )
I Np( x1) I ( x1) Np( x2 ) I ( x2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息量为
I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p( xi ) log p( xi )
i
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
第2章信源与信息熵
7
称为符号x 的先验概率，信源数学模型表示为： 称为符号 i的先验概率，信源数学模型表示为：
X x1 P = p( x ) 1 x2 p( x 2 ) x3 L p( x 3 ) L xn p( x n )
n
称为概率空间， 称为概率空间，其中
长江大学电信学院
长江大学电信学院
12
X
概率论知识复习
1）条件概率
p ( xi | y j ) = p ( xi y j ) p( y j ) , p ( y j | xi ) = p( xi y j ) p( xi )
13
2）联合概率
p ( xi y j ) = p ( y j ) p ( xi | y j ), p( xi y j ) = p ( xi ) p ( y j | xi )
16
长江大学电信学院
X
2.2 离散信源熵和互信息
如果信源具有更多的消息，例如发10个 【例2.3 】如果信源具有更多的消息，例如发 个 数字0,1…..9(例如采用 位十进制树的中文电报 ， 例如采用4位十进制树的中文电报 数字 例如采用 位十进制树的中文电报)， 而且假定这是个消息是等概率分布的，均为0.1， 而且假定这是个消息是等概率分布的，均为 ， 这时信宿仅凭猜测的话，就更难猜了。 这时信宿仅凭猜测的话，就更难猜了。因为信源 发送什么消息更加不确定。 发送什么消息更加不确定。 现在讨论一种极端的情况， 【例2.4 】现在讨论一种极端的情况，信源只发送 一种消息，即永远只发送1或者只发送 或者只发送0， 一种消息，即永远只发送 或者只发送 ，从这样 的信源中我们就不能从中获取任何信息， 的信源中我们就不能从中获取任何信息，也就是 说信源的不确定性为0。 说信源的不确定性为 。
第2章 信源与信息熵(5)
n 27
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
②统计表明各符号出现的概率如P37表2-7，此时熵值： 统计表明各符号出现的概率如 ，此时熵值：
H1 ( X ) = −∑ p ( xi ) log 2 p ( xi ) = 4.03bit / 符号
i =1 n
可见：各符号出现概率等概处理时，熵值较大。 可见：各符号出现概率等概处理时，熵值较大。
2 .4 连续信源熵和互信息
二、最大熵定理
限峰值功率最大熵定理 信源输出的幅度X受限时 定义域有限的随机变量X）， 受限时（ 信源输出的幅度 受限时（定义域有限的随机变量 ）， 满足均匀分布时， 当X满足均匀分布时，具有最大熵。 满足均匀分布时 具有最大熵。 若变量X的幅度取值限制在 若变量 的幅度取值限制在[a,b]，概率密度函数为 X(x)， 的幅度取值限制在 ，概率密度函数为p ， 当满足均匀分布时， 当满足均匀分布时，则：
上节内容回顾
三、离散序列信源熵
2、有记忆信源序列熵
p ( xi ) = p( xi1 xi2 L xiL ) = p( xi1 ) p ( xi2 | xi1 ) p ( xi3 | xi1 xi2 )L p( xiL | xi1 xi2 L xiL−1 )
若信源输出一个L长序列, 若信源输出一个L长序列,则信源的序列熵为
2 .4 连续信源熵和互信息
一、幅度连续的单个符号信源
单变量x 是连续变量x 单变量x，设 x ∈ [ a , b ] p X ( x ) 是连续变量x的概率密度函数 b−a 令： ∆ x = n xi ∈ a + ( i − 1) ∆ x , a + i ∆ x 由中值定理得： 由中值定理得： p ( x i ) = 根据离散信源熵的定义： 根据离散信源熵的定义：
2信源与信息熵1new
• 可以理解，平稳马尔可夫信源肯定是齐次信源。 反 之不成立。(P11)
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
状态
• 教材P10：为了简化马尔可夫信源的数学处理过程， 引入状态的概念以替代随机向量。
• 状态si ：为了将高阶(m阶)马尔可夫链简化为一阶马 尔可夫链，可以将向量转换为状态变量。含义：一 个长度为m的符号序列！
• 理解：状态的数量是Q=nm；随着信源源源不断地发 出消息，符号序列不断变化，也即：状态不断变化。
• 这个空间共有qN个元素。
(aq aq aq )
p(aq aq aq )
• (对照：教材P9。)
多符号、无记忆、离散信源
• 在某些简单的情况下，信源先后发出的一个个符号
彼此是统计独立的，则N维随机向量的联合概率分布
满足
N
p( X )
p(xi )
i 1
• 即N维随机向量的联合概率分布可用随机向量中单个 随机变量的概率乘积来表示。
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
• 注意理解：各个随机变量的概率空间可能相同，也 可能不同。
• 例如：两次红绿灯的消息、两次投掷硬币的结果、 有放回的两次摸球的结果；一次红绿灯消息加上一 次投掷硬币的结果、无放回的两次摸球的结果。
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
第二章信源与信息熵
第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。
重点：离散/连续信源熵和互信息。
难点：离散序列有记忆信源熵。
说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。
由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。
较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。
本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。
作业：2．1—2．7，2．10，2．12。
课时分配：10课时。
板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该消息就无信息而言。
只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。
因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类离散信源：文字、数据、电报——随机序列连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系：（1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1n m nijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。
第二章信源与信息熵
j i, j
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
I ( X ; Y ) p( yj ) I ( X ; yj ) p( xiyj ) log
p( xi / yj ) p( xi )
I(X;Y)=H(X)-H(X/Y)；I(Y;X)=H(Y)-H(Y/X)=I(X;Y)．
• 3.疑义度或损失熵
条件熵H(X/Y)信道上的干扰和噪声所造成的对信源符号x的平均不确定度．
X 0 P p
二元信源熵为
1 q
H (X ) p log p q log q p log p (1 p ) log(1 p ) H ( p)
信源信息熵H(X)是概率p的函数，通常用 H(p)表示。函数曲线如图
i i
I ( xi) 0; P( xi) 0;0 p( xi) 1
H(X ) 0
• 2.信源熵：表征信源的平均不确定度． 3.平均自信息：平均每个信源符号所能提供的信息 量.大小与信源熵相同.
• 例2.2.3二元信源是离散信源的一个特例。该信源X输出符号只 有两个，设为0和1。输出符号发生的概率分别为p和q，p+q=1。 即信源的概率空间为可得二元信源熵为
2.概率空间
一个离散信源发出的各个符号消息的集合 例如：
X＝｛x1，x2，…，xn｝
它们的概率分别为 P＝｛p(x1)，p(x2)，…，p(xn)｝ p(xi)称为符号xi的先验概率。 把他们写到一起就是概率空间:
X x1 P p( x1)
x2
n
...xn
xiyi 所包含的不确定度在数值上也等于它们的自信息量。
4.条件自信息量:当二者不独立 在给定y条件下，随机事件x所包含的不确定度在数值 上与条件自信息量相同，但两者含义不同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
pij (m, n) PS n s j / S m si Ps j / si pij (m, n) 0 pij (m, n) 1 j
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )i Nhomakorabea34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )i Nhomakorabea34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消息（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ