第二章(1) 信源熵
合集下载
信源熵
I ( y j ) I ( y j | xi ) I ( y j )
19
条件互信息量
条件互信息量： 在给定 zk 的条件下，xi 与 y j 之间的互信
I ( xi ; y j ) 0 后验概率 先验概率，X 与 Y 统计独立
I ( xi ; y j ) 0 后验概率 先验概率：由于信道受到干扰， 信宿收到 y j 后不但未使 xi 的不确定度 减少，反而增大了 xi 的不确定度 两个消息之间的互信息不大于其中任一消息的自信息 I ( xi ; y j ) I ( xi ) I ( x i | y j ) I ( x i )
符号从平均意义上表征信源总体特性的一个量对于特定的信源其熵只有一个1log?niiipxpx????1logniiipxpx????信息熵的物理含义信源输出前表征信源的平均不确定度信源输出后表征信源发出的每个消息所能提供的平均信息量是一个统计量反映了随机变量x的随机性22统计热力学中熵是表示分子混乱程度的一个物理量在孤立系统中进行的自发过程总是沿着熵增加的方向进行它是不可逆的平衡态相应于熵取最大值的状态即熵增加原理香农借用热力学中熵来描述信源的平均不确定度在信息论中有用的信息熵只会减少不会增加所以信息熵也被称为负热熵ijxyxy
2
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
三种表达形式等效
log log p( x i y j ) p( x i ) p( y j ) p( y j | x i ) p( y j )
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
信息论与编码2-信源及信源熵1
9
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
2-2 第2章 信源熵及其基本性质和定理
1、信源熵；2、条件熵；3、联合熵 信源熵； 条件熵；
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
2.1.3 2.1.4 2.1.5 2.1.6
信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
1
自信息量不能作为信源的信息测度
自信息量 I ( xi ), i = 1,2,... 是指某一信源X发出某一信 息符号 x i 所含有的信息量。发出的信息符号不同， 它们所含有的信息量就不同。
晴 地域A 1/2 地域B 1/2 多云 1/4 1/8 雨 1/8 1/8 冰雹 1/8 1/4
H(A) = H(B) =1.75bit 1 1 2 = log 2 + log 4 + log 8 2 4 8
17
熵函数的性质—— 2. 非负性 熵函数的性质
非负性
H(X ) = H[ p(x1), p(x2 ),L, p(xn )] H(X ) = −∑p(xi ) log p(xi ) ≥ 0
信源熵与平均自信息量数值相等，含义不同
信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信 息的度量；
信源熵H(X)的三种物理含义：
表示信源输出后，每个离散消息所提供的平均 信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。
9
条件熵
定义 2.1.7 联合集XY上，条件自信息量I(x|y)的 概率加权平均值定义为条件熵。其定义式为
f α X 1 + (1 − α ) X 2 < α f ( X 1) + (1 − α ) f ( X 2) ( X 1 ≠ X 2)
则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。 f(x)是上凸函数 是上凸函数， f(x)便是下凸函数 反过来也成立。 便是下凸函数， 若f(x)是上凸函数，则-f(x)便是下凸函数，反过来也成立。故， 通常只需研究上凸函数
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
信息论与编码第二章(1、2节)
以2为底比特bit以10为底奈特nat取自然对数笛特det0693nat0301det2不确定度不确定度是信源符号固有的不论符号是否发出自信息量是信源符号发出后给予收信它与自信息量在数字上大小相等但表示的物理含义不一样
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章：信源与信源熵
2.1 信源的描述与分类
信源的统计特性
1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据…。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源， 数学上，信源是产生 随机变量 U， 随机序列 U和 随机 过程U(t,ω)的源。
联合熵、条件熵的关系：
H(XY) = H(X) + H(Y / X) = H(Y) + H(X / Y)
当X,Y相互独立时，有：
p(ak , bj ) = p(ak ) p(bj )
p a | bj ) = p a ) ( k ( k p bj | a ) = p bj ) ( ( k
于是有：
H( X ) = H( X) + H( ) Y Y H( X | Y) = H(X) H( Y | X) = H( ) Y
1 [np(x1)I (x1) + np(x2 )I(x2 )] = −∑p(xi ) log p(xi ) n i
信源熵是在平均意义上来表征信源的总体特性。
1、离散信源熵 H(X) = −∑p(xi ) log p(xi )
i
例: 试验前：
X ＝ P（x）
1
2
3 1/6
4 1/6
5 1/6
6 1/6
2）信源的主要特性
信Hale Waihona Puke 的最基本的特性是具有统计不确定性，它可用概 率统计特性来描述。
第二章基本信息论1_信源不确定性-精品文档
X 1 0 例 2 ： pX ( ) 0 . 50 . 5
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
X 0 1 2 3 4 5 6 7 8 9 例 3 ： p ( X ) 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1 0 . 1
信息速率和信道容量的概念，离散有噪
信道的熵速率，可疑度的物理解释，连 续有噪信道的信道容量
三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码
常用的信源编码：山农费诺编码、哈夫
曼编码和L-D编码
本章作业
P113： 1-9，11，15，17，20，21
2.1 信源及信源的不确定性
发生概率小的事件不确定性大， 发生概率大的事件不确定性小 4）两个独立事件的联合信息量应等于它们分别 信息量之和
三、信息度量
信源消息 x i 的自信息量：
Ix () l o g p () x i i
表示信源发出一个消息 x i 所含有（或所提供）的 非平均自信息量
ห้องสมุดไป่ตู้
也表示通信发生前，信源发送消息 x i 的不确定度。
n
p (x gp (x i )lo i)
即信源的非平均不确定度
条件自信息量
I (/ x ) l o g p (/ x ) i y j i y j
y 已 知 的 条 件 下 ， 发 生 x 所 带 来 的 信 息 量 j i
信宿接收到消息 y j 后，对信源发送消息 x i 尚存的不 确定度。
从信宿端看，信息量的定义：
I（信息量）=不肯定程度的减少量
log p( xi / y j ) p( xi )
第2章 信源熵 第1讲 自信息量 与 互信息量
余 映 云南大学
17/38
计算举例
• 对于 2n 进制的数字序列, 假设每一符号的出现完 全随机且概率相等，求任一符号的自信息量。 解：设任一码元 xi 出现概率为 p(xi)，根据题意， p(xi) = 1/ 2n I (xi) = –log(1/ 2n) = n (bit) • 事件的自信息量只与其概率有关，而与它的取值 无关。
余 映 云南大学
18/38
信息量与不确定性的关系
• 信源中某一消息发生的不确定性越大，一旦它发生，并为 收信者收到后，消除的不确定性就越大，获得的信息也就 越大。 • 由于各种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未 消除时，则收信者获得较少的信息或者说一点也没有获得 信息。
余 映 云南大学 21/38
信息量与不确定性的关系
• 自信息量和不确定度的含义又有区别
– 不确定度只与事件的概率有关，是一个统计量，在静 态状态下也存在； – 自信息量只有该随机事件出现时才给出，不出现时不 给出，因此它是一个动态的概念。
余 映 云南大学
22/38
自信息的含义
• 在事件 xi 发生前：表示事件 xi 发生的不确定性。 • 在事件 xi 发生后：表示事件 xi 所提供的信息量。
余 映 云南大学
19/38
信息量与不确定性的关系
• 信息量的直观定义：
收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) • 在无噪声时，通过信道传输，可以完全不失真地收到消息， 收到此消息后关于某事件发生的不确定性完全消除，此项 为零。因此得 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一阶马尔可夫信源：m＝1
p( x1 , x2 , x3 ,...,xL ) p( xL | xL1 ) p( xL1 | xL2 )...p( x2 2.2.1自信息量
概率大小决定信息量的大小 1.自信息量的定义：
I(x i ) log 2 p(x i )
条件熵表示已知Y后，X的不确定度
联合熵
定义：
H(X ,Y)
p(x i ,y )I(xi ,y )
j j j
p(x i ,y )logp(x i ,y )
j j j
联合熵表示X和Y同时发生的不确定度
联合熵、熵、条件熵三者之间的关系
H(X,Y)= H(X)+H(Y|X) = H(Y)+H(X|Y)
Logo
第二章 信源与信息熵
informationzhl@
邹慧兰
本节目的
1
了解信源的分类
2
理解自信息量的概念，意义
3
理解信息熵的概念及意义
本章内容
1 信源的分类
2
离散信源熵和互信息
3 离散序列信源的熵
4
连续信源的熵和互信息
5
冗余度
2.1 信源分类
1.按照消息在时间和幅度上的分布情况分：
2.1.3 马尔可夫信源
定义：该时刻的符号与前m个符号有关联性，与更 前的符号无关。她是一种有记忆信源。 概率公式表示： 只和前m个有关
p(x1,x 2 ,x 3 ,..., x L ) p(x L | x1,x 2 ,x 3 ,..., x L 1 ) p(x1,x 2 ,x 3 ,..., x L 1 )
例2-9
二进制通信系统使用符号0和1，由于存在失真，传输时会 产生误码 ，用符号表示下列事件。 u0:一个0发出 u1:一个1发出 v0:一个0收到 v1:一个1收到 给定下列概率，p(u0)=1/2, p(v0|u0)=3/4, p(v0|u1)=1/2,
H(X) p(x i ) log 2 p(x i )
i
lb10
-3 105
3 10 5 3.322 10 6 bit/ 符号
例2-7 二元信源X输出符号只有两个，设为0和1，输出符号 的概率分别为p和q，p+q=1，信源的概率空间为
X 0 P p 1 yj q
信息熵的物理意义
1 信息熵表示了信源输出前，信源的平均不确定度 2 信息熵表示了信源输出后，每个符号所提供的平 均信息量
例2-5 设信源符号集X={x1,x2,x3},每个符号发生的概率分别为： p(x1) ＝0.5， p(x2) ＝0.25， p(x3) ＝0.25。求信源熵 依据公式：
H(X) p(x i ) log 2 p(x i )
a n ,a n p a ,a
n n
2.1.2 有记忆信源
例二：不放回抽样 若第一个球为红色，则在抽取第二个球时的概率为 红色 白色 P (a1)＝79/(79+20) P (a2)＝20/(79+20)
若第一个球为白色，则在抽取第二个球时的概率为 红色 白色 P (a1)＝80/(79+20) P (a2)＝19/(79+20)
例2-4 布袋内100个球，80个红色，20个白色，随 机摸取一个，猜测其颜色。 用随机变量X表示取球事件 该信源的概率空间为： （x1表示摸出的是红球， x2表示摸出的是白球。)
x1 x2 X P p x 1 p x 2
摸到红球，获得信息量是： I(x 1) lbp(x 1) lb0.8bit 摸到白球，获得信息量是： I(x 2) lbp(x 2) lb0.2bit n次实验后，红球出现次数： np(x 1)
I(e) log 2 0.105 3.25bit
I(c) log 2 0.023 5.44bit
I(o) log 2 0.001 9.97bit
2.2.2 离散信源熵
自信息量只表征各个符号的不确定度
一个信源包括多个符号，自信息量不能作为整体的
信息量度。 求信息总体的信息量度 采取求平均的方法
例：信源发出二进制数0、1，其中概率 p(0)＝0.25，p(1)＝0.75 则这两个符号的自信息量为：
I( 0) log 2 0.25 2bit
I( 1) log 2 0.75 0.415bit
自信息量：
I(x i ) log 2 p(x i )
联合自信息量
I(x i ,y j ) log 2 p(x i ,y j )
X 0
1/4 1/2
3/4
Y
0
? 1
1 (1）求信源熵
2 1 H(X) H ( ， ) 0.92bit/ 符号 3 3
1/2
(2）求条件熵H(Y|X)
H (Y X ) p(x i ,yj)logp(yj xi )
ij
求联合概率？ 联合概率： p(x i ,yj) p(yj)p( yj x i )
p(x i y )I(x i y ) i
j j
给定Y（所有yj）条件下， X集合的条件熵H(X|Y)定义为
H(X Y )
p(y )H(X y )
j j j
p(y )p(x i y )I(x i y ) ij
j j j
p(x i ,yj) ogp(x i yj ) l
ij
前L-1个作为一个整体
p(x L | x L m ,..., x L 1 ) p(x1,x 2 ,x 3 ,..., x L 1 )
按照同样方式展开
p(x L | x L m ,..., x L 1 ) p(x L 1 | x L m 1,..., x L 2 ) p(x1,x 2 ,x 3 ,..., x L 2 )
指符号出现后，提供给收信者的信息量。 概率与信息量之间是单调递减关系。
自信息量的单位与对数底数有关：
以2为底，单位为比特（bit）
以e为底，单位为奈特（nat） 以10为底，单位为笛特（det） 一般我们取以2为底
三者换算关系：
1nat＝log2e=1.433bit 1det＝log210=3.322bit
j
求概率？
1 p(y 0) p(x i ,y 0) 2 i
p(y 1)
1 6 1 3
p(y ？)
1 1 1 H(Y) H ( ， ， ) 1.47bit / 符号 2 6 3
(5）求条件熵H(X|Y) H(X,Y)= H(Y)+H(X|Y) H(X|Y) =H(X,Y)- H(Y) =1.8-1.47 =0.33bit/符号
I(x i y j ) log 2 p(x i y j )
条件自信息量
2.不确定度 信源在发出之前，存在不确定度，用来表征该符号的特性。
不确定度的大小等于它的自信息量，单位相同，含义不同。二者区别： 不确定度是信源符号固有的
自信息量是信源符号发出后给予收信者的。
3.自信息量的特性
1）概率为1，自信息量为0
信源的平均不确定度：又称为信源X的熵，信源熵是在平 均意义上来表征信源的总体特征。 定义式：信源中各个符号自信息量的数学期望，即：
H(X) E(I(X ))
i
p(x i )I(xi ) i
p(x i ) log 2 p(x i )
由上式可以看出，不同的信源因概率空间不同熵值就不同 规定：当符号概率为0时，规定p(xi) log p(xi)也为0
离散信源 时间和幅度都是离散如文字、数据等
连续信源
时间或幅度连续如话音、图像等
0
(a) 话音信号
t
0
(b) 抽样信号
t
2.按照信源发出的符号之间的关系分：
无记忆信源 先验概率不随实验次数变化， 也不与先前的实验结果有关。
有记忆信源
发出的符号序列之间有关联性。
2.1.1 无记忆信源
1.复习几个概念 1）离散信源:时间和幅度都是离散的信源。 2）无记忆信源：先验概率不随实验次数变化，也 不与 先前的实验结果有关。 3）先验概率：各符号之间没有统计关联性，各符号出现 的概率就是其先验概率。如：P(B) 4）后验概率：在已知结果求原因发生的概率。如：P(Bk|A)
1 6
H (Y X ) p(x i ,yj)logp(yj xi ) 0.88bit/ 符号
ij
(3）求联合熵 H(X,Y)= H(X)+H(Y|X)=1.8bit/符号 (4）求H(Y)
H(Y) p(y i ) log 2 p(y i )
i
p(yj)
p(x i ,y ) i
例2-8 有一个二进制信源X发出符号集{0，1}，经过离散无记忆 信道传输，信道输出用Y表示。由于信道中存在噪声，接
收端除收到0和1外，还有不确定的符号，用“？”来表
示，已知X的先验概率为P(x=0)=2/3, P(x=1)=2/3,符号转 移概率为P(y=0|x=0)=3/4, P(y=?|x=0)=1/4, P(y=1|x=1)=1/2 P(y=?|x=1)=1/2,其余为0。 求各种熵：H(X),H(Y|X),H(Y),H(X,Y),H(Y|X)
2
连续无记忆信源的概率空间表示
a, b X p X x P
3
发出符号序列信源的概率空间表示
假定信源序列长度为2
a1 ,a 1 X P p a1 ,a 1
a ,a p a ,a
1 2 1 2
求信源熵 依据公式
H(X) p(x i ) log 2 p(x i )