信息论与编码课件第二章
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I ( x ) I y ( x ) I ( y |x ) I ( x ) I y ( y ) I ( x |y )
当事件x 和事件y 相互独立时有
I(x |y ) I(x ) I(y|x ) I(y ) I ( x ) y I ( x ) I ( y )
信息熵、条件熵、联合熵 三者之间的关系
或 X N ,p ( x ) p ( ( x x 1 1 , , x x 1 1 , , , , x x 1 1 ) )p ( ( x x 2 2 , , x x 1 1 , , , , x x 1 1 ) ) p ( ( x x q q , , x x q q , , , , x x q q ) )
为
p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8
并定义另一随机变量Z=X·Y（一般乘积)，试计算：
(1) 熵 H(X)、H(Y)、H(Z)、H(X, Z)、 H(Y, Z) 、 H(X, Y, Z)
(2) 条件熵 H(X|Y)、H(X|Z)、H(Z|X)、H(Z|Y)、 H(Y|Z)、H(Y|XZ)、H(Z|XY)
的信息量为无穷大 信息量具有可加性
离散信源符号的信息量
信息量定义
I(x)loagp(1x)-loagp(x)
信息量单位
• 对数的底a = 2时，信息量单位为比特( bit） • 对数的底a = e时，信息量单位为奈特( nat） • 对数的底a = 3时，信息量单位为铁特( Tet） • 对数的底a = 10时，信息量单位为哈特( Hart）
H ( X ) p lp o ( 1 p ) g l1 o p ) g
pX (x)0 p
1 1p
离散信源信息熵的含义
H(X)表示信源的平均不确定度——平均 信息量
H(X)表示信源的随机性 H(X)表示信源输出每个符号所提供的平
均信息量 H(X)表示信宿所能获得的最大信息量
条件自信息量与条件熵
联合自信息量与联合熵
联合自信息量定义
I ( xy ) = log 1 = - log p(xy) p( xy )
联合熵定义(联合自信息量的统计平均)
H(XY)= E XY I(x)y= x X yYp(x)yI(x)y
= p(x)lyop(g x)y
x Xy Y
自信息量、条件信息量、联合信息量 三者之间的关系
符号序列信源 XN （N次扩展信源）
X ,p ( x ) p ( ( x x 1 1 , , x x 1 1 , , , , x x 1 1 ) )p ( ( x x 2 2 , , x x 1 1 , , , , x x 1 1 ) ) p ( ( x x q q , , x x q q , , , , x x q q ) )
信息熵单位
• 对数的底a = 2时，信息熵单位为比特/符号( bit/符号） • 对数的底a = e时，信息熵单位为奈特/符号( nat/符号） • 对数的底a = 3时，信息熵单位为铁特/符号( Tet/符号） • 对数的底a = 10时，信息熵单位为哈特/符号( Hart/符号）
离散二元信源的信息熵
离散信源符号的信息量
I(X)=log2(p)
14
12
10
8
6
4
2
P(x)
0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
离散信源的信息熵(Entropy)
信息熵定义(信息量的统计平均或者说数学期望)
H(X) = EI(x)= – p(x)lop(gx) x X
H ( X ) H ( Y X ) H ( Y |X ) H ( X ) H ( Y Y ) H ( X |Y )
当集合X 和集合Y 相互独立时有
H (X |Y ) H (X ) H (Y |X ) H (Y ) H ( X ) H Y ( X ) H ( Y )
例题 有两个二元随机变量X和Y，它们的联合概率
条件自信息量定义
I ( x|y ) = log 1 = - log p(x|y)
p(x | y)
条件熵定义(条件自信息量的统计平均)
H(X|y)=
E X I(x|y)=
p (x |y )lo p (x g |y )
x X
H(X|Y)= E Y H (X |y )= p(y)H(X|y) yY
H (X |Y ) P (x )ly o P (x |g y ) x X y Y
信息论与编码课件第二章
第二章 信源和信息熵
信源分类和描述 离散信源的信息熵 连续信源的信息熵
第二章 作业
教材第59页~62页 2.1，2.2，2.3(1)(2)，2.4， 2.8，2.13，2.14， 2.16
信源分类和描述
离散信源 连续信源
单符号信源 符号序列信源
无记忆信源 有记忆信源
信源分类和描述
离散信源
X , p 来自百度文库x )=
x1 p(x1)
x2 p(x2)
xn p(xn)
n
p(xi )1
i1
连续信源
X , (x )=
(a,
(
b) x )
ab(x)dx1
信源分类和描述
单符号信源 X
X ,p (x ) p ( x x 1 1 )
x 2 p (x 2 )
x n p (x n )
(3) 互信息 I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(Y;Z|X)和I(X;Z|Y)
解：(1)根据 X 和 Y 的联合概率分布，分别求 得 X 、Y 和 Z 的边沿概率分布如下：
X0 1 p½ ½
Y0 1 p½ ½
Z0 1 p 7/8 1/8
X和 Z以及Y和 Z的联合概率分布函数分别
为：
Z0 1
Z0 1
X
Y
0 1/2 0
0 1/2 0
1 3/8 1/8 1 3/8 1/8
信源分类和描述
无记忆信源
X N N ()N (X 1 ,X 2 , ,X N ) N (X l) l 1
有记忆信源
p ( X l|X l 1 ,X l 2 , ,X l m )
信息的特性
事件（消息）的信息量大小与其不确定 度（概率）有关
事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件
当事件x 和事件y 相互独立时有
I(x |y ) I(x ) I(y|x ) I(y ) I ( x ) y I ( x ) I ( y )
信息熵、条件熵、联合熵 三者之间的关系
或 X N ,p ( x ) p ( ( x x 1 1 , , x x 1 1 , , , , x x 1 1 ) )p ( ( x x 2 2 , , x x 1 1 , , , , x x 1 1 ) ) p ( ( x x q q , , x x q q , , , , x x q q ) )
为
p(xy) x = 0 x = 1 y = 0 1/8 3/8 y = 1 3/8 1/8
并定义另一随机变量Z=X·Y（一般乘积)，试计算：
(1) 熵 H(X)、H(Y)、H(Z)、H(X, Z)、 H(Y, Z) 、 H(X, Y, Z)
(2) 条件熵 H(X|Y)、H(X|Z)、H(Z|X)、H(Z|Y)、 H(Y|Z)、H(Y|XZ)、H(Z|XY)
的信息量为无穷大 信息量具有可加性
离散信源符号的信息量
信息量定义
I(x)loagp(1x)-loagp(x)
信息量单位
• 对数的底a = 2时，信息量单位为比特( bit） • 对数的底a = e时，信息量单位为奈特( nat） • 对数的底a = 3时，信息量单位为铁特( Tet） • 对数的底a = 10时，信息量单位为哈特( Hart）
H ( X ) p lp o ( 1 p ) g l1 o p ) g
pX (x)0 p
1 1p
离散信源信息熵的含义
H(X)表示信源的平均不确定度——平均 信息量
H(X)表示信源的随机性 H(X)表示信源输出每个符号所提供的平
均信息量 H(X)表示信宿所能获得的最大信息量
条件自信息量与条件熵
联合自信息量与联合熵
联合自信息量定义
I ( xy ) = log 1 = - log p(xy) p( xy )
联合熵定义(联合自信息量的统计平均)
H(XY)= E XY I(x)y= x X yYp(x)yI(x)y
= p(x)lyop(g x)y
x Xy Y
自信息量、条件信息量、联合信息量 三者之间的关系
符号序列信源 XN （N次扩展信源）
X ,p ( x ) p ( ( x x 1 1 , , x x 1 1 , , , , x x 1 1 ) )p ( ( x x 2 2 , , x x 1 1 , , , , x x 1 1 ) ) p ( ( x x q q , , x x q q , , , , x x q q ) )
信息熵单位
• 对数的底a = 2时，信息熵单位为比特/符号( bit/符号） • 对数的底a = e时，信息熵单位为奈特/符号( nat/符号） • 对数的底a = 3时，信息熵单位为铁特/符号( Tet/符号） • 对数的底a = 10时，信息熵单位为哈特/符号( Hart/符号）
离散二元信源的信息熵
离散信源符号的信息量
I(X)=log2(p)
14
12
10
8
6
4
2
P(x)
0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
离散信源的信息熵(Entropy)
信息熵定义(信息量的统计平均或者说数学期望)
H(X) = EI(x)= – p(x)lop(gx) x X
H ( X ) H ( Y X ) H ( Y |X ) H ( X ) H ( Y Y ) H ( X |Y )
当集合X 和集合Y 相互独立时有
H (X |Y ) H (X ) H (Y |X ) H (Y ) H ( X ) H Y ( X ) H ( Y )
例题 有两个二元随机变量X和Y，它们的联合概率
条件自信息量定义
I ( x|y ) = log 1 = - log p(x|y)
p(x | y)
条件熵定义(条件自信息量的统计平均)
H(X|y)=
E X I(x|y)=
p (x |y )lo p (x g |y )
x X
H(X|Y)= E Y H (X |y )= p(y)H(X|y) yY
H (X |Y ) P (x )ly o P (x |g y ) x X y Y
信息论与编码课件第二章
第二章 信源和信息熵
信源分类和描述 离散信源的信息熵 连续信源的信息熵
第二章 作业
教材第59页~62页 2.1，2.2，2.3(1)(2)，2.4， 2.8，2.13，2.14， 2.16
信源分类和描述
离散信源 连续信源
单符号信源 符号序列信源
无记忆信源 有记忆信源
信源分类和描述
离散信源
X , p 来自百度文库x )=
x1 p(x1)
x2 p(x2)
xn p(xn)
n
p(xi )1
i1
连续信源
X , (x )=
(a,
(
b) x )
ab(x)dx1
信源分类和描述
单符号信源 X
X ,p (x ) p ( x x 1 1 )
x 2 p (x 2 )
x n p (x n )
(3) 互信息 I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(Y;Z|X)和I(X;Z|Y)
解：(1)根据 X 和 Y 的联合概率分布，分别求 得 X 、Y 和 Z 的边沿概率分布如下：
X0 1 p½ ½
Y0 1 p½ ½
Z0 1 p 7/8 1/8
X和 Z以及Y和 Z的联合概率分布函数分别
为：
Z0 1
Z0 1
X
Y
0 1/2 0
0 1/2 0
1 3/8 1/8 1 3/8 1/8
信源分类和描述
无记忆信源
X N N ()N (X 1 ,X 2 , ,X N ) N (X l) l 1
有记忆信源
p ( X l|X l 1 ,X l 2 , ,X l m )
信息的特性
事件（消息）的信息量大小与其不确定 度（概率）有关
事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件