信息论与编码_第2讲_信源及其信息量1_自信息与熵
合集下载
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
信息论与编码信源与信息熵
或 22 H (X1, X2) p(ai, aj )log p(ai, aj ) 2.41bit / 符号 i0 j0
• 联合熵H(X1,X2)表达平均每二个信源符号所携带 旳信息量。
• 我们用1/2H(X1,X2)作为二维平稳信源X旳信息熵 旳近似值。那么平均每一种信源符号携带旳信
息量近似为:
– 信源符号分布旳不均匀性。 • 等概率分布时信源熵最大。
log 2 n H0 (X ) H1(X ) H2 (X ) H (X )
26
冗余度
• 对于有记忆信源,极限熵为H∞(X)。 • 这就是说我们需要传送这一信源旳信息,理论
上只需要传送H∞(X)即可。但必须掌握信源全 部概率统计特征,这显然是不现实旳。
/
符号
11
• 例:有一离散平稳无记忆信源
求：二次扩展信源旳熵
X p(x)
x1 1
2
x2 1
4
x3 1 4
X2信源 旳元素
相应旳 消息序列
概率p(ai)
a1 a2 a3 a4 a5 a6 a7 a8 a9
x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
• 目前后符号无依存关系时,有下列推论：
H(X1X2) H(X1) H(X2)
H (X1 | X 2 ) H (X1), H (X 2 | X1) H (X 2 )
14
离散有记忆信源序列熵
• 信源旳联合熵(即前后两个符号(X1,X2)同步发生 旳不拟定度)等于信源发出前一种符号X1旳信息 熵加上前一种符号X1已知时信源发出下一种符号 X2旳条件熵。
• 联合熵H(X1,X2)表达平均每二个信源符号所携带 旳信息量。
• 我们用1/2H(X1,X2)作为二维平稳信源X旳信息熵 旳近似值。那么平均每一种信源符号携带旳信
息量近似为:
– 信源符号分布旳不均匀性。 • 等概率分布时信源熵最大。
log 2 n H0 (X ) H1(X ) H2 (X ) H (X )
26
冗余度
• 对于有记忆信源,极限熵为H∞(X)。 • 这就是说我们需要传送这一信源旳信息,理论
上只需要传送H∞(X)即可。但必须掌握信源全 部概率统计特征,这显然是不现实旳。
/
符号
11
• 例:有一离散平稳无记忆信源
求：二次扩展信源旳熵
X p(x)
x1 1
2
x2 1
4
x3 1 4
X2信源 旳元素
相应旳 消息序列
概率p(ai)
a1 a2 a3 a4 a5 a6 a7 a8 a9
x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
• 目前后符号无依存关系时,有下列推论：
H(X1X2) H(X1) H(X2)
H (X1 | X 2 ) H (X1), H (X 2 | X1) H (X 2 )
14
离散有记忆信源序列熵
• 信源旳联合熵(即前后两个符号(X1,X2)同步发生 旳不拟定度)等于信源发出前一种符号X1旳信息 熵加上前一种符号X1已知时信源发出下一种符号 X2旳条件熵。
信息论与编码 第二章 信源与信息熵
现概率是它自身的先验概率。
无记忆信源
{发出符号序列的无记忆信源
发出单个符号的无记忆信源
{
离散 连续
2.1.1 无记忆信源
发出单个符号的离散无记忆信源
——指信源每次只发出一个符号代表一个消息， 且消息的取值个数是有限的（或可列无限多个）。 例如扔骰子，每次实验结果必然是1～6点中的某一 个面朝上。每次实验的结果不随实验次数变化，也 不与先前的实验结果相关，因而该信源是单符号离
p( X1 , X 2 , X l , X L ) p( X l ) [ p( X )]L
l 1
L
2.1.2 有记忆信源
有记忆信源——在不同时刻发出的符号是相互依赖的。 发出符号序列的有记忆信源 ——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间是相互依赖的。
I=－log2(1/2m)=m bit
2.2.1 自信息量
自信息量I (xi)的特性：
⑴ I (xi)是非负值
⑵ 当p(xi) = 1时， I (xi) = 0
⑶ 当p (xi) = 0时， I (xi) =∞
⑷ I (xi)是先验概率p (xi)的单调递减函数，即 当p (x1)＞p (x2)时， I (x1) ＜ I (x2) ⑸可加性 ： 两个独立事件的联合信息量等于它们分别的信 息量之和。
发出符号序列的无记忆信源
——每次发出1组含2个以上符号的符号序列来代表一 个消息的信源，且各符号之间没有统计关联性。
需要用随机序列（或随机矢量） X =(X1, X2,…, Xl, …, XL)来描 述信源输出的消息，用联合概率分布p(X1, X2,…, Xl, …, XL)来表 示信源特性。 p (X 1 ) p (X 2 ) … p (X l ) … p (X L ) 若离散信源输出的每个符号是统计独立的，且具有相同的概 率空间，则该信源是离散平稳无记忆信源，亦称为独立同分布 （independently identical distribution，i. i. d.）信源。
《信息论与编码》课件1第2章
I(ai)是一个随机变量并不难理解。因为ai发生可以使收 信者获得大小为I(ai)的自信息，然而在信源未发出消息之 前，收信者不仅对ai是否发生具有不确定性，而且对于能 够获得多少自信息也是不确定的。因此，伴随着X=ai的随 机发生而发生的自信息I(ai)是一个随机变量，并且与随机 变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率 为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论与编码2-信源及信源熵1
9
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论与编码ch连续信源及其熵
log2(b-a)小于0，但两项相加还是正值，且一般还 是一个无限大量。因为连续信源的可能取值数有 无限多，若假定等概率，确知其输出值后所得信 息量也将为无限大； H表c连(X续)已信不源能输代出表的信信源息的量平。均不确定度，也不能代
2019/9/22
24
第二章 信源熵
连续信源熵的意义
这种定义可以与离散信源在形式上统一起来； 在实际问题中常常讨论的是熵之间的差值问题，如
2019/9/22
20
第二章 信源熵
这样连续变量x就可用取值为xi(i=1,2,…,n)的离散 变量近似。连续信源被量化成离散信源。
n
n
n
H ( X ) p(ai ) log2 p(ai ) p(ai ) log2 p(ai ) p(ai ) log2
i 1
i 1
i 1
当n , 0时，若极限存在，即得连续信源的熵为
n
n
lim H (X )
n 0
lim n 0
i 1
p(ai ) log2
p(ai
)
lim(log
n
2
0
)
i 1
p(ai )
b
b
a
p(x) log2
p(
x)dx
lim(log
2019/9/22
19
第二章 信源熵
设p(x)如图2.3.1所示。把连续随机变量X的取值分割成n个
小区间，各小区间等宽，即Δ=(b-a)/n。则变量落在第i个小
区间的概率为
ai
P(a (i 1) X a i) a(i1) p(x)dx p(ai )
2019/9/22
24
第二章 信源熵
连续信源熵的意义
这种定义可以与离散信源在形式上统一起来； 在实际问题中常常讨论的是熵之间的差值问题，如
2019/9/22
20
第二章 信源熵
这样连续变量x就可用取值为xi(i=1,2,…,n)的离散 变量近似。连续信源被量化成离散信源。
n
n
n
H ( X ) p(ai ) log2 p(ai ) p(ai ) log2 p(ai ) p(ai ) log2
i 1
i 1
i 1
当n , 0时，若极限存在，即得连续信源的熵为
n
n
lim H (X )
n 0
lim n 0
i 1
p(ai ) log2
p(ai
)
lim(log
n
2
0
)
i 1
p(ai )
b
b
a
p(x) log2
p(
x)dx
lim(log
2019/9/22
19
第二章 信源熵
设p(x)如图2.3.1所示。把连续随机变量X的取值分割成n个
小区间，各小区间等宽，即Δ=(b-a)/n。则变量落在第i个小
区间的概率为
ai
P(a (i 1) X a i) a(i1) p(x)dx p(ai )
信息论与编码第2章信源与熵
三个信息单位比特bit、奈特nat、哈特Hart之间的 转换关系如下：
1 nat log 2 e 1.433 bit 1 Hart log 210 3.322 bit 1 bit 0.693 nat 1 bit 0.301 Hart
21
对数及常用公式
y log10 x x 10
描述信源消息或对信源建模，随机过程是一个有效的工具， 通过随机过程的特性来描述信源的特性。
3
信源输出的描述
信源
Xi为
X1, X2, X3, ……
{a1, a2, a3, …am}或(a,b)
信源发出消息，消息载荷信息，而消息又具有不确 定性，所以可用随机变量或随机序列（矢量）来描述 信源输出的消息，或者说用概率空间来描述信源。信 源的输出被抽象为一个随机变量序列（随机过程）。
12
混合信源
按信源输出时间和取值划分： 时间连续，取值连续或随机的，称之为随机波 形信源，表示为X(t)。 输出既有连续分量又有离散分量，称之为混合 信源。
重点研究离散信源产生消息的不确定性，不研 究信源的内部结构和消息的如何产生。
13
信源的分类
随机 变量 连续信源：可能输出的消息数是无限的或不可数的
19
自信息量定义
定义 2.1.1 任意随机事件的自信息量定义为该事 件发生概率的对数的负值。
1 I ( xi ) log log p( xi ) p( xi )
自信息量的单位取决于对数选取的底。 单位：比特bit、奈特nat、哈特Hart。
当对数的底取2时，单位为比特bit 当以自然数e为底时，单位为奈特nat 当以10为底时，单位为哈特hart
Information Theory & Coding信息论与编码(英文版)第二章 信源熵-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 男士：sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) >log6不满足信源熵的极值性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
某事件发生所含有的信息量应该是该事件发生的先验概率
的函数。
2021/2/9
第13页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
函数 f [p(xi)] 应满足以下 4 个条件：
信 源
▼ f [p(xi)] 应是 p(xi) 的单调递减函数：
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 不确定性与发生概率
离 散
事件发生的概率越小，我们猜测它有没有发生的困难程度
信 就越大，不确定性就越大。
源 事件发生的概率越大，我们猜测这件事发生的可能性就越
大，不确定性就越小。
概率等于 1 的必然事件，就不存在不确定性。
源
p( y j ) p( xi / y j )
2021/2/9
第18页
概率复习
2.1 (5) 当X与Y 相互独立时：
单 符
p( y j / xi ) p( y j )
号 离 散
p( xi / y j ) p( xi ) p( xi y j ) p( xi )p( y j )
信
源
(6)
p( xi / y j )
信
源
1
I( xi / y j ) log2 p( xi / y j )
表示在特定条件下（yj已定）随机事件 xi 所带来的信息量
2021/2/9
第27页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ③ 条件自信息量 符
号 同理，xi 已知时发生 yj 的条件自信息量为： 离
散
信 源
i 1
j 1
i 1
m
p( y j / xi ) 1,
j 1
mn
p( xi y j ) 1
j1 i1
2021/2/9
第17页
概率复习
2.1
单
n
m
符 (3) p( xi y j ) p( y j ), p( xi y j ) p( xi )
号
i 1
j 1
离
散
信 (4) p( xi y j ) p( xi ) p( y j / xi )
单 ① 自信息量 符
号 信息量与不确定性
离 散
信息量的直观定义：
信
▼ 收到某消息获得的信息量
源
＝不确定性减少的量
＝（收到此消息前关于某事件发生的不确定性）
－（收到此消息后关于某事件发生的不确定性）
2021/2/9
第11页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
信息论与编码 （第二讲） ──────── ────── 自信息与熵
XXX 2017年春
E-mail：xxxxxx@ 2021/2/9 Department of Electronics and Information, 第1页
目录
2021/2/9
第1讲：绪论
第2讲：信源及其信息量1—自信息与熵
信 源
当事件 xi 发生以后：表示事件 xi 所含有（或所提供） 的信息量。在无噪信道中，事件 xi 发生后，能正确无误地
传输到收信者，所以 I(xi) 可代表接收到消息 xi 后所获得
的信息量。这是因为消除了 I(xi) 大小的不确定性，才获得
这么大小的信息量。
2021/2/9
第20页
2.1.1 离散变量的自信息量
源
▼ 一般都采用以“2”为底的对数，为了书写简洁，有时
把底数 2 略去不写。
2021/2/9
第24页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ② 联合自信息量 符
号 两个随机事件的信源模型为： 离
散 信 源
P
XY ( XY
)
x1 y1, p( x1 y1
),
, ,
x1 ym , p( x1 ym ),
第3讲：信源及其信息量2—平均互信息
第4讲：信源及其信息量3—多符号离散平稳信 源
第5讲：信源及其信息量4—马尔科夫信源
第6讲：信源及其信息量5—连续信源
第7讲：信源及其信息量6—信源编码定理
第8讲：信道及其容量1
第9讲：信道及其容量2
第10讲：信息率失真函数1
第11讲：信息率失真函数2
第12讲：习题课1 Electronics Engineering Department, NCUT
(1) 信源的描述方法
(2) 单符号离散信源数学模型
(3) 自信息量和条件自信息量
2021/2/9
第6页
2.1.1 离散变量的自信息量
2.1 (1) 信源的描述方法
单 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些 符 号 符号的取值是有限的或可数的。
离 散
单符号离散信源：只涉及一个随机事件，可用随机变量描述。
2.1 (3) 自信息量
单 ① 自信息量 符
号 自信息含义
离 散
自信息的测度单位及其换算关系
信
▼ 如果取以 2 为底，则信息量单位称为比特
源
I( xi ) log2
1 p( xi )
比特（binary unit）
2021/2/9
第21页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
当 p(x1)> p(x2) 时， f [p(x1)]< f
[p(x2)]
▼ 当 p(xi) =1时， f [p(xi)] =0
▼ 当 p(xi) =0时， f [p(xi)] =∞
▼ 两个独立事件的联合信息量应等于它们分别的信息量
2021/2/9
第14页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
号 自信息含义
离 散
自信息的测度单位及其换算关系
信
▼ 如果取以 e 为底，则信息量单位称为奈特
源
I( xi
)
ln
1 p( xi )
奈特（nature unit）
2021/2/9
第22页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
单 ① 自信息量 符
号 自信息含义
离 散
自信息的测度单位及其换算关系
第3页
第二章 信源及其信息量 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。
2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结
2021/2/9 Electronics Engineering Department, XXXX 第4页
号 信息量与不确定性
离 散
信息量的直观定义：
信
▼ 在无噪声时，通过信道的传输，可以完全不失真地收
源
到所发的消息，收到此消息后关于某事件发生的不确定性
完全消除，此项为零。因此：
收到某消息获得的信息量
性 2021/2/9
＝收到此消息前关于某事件发生的不确定 ＝信源输出的某消息中所含有的信息第量12页
信 源
X P(X
)
x1 p( x1
),
x2 p( x2 )
, ,
xn p( xn
)
如果知道事件 xi 已发生，则该事件所含有的自信息定
义为：
1 I ( xi ) log p( xi )
X，Y，Z 代表随机变量，指的是信源整体； 2021/2/9
第16页
概率复习
2.1 随机变量X ,Y分别取值于集合{ x1 , x2 , xi , , xn }
I( yj
/
xi ) log2
1 p( y j / xi )
2021/2/9
第2页
目录
2021/2/9
第13讲：信源编码1 第14讲：信源编码2 第15讲：信道编码概论 第16讲：线性分组码 第17讲：循环码 第18讲：卷积码 第19讲：习题课2 第20讲：上机1 第21讲：上机2 第22讲：上机3 第23讲：上机4 第24讲：总复习
Electronics Engineering Department, NCUT
x2 y1, , p( x2 y1), ,
x2 ym , , p( x2 ym ), ,
xn y1, , p( xn y1), ,
xn ym p( xn ym
)
nm
p( xi y j ) 1
其中：0≤p(xi yj)≤1 (i=1,2, …, n; j=1i,12j,1 …, m)，
则联合自信息量为：
信 多符号离散信源/扩展信源：每次输出是一个符号序列，序
源 列中每一位出现哪个符号都是随机的，而且一般前后符号之
间是有依赖关系的。可用随机矢量描述。
② 连续信源：输出连续消息。可用随机过程描述。
2021/2/9
第7页
2.1.1 离散变量的自信息量
2.1 (2) 单符号离散信源数学模型
单 单符号离散信源的数学模型就是离散型的概率空间： 符
信 收信者收到后，消除的不确定性就越大，获得的信息也就越
源 大。
由于种种原因（例如噪声太大），收信者接收到受干扰的 消息后，对某信息发生的不确定性依然存在或者一点也未消 除时，则收信者获得较少的信息或者说一点也没有获得信息。
2021/2/9
第10页
2.1.1 离散变量的自信息量
2.1 (3) 自信息量
I ( xi y j ) log2