2015秋.信息论.第2章离散信源与信息熵
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论第二讲离散信源的熵
其中状态（xi, yj）为联合信源输出的一个状态。
nm
p(xi, yj ) 1
i1 j1
2020/6/14
20
⑵联合信源共熵的表达式：
联合信源的共熵：联合信源输出一个组合消息 状态(xi,yj)所发出的平均信息量。 联合信源的独立熵：
nm
H (X ,Y) p(xi,yj)logp(xi,yj)
⑴离散信源特性： 根据Shannon信息论的观点，信源要含
有一定的信息，必然具有随机性，即有 不确定性，可以用其概率来表示。
2020/6/14
1
⑵离散信源空间：
信源的符号（状态）随机地取值于一个离散
集 合 [X]= （ x1,x2,…xn ） 中 ， 一 个 离 散 信 源
可以用一个离散随机变量的概率空间表示。
j1
(i1,2,...n)
2020/6/14
27
⑵转移矩阵描述
矩阵[P]称为转移矩阵或信道矩阵；表示为：
y1
y2
x1 p(y1/x1) p(y2/x1)…
… [P]= x2 p(y1/x2) p(y2/x2)
……
…
…
xn p(y1/xn) p(y2/xn) …
…
ym p(ym/x1) p(ym/x2) … p(ym/xn)
[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。
信源空间必为一个完备空间， n
即其概率和为1。
pi 1
i1
2020/6/14
2
⑶信源数学模型描述的条件：
用信源空间（离散随机变量）来表示信源
的条件是信源符号（状态）的先验概率是 可知的，这是Shannon信息论的一个基本 假说。
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
信息论第二章
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类 2、连续信源 数学，模型如下：
离散信源的进一步分类
发出单个符号的无记忆信源 离散无记忆信源指信源每次只发出 发出符号序列的无记忆信源 离散信源 一个符号 代表一 发出符号序列的有记忆信源 个消息． 离散有记忆信源 发出符号序列的马儿可夫信源
H( p1, p2 ,..., pq ) H(1/ q,1/ q,...,1/ q) log q
上式表明，对于具有q个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最 大值，这也表明等概分布的信源的平均不确定性最大， 这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit
H ( X 2 ) 2H ( X )
第五节 离散平稳信源 1、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述：
第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列 中只有前后两个符号间有依赖关系，我们可以对其二维 扩展信源进行分析。 信源的概率空间:
n
n是指发出在时间和幅度上都是离散分布的
离散信源 连续信源
符号都是离散消息。 是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、 图像、图形等都是连续消息。
n
第一节 信源的数学模型及分类 1、离散信源
信源种类 离散信源 （数字信源） 连续信号 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
离散信源熵ppt课件
I(xi;yj)lo2gp(px(ix|iy)j)
I(x i;y j) lo p (p x g ( ix |iy )j) lo p ( p x ( g ix )ip y (jy )j) lo p ( p y ( g jy |jx )i)
I ( x i ;y j) I ( x i) I ( x i|y j) I ( y j) I ( y j|x i)
• 若得知“今天不是晴天”,把这句话作为收到的消息 y1
• 当收到y1后,各种天气发生的概率变成后验概率了
• p(x1|y1) = 0I, (px(1x;2y|y11))=l1o/22g精,p选p(pp(xpx(1tx3||1yy)11))=10/4 , p(x4|y1) = 1/4 13
I(x2;y1)lo 2p g (p x (2 x |2y )1)lo 21 1 g //4 21 bit I(x3;y1)I(x4;y1)lo21 1 g //8 41 bit • 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 • 消息y1使x2 x3 x4的不确定度各减少1bit 。
• 条件熵
H(Y|X) p(xi,yj)lopg(yj|xi)
I(xi)lopg (xi)
• I (xi) 含义:
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
精选ppt 6
自信息量
• 自信息量
I(xi)lopg (xi)
• 条件自信息量
I(x i|yj) lop (g x i|yj)
• 联合自信息量
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
3321()log log 1/83()I x bit P x ==-=–例：袋内红、白球各50个,随意从袋中摸出一球。
21()log log 1/21()I bit P ==-=红红21()log log 1/21()I bit P ==-=白白–例：袋内红球1个、白球7个,随意从袋中摸出一球。
21()log log 1/83()I bit P ==-=红红21()log log 7/8019()I bit P ==-≈白.白定义2. 2 X 中出现事件x i 与Y 中出现事件y j 的联合自信息量定义为(,)log (,)i j i j I x y p x y =-log(()(/))log ()log (/)j i j j i j p y p x y p y p x y =-=--log ()log (/)i j i p x p y x =--定义2.3 X 中事件x i 在Y 中事件y j 已出现的情况下再出现时所能提供的信息量定义为条件自信息量(/)log (/)i j i j I x y p x y =-(,)()(/)i j j i j I x y I y I x y =+()(/)i j i I x I y x =+(/)(),(/)()j i j i j i p y x p y p x y p x ==(,)()()i j i j I x y I x I y =+当互相独立时,i j x yx i y jx iy j将一粒棋子随意地放在8*8的正方形棋盘的某方格内；涉及两个随机事件。
{}1112881/64,1/64,...,1/64,,...,x y x y x y XY P ⎡⎤=⎢⎥⎣⎦联合自信息量为2(,)log (,)1log 664i j i j I x y p x y bit =-=-=x i 相对y j 的条件自信息量为2(|)log (|)(,)1/64log log 3()1/8i j i j i j j I x y p x y p x y bit p y =-=-=-=已知棋子所在方格的行，棋子所在列的位置？11110(),(),()1()1,()1,()1i j i j m n n mij i j i j j i p x p y p x y p x p y p x y ====≤≤===∑∑∑∑其中，1111,...,,...,(),...,(),...,()i j m n i j m n x y x y x y XY P p x y p x y p x y ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1212,,...,(),(),...,()n n y y y Y P p y p y p y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦一般地11(/)1,(/)1m n i jj i i j p x y p y x ====∑∑0(/),(/)1,j i i j p y x p x y ≤≤11(,)(),(,)()m i j ji n i j ij p x y p y p x y p x ====∑∑y j (,)()(/)()(/)i j i j i j i j p x y p x p y x p y p x y ==1(,)(/),(,)(,)(/)(,)i j i j m i ji i j j i n i jp x y p x y p x y p x y p y x p x y ===∑∑思考题•有12块银元，其中有一块是假的。
真假银元从外观看完全相同，但假银元的重量与真银元略有不同。
–求证，用一架天平称3次即可找出假银元，并知道假银元是轻是重。
2.2.2平均自信息量一个离散随机变量X ，以不同的取值概率有N 个可能取值,11,...,,...,()(),...,(),...,()i n i n x x x X P x p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦i i i 1(x )log log p(x )p(x )I ==-是一个随机变量，不能用来作为整个信源的信息测度。
定义2.4 随机变量I(x i )的数学期望定义为平均自信息量，又称作离散信源X 的信息熵，简称熵。
•熵函数的自变量是X,表示信源整体。
集X 的平均自信息量表示集X 中事件出现的平均不确定性。
即集X 中每出现一个事件平均给出的信息量。
•熵这个名词是香农从物理学中的统计热力学借用过来的，在物理学中热熵是表示分子混乱程度的一个物理量。
1()[()]()log ()ni i i i H X E I x p x p x ===-∑例：袋内100个球，其中80个红的，20个白的，若随机摸取一个，猜测其颜色，求平均摸取一次所能获得的自信息量。
12()0.80.2x x X P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦概率空间11(x )log (x )log0.8I P =-=-22(x )log (x )log0.2I P =-=-随机模取n 次后总共所获得的信息量为1122()(x )()(x )np x I np x I +平均模取1次所获得的信息量为[][]11221()()(x )()(x )()log ()()log ()H X np x I np x I np x p x p x p x =+=-+熵从平均意义上表征信源的总体特征——平均不确定性.随机摸取n 次红球出现次数为np(x1),白球出现次数为np(x2)理解BIT二进制信源，如果0和1两个符号出现的概率都是0.5，这个信源平均每输出一个符号，我们就得到1bit 信息。
熵的单位与公式中的对数取底有关。
H(X)以2为底，通信中最常用，单位比特（bit ）；H e (X)以e 为底，理论推导中较方便，单位奈特（nat ）；()(0)log (0)(1)log (1)0.5log0.50.5log0.51()H X p p p p bit =--=--=定义2.5 联合熵1111(,)(,)(,)(,)log (,)nmi j i j i j n mi j i j i j H X Y p x y I x y p x y p x y ======-∑∑∑∑j i y x 联合离散符号集合XY 上的每个元素对的联合自信息量的数学期望。
定义2.6 条件熵•在已知随机变量Y 的条件下，随机变量X 的熵称为集X 对集Y 的条件熵。
是联合集XY 上条件自信息量的数学期望。
是已知一随机变量，对另一个随机变量的不确定性的量度当X 表示信源的输出，Y 表示信宿的输入时，条件熵H(X/Y)可表示信宿在收到Y 后，信源X 仍然存在的不确定度，即信道的损失。
11(,(/)[(/)]log (/))i j n mi j i j i j p H X Y E I x y p x x y y ====-∑∑求条件熵为什么要用联合概率加权？11(/)[(/)](,)log (/)n mi j i j i j i j H X Y E I x y p x y p x y ====-∑∑1(/)()(/)mj j j H X Y p y H X y ==∑1(/)(/)(/)nj i j i j i H X y p x y I x y ==∑11()(/)(/)mnj i j i j j i p y p x y I x y ===∑∑11(,)(/)m ni j i j j i p x y I x y ===∑∑}1,0{∈(/)(,)log (/)ijijijH X Y p x y p x y =-∑∑(,)(/)()i j i j j p x y p x y p y =例：已知X ，Yp(0,0)=p(1,1)=1/8,p(0,1)=p(1,0)=3/8,计算条件熵H(X/Y)。
,XY 的联合概率为：解：根据条件熵公式(,)i j ip x y =∑11333311(/)log log log log 0.406H X Y bit =----=（）0001011311()(,)(,),()8822p y p x y p x y p y =+=+==0000100(,)1/813(/),(/)()1/244p x y p x y p x y p y ====110113(/),(/)44p x y p x y ==(,)()(/)()(/)H X Y H X H Y X H Y H X Y =+=+命题2.1 联合熵等于信息熵加上条件熵。