离散信源的信息熵
信息论第二讲离散信源的熵
其中状态（xi, yj）为联合信源输出的一个状态。
nm
p(xi, yj ) 1
i1 j1
2020/6/14
20
⑵联合信源共熵的表达式：
联合信源的共熵：联合信源输出一个组合消息 状态(xi,yj)所发出的平均信息量。 联合信源的独立熵：
nm
H (X ,Y) p(xi,yj)logp(xi,yj)
⑴离散信源特性： 根据Shannon信息论的观点，信源要含
有一定的信息，必然具有随机性，即有 不确定性，可以用其概率来表示。
2020/6/14
1
⑵离散信源空间：
信源的符号（状态）随机地取值于一个离散
集 合 [X]= （ x1,x2,…xn ） 中 ， 一 个 离 散 信 源
可以用一个离散随机变量的概率空间表示。
j1
(i1,2,...n)
2020/6/14
27
⑵转移矩阵描述
矩阵[P]称为转移矩阵或信道矩阵；表示为：
y1
y2
x1 p(y1/x1) p(y2/x1)…
… [P]= x2 p(y1/x2) p(y2/x2)
……
…
…
xn p(y1/xn) p(y2/xn) …
…
ym p(ym/x1) p(ym/x2) … p(ym/xn)
[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。
信源空间必为一个完备空间， n
即其概率和为1。
pi 1
i1
2020/6/14
2
⑶信源数学模型描述的条件：
用信源空间（离散随机变量）来表示信源
的条件是信源符号（状态）的先验概率是 可知的，这是Shannon信息论的一个基本 假说。
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
关于信源熵的实验报告讲解
实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号**********日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
2.1.2 信源熵
i, j
i
j
p(aib j )log p(ai ) p(b j / ai )
p(ai b j )log p(ai )
i, j
i, j
i, j
ห้องสมุดไป่ตู้
p(aib j )log p(b j / ai )
i, j
i, j
p(ai )log p(ai ) p(ai b j )log p(b j / ai )
p(ai )log2 p(ai ) H ( X )
其中
p( b ) p( a / b ) p( a b ) p( a )
j i j i j i j j
i
【例2.12】 二进制通信系统中使用符号0和1 。由于存在失真，
传输时会产生误码，用符号表示下列事件：
a0：发出一个0；a1:发出一个1；b0：收到一个0；b1：收到一个 1。给定下列概率：p(a0)=1/2，p(b0/a0)=3/4，p(b0/a1)=1/2。求:
①已知发出一个“0”，收到符号后得到的信息量；
②已知发出的符号，收到符号后得到的信息量； ③已知发出的和收到的符号得到的信息量； ④已知收到的符号，被告知发出的符号得到的信息量。
某一信源，不管它是否输出符号，只要这些符号具有某些概
率特性，必有信源的熵值；此熵值是在总体平均上才有意义， 因而是一个确定值，一般写成H(X) ，X是指随机变量的整体 （包括概率分布）。
只有当信源输出符号而被接收者收到后，信息量才有意义，
这就是给予接收者的信息度量，此值本身也可以是随机量， 也可以与接收者的情况有关。
当某一符号ai的概率pi
为零时， pi logpi 在熵公式中无意义， 为此规定这时的pi logpi也为零。当信源X中只含一个符号a 时， 必定有 p(a)=1，此时信源熵H(X)也为零。
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 2.2.1 自信息 ?????
问题的提出:
❖ 每个消息携带多少信息量？ ❖ 整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后， 才能消除不确定性获得信息。
如果某一消息发生的不确定性越大，一旦发生，获得的信息量 就越大。
不确定性的消除是一个从“不知-知”的过程，在此过程中，收 信者获得足够的信息量。
log 2
1 P2 ( x)
log 2
1 P3 ( x)
log 2
1 14
log
2
1 பைடு நூலகம்2
1
第三次获得的信息量
I[P3 ( x)]
log 2
1 P3 ( x)
log 2
1 12
1
2.2 离散信源的信息熵
结论：
收到某消息获得的信息量 =不确定性减少的量 =（收到消息前某事件发生的不确定性） -（收到消息后关于该事件的不确定性）
Y P( y)
b1 0.5
b2 0.5
H ( X ) 0.99log 0.99 0.01log 0.01 0.08(比特/ 符号) H (Y ) 0.5log 0.5 0.5log 0.5 1(比特/ 符号)
可见
H (Y ) H (X )
信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输
消息发生的不确定性和发生的概率有关，消息发生的概率越小， 则消息中包含的信息量就越大。消息ai 发生所含有的信息量称 为消息ai 的自信息量。
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统
2.2.2 信源熵的物理意义
信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平 均信息量。
信源熵H(X)表示信源输出前，信源的平均不确定性。 信源熵H(X)反映了变量X的随机性。
2.2 离散信源的信息熵
例如有两个信源，其概率空间分别为：
X P( x)
a1 0.99
a2 0.01
]
p(ai )
i 1
p(ai ) log 2
p(ai )
单位：比特/符号。（底数不同，单位不同） 信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义
上来表征信源的总体信息测度。
对于某特定的信源（概率空间给定），其信息熵是个确定的数 值。
不同的信源因统计特性不同，其熵也不同。
2.2 离散信源的信息熵
I(x)的含义：
❖ 事件x发生前， I(x)表示事件x发生的不确定性 ❖ 事件x发生后， I(x)表示事件x所含有（或所提供）的信息量
2.2 离散信源的信息熵
例2.1 假设一条电线上串联8个灯泡，这8个灯泡 损坏的可能性是等概率的，现假设这8个灯泡有一 个且只有1个已经损坏，让我们检查判断哪一个灯 泡损坏并分析信息获取的过程。
计独立信源的信息量等于分别信息量之和。
满足上述3条件的关系式如下：
I ( x) log a
1 P( x)
log a
P( x)
－自信息量的定义
2.2 离散信源的信息熵
I ( x) log a
1 P( x)
log a
P( x)
上式中对数的底：
❖ 若a = 2，信息量的单位称为比特(bit) ❖ 若a = e，信息量的单位称为奈特(nat)， ❖ 若 a = 10，信息量的单位称为哈特(Hart)
解：用万用表进行检查判断
2.2 离散信源的信息熵
第三次
第 第二 二次 次
第 第一 一次 次
第一次获得的信息量
I[P1( x)] I[P2 ( x)]
log 2
1 P1( x)
log 2
1 P2 ( x)
log 2
1 18
log 2
1 14
1
第二次获得的信息量
I[P2 ( x)] I[P3 ( x)]
出消息前，接收者对信源存在的平均不确定程度的大小，也反
映了信源随机性的大小。
自信息是指某一消息所含有的信息量，消息不同，所含有的 信息量也不同，不能用它作为整个信源的信息测度。
信息熵
用什么作为整个信源的信息测度?
2.2 离散信源的信息熵
❖ 2.2.2 信息熵
各离散消息自信息量的数学期望，即信源的平均自信息量—— 信息熵。
1
n
H ( X ) E[I (ai )] E[log 2