离散信源的信息熵
离散信源的信息熵
信息熵
(1) 信息熵 ③信息熵与平均获得的信息量 • 信息熵是信源的平均不确定性的描述。在一般
情况下它并不等于平均获得的信息量。 • 只有在无噪情况下，接收者才能正确无误地接
收到信源所发出的消息，消除 H(X) 大小的平均 不确定性，所以获得的平均信息量就等于 H(X)。 • 在一般情况下获得的信息量是两熵之差，并不 是信源熵本身。
1
1
1
I ( xi y j ) log2 p( xi ) p( y j ) log2 p( xi ) log2 p( y j )
I( xi ) I( y j )
• 两个随机事件相互独立时，同时发生得到的信息量，等于 各自自信息量之和。
17/20
自信息
3）条件自信息
• 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信 息量 I(xi/yj) 定义为：
I ( xi
/
y j ) log2
1 p( xi /
yj)
• 表示在特定条件下（yj已定）随机事件 xi 所带来的信息量 • 同理，xi 已知时发生 yj 的条件自信息量为：
1 I ( y j / xi ) log2 p( y j / xi )
18/20
自信息
3） 条件自信息
• 自信息量、条件自信息量和联合自信息量之间的 关系
❖ 信源 Y 比信源 X 的平均不确定性大；
信息熵
❖ 本例结论(续)
❖ 信息熵反映的就是信源输出前平均不确定程度的大小。 ❖ 变量 Y 取 y1 和 y2 是等概率的，所以其随机性大。而变
量 X 取 x1 的概率比取 x2 的概率大很多，这时变量 X 的 随机性就小。 ❖ 因此 H(X) 反映了变量的随机性。
离散序列信源的熵
2020/5/15
13
(2) H(XL/XL-1) 是L的单调递减函数 证明:
H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1) (条件较多的熵小于或等于减少一些条件的熵) =H(XL-1/X1X2…XL-2)（平稳性） ≤H(XL-1/X2X3…XL-2) (条件较多的熵小于或等于减少一些条件的熵) =H(XL-2/X1X2…XL-3) （平稳性） …
Wi pij W j j S
i
• 其中, Wi和Wj均为稳态分布概率 .
• (2)把Pij(m,n)理解为已知在时刻m系统处于状 态i的条件下，在时刻n系统处于状态j的条件概 率，故状态转移概率实际上是一个条件概率。
2020/5/15
25
两个基本转移概率性质:
(1) pij (m, n) 0
(2) pij (m, n) 1
j
i, j S
i, j S
2020/5/15
2020/5/15
21
5. 状态转移描述
• 对于m阶马尔可夫信源
X P
x1 p(xim1
x2 / xi1
... xq xi2 ...xim
)
2020/5/15
22
• 在某一时刻（m＋1），信源符号出现的 概率，仅与前面已出现的m个符号有关， 而与更前面出现的符号无关。可通过引 人状态转移概率，从而转化为马尔可夫 链，即令
平均每个符号熵为
HL(X)=H(X)/L=H(x )(单个符号信源的符号熵 )
2020/5/15
3
第四讲
2003年5月6日
2020/5/15
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
（完整版）计算离散信源的熵matlab实现
（完整版）计算离散信源的熵matlab实现实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。
信息论基础：自信息的计算公式 21()log aI a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式22111()log log qq i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x =?? 小雨云大雨晴乙地信源空间为：17(),88Y p y =?? 小雨晴求此两个信源的熵。
求各种天气的自信息量。
案：() 1.75;()0.5436H X H Y ==运行程序：p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率p2=[7/8,1/8];%p2代表乙信源对应的概率H1=0.0;H2=0.0;I=[];J=[];for i=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息量分别为：');Idisp('H1信源熵为：');H1for j=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息量分别为：');Jdisp('H2信源熵为：');H2。
离散信源熵信道容量实验报告
离散信源熵信道容量实验报告实验目的：通过模拟离散信源熵和信道容量的实验，掌握熵和信道容量的概念及计算方法。
实验原理：离散信源：离散信源是指其输出符号集合为有限的离散符号集合，通常用概率分布来描述其输出符号的概率分布，称为离散概率分布。
离散信源的熵是度量这一离散概率分布的不确定度的量度，其单位是比特。
离散信源的熵公式为：H(S)=-Σpi×log2pi其中，H(S)为离散信源的熵，pi为消息符号i出现的概率，log2为以2为底的对数。
信道容量：信道容量是指在某一固定的信噪比下，能够传送的最大信息速率。
信道容量的大小决定了数字通信系统的最高可靠传输速率。
离散无记忆信道的信道容量公式为：C=max{I(X;Y)}其中，X为输入符号，Y为输出符号，I为信息熵。
实验步骤：1. 生成随机概率分布对于3种不同的符号数量，生成随机的符号及其概率分布。
在生成时，要求概率之和为1。
2. 计算离散信源的熵根据所生成的随机概率分布计算离散信源的熵。
3. 构建离散无记忆信道构建一个离散的2进制对称信道，并存储在一个概率矩阵中，利用生成的概率分布对该矩阵进行初始化。
4. 计算信道容量根据所构建的离散无记忆信道计算其信道容量。
实验结果分析：以下是实验结果分析，其中H(S)表示离散信源的熵，C表示离散无记忆信道的信道容量。
符号数量为3时：符号概率a 0.2b 0.3c 0.5H(S) = 1.485构建的离散无记忆信道的概率矩阵为：| 0 | 1 |--------------------------a | 0.20 | 0.80 |--------------------------b | 0.60 | 0.40 |--------------------------c | 0.80 | 0.20 |--------------------------C = 0.823从实验结果可以看出，当符号数量增加时，熵的值也会随之增加，这是由于符号集合增加，随机性增强所导致的。
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
离散信源熵ppt课件
I(xi;yj)lo2gp(px(ix|iy)j)
I(x i;y j) lo p (p x g ( ix |iy )j) lo p ( p x ( g ix )ip y (jy )j) lo p ( p y ( g jy |jx )i)
I ( x i ;y j) I ( x i) I ( x i|y j) I ( y j) I ( y j|x i)
• 若得知“今天不是晴天”,把这句话作为收到的消息 y1
• 当收到y1后,各种天气发生的概率变成后验概率了
• p(x1|y1) = 0I, (px(1x;2y|y11))=l1o/22g精,p选p(pp(xpx(1tx3||1yy)11))=10/4 , p(x4|y1) = 1/4 13
I(x2;y1)lo 2p g (p x (2 x |2y )1)lo 21 1 g //4 21 bit I(x3;y1)I(x4;y1)lo21 1 g //8 41 bit • 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 • 消息y1使x2 x3 x4的不确定度各减少1bit 。
• 条件熵
H(Y|X) p(xi,yj)lopg(yj|xi)
I(xi)lopg (xi)
• I (xi) 含义:
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
精选ppt 6
自信息量
• 自信息量
I(xi)lopg (xi)
• 条件自信息量
I(x i|yj) lop (g x i|yj)
• 联合自信息量
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
I(x)的含义：
电子信息工程学院
信息论
2.2 离散信源的信息熵
例2.1 假设一条电线上串联8个灯泡，这8个灯泡 损坏的可能性是等概率的，现假设这8个灯泡有一 个且只有1个已经损坏，让我们检查判断哪一个灯 泡损坏并分析信息获取的过程。
解：用万用表进行检查判断
电子信息工程学院
信息论
2.2 离散信源的信息熵
第三次 第二次 第二次 第一次 第一次
第一次获得的信息量
I[P 1 ( x)] I [ P 2 ( x)] log2 1 1 1 1 log2 log2 log2 1 P ( x ) P ( x ) 1 8 1 4 1 2
第二次获得的信息量
I[P 2 ( x)] I [ P 3 ( x)] log2 1 1 1 1 log2 log2 log2 1 P ( x ) P ( x ) 1 4 1 2 2 3
信息论
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法
自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统 计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下：
信息论
2.2 离散信源的信息熵
信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每 次只输出一个消息。 离散信源的数学模型：
X x1 P( x) p ( x ) 1 x2 x3 p( x2 ) p( x3 ) xq p( xq )
H ( X ) 0.99 log 0.99 0.01log 0.01 0.08(比特 / 符号) H (Y ) 0.5 log 0.5 0.5 log 0.5 1(比特 / 符号)
H (Y ) H ( X ) 可见 信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输 出消息前，接收者对信源存在的平均不确定程度的大小，也反 映了信源随机性的大小。
信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平 均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定性。 信源熵H(X)反映了变量X的随机性。Βιβλιοθήκη 电子信息工程学院信息论
2.2 离散信源的信息熵
例如有两个信源，其概率空间分别为：
X a1 P( x) 0.99 a2 0.01 Y b1 P( y ) 0.5 b2 0.5
I ( x) loga 1 loga P( x) P( x)
－自信息量的定义
电子信息工程学院
信息论
2.2 离散信源的信息熵
I ( x) loga
1 loga P( x) P( x)
上式中对数的底：
若a = 2，信息量的单位称为比特(bit) 若a = e，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特(Hart) 事件x发生前， I(x)表示事件x发生的不确定性 事件x发生后， I(x)表示事件x所含有（或所提供）的信息量
单位：比特/符号。（底数不同，单位不同） 信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义 上来表征信源的总体信息测度。 对于某特定的信源（概率空间给定），其信息熵是个确定的数 值。 不同的信源因统计特性不同，其熵也不同。
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.2 信源熵的物理意义
式中， 0 p( xi ) 1
q i
(i 1, 2,q)
p( x ) 1
i 1
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.1 自信息
问题的提出:
?????
每个消息携带多少信息量？ 整个信源能输出多少信息量？
信源发出的消息是随机的，具有不确定性，收信者收到消息后， 才能消除不确定性获得信息。 如果某一消息发生的不确定性越大，一旦发生，获得的信息量 就越大。 不确定性的消除是一个从“不知-知”的过程，在此过程中，收 信者获得足够的信息量。 消息发生的不确定性和发生的概率有关，消息发生的概率越小， 则消息中包含的信息量就越大。消息ai 发生所含有的信息量称 为消息ai 的自信息量。 电子信息工程学院
用什么作为整个信源的信息测度?
信息熵
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.2 信息熵
各离散消息自信息量的数学期望，即信源的平均自信息量—— 信息熵。
n 1 H ( X ) E[ I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
第三次获得的信息量
I[P 3 ( x)] log2
1 1 log2 1 P ( x ) 1 2 3
电子信息工程学院
信息论
2.2 离散信源的信息熵
结论：
收到某消息获得的信息量 =不确定性减少的量 =（收到消息前某事件发生的不确定性） -（收到消息后关于该事件的不确定性） 自信息是指某一消息所含有的信息量，消息不同，所含有的 信息量也不同，不能用它作为整个信源的信息测度。
电子信息工程学院