信息论第二章作业
信息论与编码第二章课后习题答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
H ( X ) − H (X ′) = ( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) − p1 log p1 − p2 log p2
令
f
(x)
=
( p1
−
x) log( p1
−
x) +
( p2
+
x) log( p2
+
x)
，
x ∈ 0,
A
已落入，B
落入的格可能有
47
个，条件概率
P(b j
|
ai )
均为
1 47
。平均自信息量为
48 47
∑ ∑ H (B | A) = −
信息论与编码第二章答案
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
信息论与编码 第二章作业
信息工程学院 通信10—1 XXXXXX2.11 解 ：(1) H(X)：111112212()131()()()8821()1()2()()log ()1/i i j j i i ip x X Y p x p x y p x y p x p x H X p x p x bit sym bol===+=+==-==-=∑∑由得同理H(Y)=1bit/symbolH(Z):Z = XY 的概率分布如下：symbol bit z p Z H z z Z P Z kk / 544.081log 8187log 87)()(818710)(221=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥⎦⎤⎢⎣⎡∑ H(XZ)：symbol bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k k i k i / 406.181log 8183log 8321log 21)(log )()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-===+==-=-=+====+=∑∑ 同理求的得H(YZ)=1.406bit/symbolH(X ：symbol bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i j k k j i k j i / 811.181log 8183log 8383log 8381log 81 )(log )()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-====+====+=-=-==+===+===∑∑∑ (2)symbol bit XY H XYZ H XY Z H symbolbit XZ H XYZ H XZ Y H symbolbit YZ H XYZ H YZ X H symbolbit Y H YZ H Y Z H symbolbit Z H YZ H Z Y H symbolbit X H XZ H X Z H symbolbit Z H XZ H Z X H symbolbit X H XY H X Y H symbolbit Y H XY H Y X H symbol bit y x p y x p XY H i j j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑(3)symbol bit YZ X H Y X H Y Z X I symbolbit XZ Y H X Y H X Z Y I symbolbit YZ X H Z X H Z Y X I symbolbit Z Y H Y H Z Y I symbolbit Z X H X H Z X I symbolbit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=2.13 解：(1) 这个信源是平稳无记忆信源。
信息论导论第二章作业
第三、四章信息论作业1：简述模拟通信和数字通信的特点？模拟通信的特点：优点：信道的利用率较高（模拟信号的频谱较窄）缺点：信号连续，噪音混入加到信号上，不易清除――抗干扰能力差，不适合远距离传输，不易保密通信，设备不易大规模集成，不适应数据通信的要求。
数字通信的特点：优点：（1）抗干扰能力强（噪音基本上不影响信号）（2）容易实现高质量远距离通信。
（3）可把电话、电报、图像、数据等各种消息变换成统一的数字信号来传输，便于实现综合业务数字网（ISND）。
（4）容易采用复杂的、非线性长周期码序列对信号进行加密，有高强度的保密性。
（5）适于集成化、智能化（DSP、CPU等LSI大量出现）――多功能、微型化、低功耗、低成本。
缺点：（1）占用的信道频带宽。
（2）系统和设备比较复杂。
2：为什么要建立通信网络？建立通信网络需要解决那些理论问题？答：建立通信网络是为了降低维持通信的成本，增加传输通道的扩展性和利用率，实现任何地理位置的任意两个用户之间即时信息传递问题。
需要解决的问题：(1)网络拓扑设计和网络覆盖问题(2)采用什么样的传输和交换机制(3)多址问题(4)路由器问题(5)流量控制问题3：移动通信的发展历史，各有何特点？发展历史：1897年，马可尼在陆地与一只拖船之间，用无线电进行了消息的传递，这是移动通信的开端.随着无线广播和无线电报的出现，特别是两次世界大战的需要，早期的移动通信的雏形已开发了出来，如步话机、对讲机等等。
60年代晶体管的出现，专用无线电话系统出现，在公安、消防、出租汽车等行业中应用。
70年代初：贝尔实验室提出蜂窝系统的覆盖小区的概念和相关的理论后，立即得到迅速的发展，很快进入了实用阶段。
1979年：AMPS制模拟蜂窝式移动电话系统在美国芝加哥试验后，终于在1983年12月在美国投入商用。
我国在1987年开始使用模拟式蜂窝电话通信，1987年11月，第一个移动电话局在广州开通(1)第一代移动通信(1G):传输速率：1.2kb/s~10kb/s.模拟方式：通过电波所传输的信号模拟人讲话声音的高低起伏变化的通信方式。
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论第二章作业
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
2-2 设有一离散无记忆信源，其概率空间为[]⎥⎦⎤⎢⎣⎡=====8/14/14/18/332104321x x x x P X （1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
2-3 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
(1) 若仅对颜色感兴趣，计算平均不确定度；(2) 若仅对颜色和数字都感兴趣，计算平均不确定度；(3) 如果颜色已知时，计算条件熵。
2-4 有两个二元随机变量X 和Y ，它们的联合概率如表所示。
并定义另一随机变量Z ＝XY （一般乘积）。
试计算：(1)H (X )、H (Y )、H (Z)、H (X Z)、H (Y Z)和H (XY Z)。
(2)H (X /Y )、H (Y /X )、H (X /Z)、H (Z/X )、H (Y /Z)、H (Z/Y )、H (X /Y Z)、H (Y /X Z)和H (Z/XY )。
(3)I(X ;Y )、I(X ;Z)、I(Y ;Z)、I(X ;Y /Z)、I(Y ;Z/X )和I(X ;Z/Y )。
2-5 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。
信息论与编码第2章习题
确定连续信道的容量
连续信道是指信道输出符号与输入符号之间存 在连续的函数关系。
连续信道的容量可以通过最大互信息方法计算， 但需要将连续的输入和输出信号进行离散化处 理。
计算连续信道容量的关键是确定输入信号和输 出信号之间的概率密度函数，然后利用互信息 公式计算最大互信息，从而得到信道容量。
04 习题四：信道编码定理
数据压缩中的互信息
在数据压缩中，互信息被用来衡量数据中包含的关于其自身的信息的多少，从而确 定数据压缩的程度。
通过去除数据中冗余的信息，可以减小数据的体积，同时保持数据的信息完整性。
在数据压缩过程中，互信息的应用可以帮助我们确定最佳的压缩策略，以实现数据 的有效存储和传输。
03 习题三：信道容量的计算
确定离散无记忆信道的容量
离散无记忆信道是指信道输出符号与输 入符号之间存在一定的概率关系，但这 种概率关系不依赖于输入符号的先后顺
序。
离散无记忆信道的容量可以通过最大互 信息方法计算，即选取一组输入符号使 得互信息最大，这组输入符号对应的输 出符号构成的集合即为该信道的容量。
计算离散无记忆信道容量的关键是确定 输入符号和输出符号之间的概率分布， 然后利用互信息公式计算最大互信息，
详细描述
熵是信息论中的一个基本概念，用于度量信息的不确定性。对于离散随机变量$X$，其熵定义为$H(X)=sum_{xin X} P(x)log_{2}P(x)$，其中$P(x)$表示随机变量$X$取$x$的概率。熵的大小反映了信息的不确定性和 随机性，熵越大，信息的不确定性越高。
条件熵的计算
总结词
从而得到信道容量。
确定离散有记忆信道的容量
离散有记忆信道是指信道输出符号不仅与当前输入符 号有关，还与之前的输入符号有关。
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论第二章课后习题解答
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率 为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概 率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以 像素均是独立变化，且每一像素又取128个不同的亮度电平，并 设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少 （假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描 述此图像，广播员在口述中至少需用多少汉字？
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白 黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的 概率为P(白)=0.7。 （1） 假设图上黑白消息出现前后没有关联，求熵H(X) ； （2） 假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马 尔克夫信源的熵H2 。 （3） 分别求上述两种信源的冗余度，并比较H(X)和H2的大小， 并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所 示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为： （3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确 定性减弱。有依赖时前面已是白色消息，后面绝大多数可能 是出现白色消息；前面是黑色消息，后面基本可猜测是黑色 消息。这时信源的平均不确定性减弱，所以信源消息之间有 依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明 信源熵正是反映信源的平均不确定的大小。而信源剩余度正 是反映信源消息依赖关系的强弱，剩余度越大，信源消息之 间的依赖关系就越大。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：
(1)“3和5同时出现”这事件的自信息量。
(2)“两个1同时出现”这事件的自信息量。
(3)两个点数的各种组合（无序对）的熵或平均信息量。
(4)两个点数之和（即2，3，…，12构成的子集）的熵。
(5)两个点数中至少有一个是1的自信息。
2-2 设有一离散无记忆信源，其概率空间为
[]⎥⎦⎤⎢⎣⎡=====8/14/14/18
/332104321x x x x P X （1） 求每个符号的自信息量；
（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032
011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
2-3 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有
2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
(1) 若仅对颜色感兴趣，计算平均不确定度；
(2) 若仅对颜色和数字都感兴趣，计算平均不确定度；
(3) 如果颜色已知时，计算条件熵。
2-4 有两个二元随机变量X 和Y ，它们的联合概率如表所示。
并定义另一随机变量Z ＝XY （一
般乘积）。
试计算：
(1)H (X )、H (Y )、H (Z)、H (X Z)、H (Y Z)和H (XY Z)。
(2)H (X /Y )、H (Y /X )、H (X /Z)、H (Z/X )、H (Y /Z)、H (Z/Y )、H (X /Y Z)、H (Y /X Z)和H (Z/XY )。
(3)I(X ;Y )、I(X ;Z)、I(Y ;Z)、I(X ;Y /Z)、I(Y ;Z/X )和I(X ;Z/Y )。
2-5 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)
＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。
画出状态图，并计算各状态的稳态概率。
2-6 有一个一阶平稳马尔可夫链X 1，X 2，…X r ，…，各X r 取值于集A ＝{a 1，a 2，a 3}。
已知
起始概率P(X r )为：p 1 = 1/2，p 2 = p 3 = 1/4，转移概率为：
(1)求X 1X 2X 3的联合熵和平均符号熵。
(2)求这个链的极限平均符号熵。
(3)求H 0，H 1，H 2和它们所对应的冗余度。
2-7 证明：（信息不等式），p(x),q(x)是两概率分布，相对熵D(p(x)||q(x))≥0
2-8 证明：（最大熵定理），H(x)≤logM, M 表示空间的维数
2-9 证明：条件熵小于等于熵（无条件）。