2019.信息论.第2章.习题答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码第二章答案
2—1、一阶马尔可夫链信源有3个符号{}123,,u u u ,转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则: 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集{０,１}组成的二阶马尔可夫链，其转移概率为:P （0｜00）=0.8，P(0｜11)=0.2，P （1|00）=0.2，P(1｜11）=0.8,P （0|01）=0.5,p(0|10）=0。
5，p(1|01）=0。
5,p （1|10）=0。
5画出状态图，并计算各符号稳态概率。
解:状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2—1-17）可得方程组。
1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2—3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现"事件的自信息量； (3)、两个点数的各种组合的熵或平均信息量； （4)、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。
信息论与编码理论习题答案全解
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
Information Theory & Coding信息论与编码(英文版)第二章 信源熵-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 男士：sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) >log6不满足信源熵的极值性。
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
信息论与编码理论习题答案
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求 （c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ） 上式(ｃ)左右两边加上，可得 ＋＋ 于就是+ ２、2８ 令概率空间，令 Y 就是连续随机变量。已知条件概率密度为 ，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2
信息论与编码理论习题答案
第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit经过充分洗牌后的一副扑克〔52张〕，问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 假设从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit设一个系统传送10个数字，0，1，…，9。
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2.18 有两个二元随机变量X和Y，它们的联合概率为
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。
解：(1) H(X), H(Y)
p(x1)p(x1y1)p(x1y2)8 18 31 2
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
p( x2 )
p( x2 y1 )
p(x2 y2)
3 8
1 8
1 2
H ( X ) p ( xi ) log 2 p ( xi ) 1 bit / symbol
进制代
码组 x0y0z0x0y0z1x0y1z0x0y1z1x1y0z0x1y0z1x1y1z0x1y1z1
P(ui) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。 求在给定x0条件下，各消息与y1之间的条件互信息量。 求在给定x0y1条件下，消息u3与z1之间的条件互信息量。 求消息u3与代码组之间的互信息量。
pp (A )p (B ) 1 /8 1 1 /2 I lo g (1 /8 1 1 /2 ) 7 .3 4 (b it)
• 习题2.4 居住在某地区的女孩中有25%是大学生，在女 大学生中有75%是身高1.6米以上的，而女孩中身高1.6 米以上的占总数一半。假如我们得知“身高1.6米以上 的某女孩是大学生”的消息，问可获得多少信息量？
习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了 在二进制信道上传输，用信源编码器把这8个十进制数编成 三位二进制代码组，信源各消息（符号）的先验概率及相应 的代码组如下：
信息 0 1 2 3 4 5 6 7
三位二 000 001 010 011 100 101 110 111
I(xi;yj)logp(px(i x/iy)j)
p ( x i y j ) p(xi)p(yj /xi)
n
p(xiy j)
i1
p (u 0 /x 0 )p ( p u ( 0 u ) ip )( p x ( 0 x / 0 u /0 u ) i) 1 /4 1 /4 1 / 4 1 /8 1 /8 1 /3
Y
H(Y/ X)H(XY)H(X) 1.81110.811 bit
H(X/Z) H(XZ)H(Z) 1.4060.5440.862 bit
H(Z/ X)H(XZ)H(X) 1.40610.406 bit
H(Y/Z) H(YZ)H(Z) 1.4060.5440.862 bit
p ( x2
y1z2 )
0,
p ( x2
y2 z2
)
1 8
p ( x1 y1z1 )
1 / 8,
p ( x1 y2 z1 )
3 8
p ( x2
y1z1 )
3 8
,
p ( x2
y2 z1 )
0
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
• 2.3 在布袋中放入81个硬币，它们的外形完全相同。已 知有一个硬币的重量与其他81个硬币的重量不同，但 不知这一个硬币是比其他硬币重还是轻。问确定随意 取出的一个硬币恰好是重量不同的一个硬币所需要的 信息量是多少？若要进一步确定它比其他硬币是重一 些还是轻一些所需要的信息量是多少？
p(A )1/81 I(A )logP (A )6.34(bit)
7
1
8
8
H (X YZ)
p(xiyjzk)log2p(xiyjzk)
i jk
1 8log21 88 3log28 38 3log28 31 8log21 8 1.811bit
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), Y X x1=0 x2=1
i
I(u 3 ;x 0 ) lo g p ( p u ( 3 u /3 x )0 ) lo g 1 1 / /8 6 lo g 4 3 0 .4 1 5 (b it)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
(2) p(xi)1616316 I(xi)lo2gp(xi)lo2g3165.170bit
(3) p(xi)165651316 I(xi)log2p(xi)log213161.710bit
• 2.2 设在一只布袋中装有100只对人手的感觉完全相同的木球， 每只球上涂有一种颜色。100只球的颜色有下列三种情况：
(1) H(XZ), H(YZ)
p( x1 ) p( x2 ) 0.5
p( x1z1 ) 0.5
p( x1z2 ) 0
p( x2 z1 )
3 8
p( x2 z2
)
1 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
z1 0 z2 1
（1）红色球和白色球各50只；
（2）红色球99只，白色球1只；
（3）红、黄、蓝、白色各25只；
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
(1) p ( R ) p (W ) 50 /100 1 / 2 I ( R ) I (W ) log 2 1(bit ) (2) p(R ) 99 /100 0.99 p (W ) 1 /100 0.01 I (R ) log100 / 99 0.0145(bit) I (W ) log 100 6.644(bit ) (3) p ( R ) p (Y ) p ( B ) p (W ) 25 /100 1 / 4 I ( R ) I (W ) I (W ) I (W ) log 4 2(bit )
i
p( y1)
p ( x1 y1 )
p( x2 y1 )
1 8
3 8
1 2
p( y2 )
p ( x1 y2 )
p(x2 y2)
3 8
1 8
1 2
H (Y ) p ( y j ) log 2 p ( y j ) 1 bit / symbol
j
(1) H(Z)
Z = XY的概率分布如下：
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。
7
1
8
8
H ( XZ )
p( xi zk ) log2 p( xi zk )
ik
(
1 2
log 2
1 2
3 8
log 2
3 8
1 8
log 2
1) 8
1.406
bit / symbol
（1）H(XYZ)；
p( x1 y1z2 ) 0, p( x1 y2 z2 ) 0
i
I(u 0 ;x 0) lo gp (p u (0 u /0 x )0) lo g 1 1 //4 3 0 .4 1 5 (b it)
信息 代码 组
P(ui)
01234567 000 001 010 011 100 101 110 111 x0y0z0 x0y0z1 x0y1z0 x0y1z1 x1y0z0 x1y0z1 x1y1z0 x1y1z1 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
解： 设随机变量X代表女孩子学历
X P(X)
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm）
P(Y)
0.5
0.5
已知：在女大学生中有75%是身高160厘米以上的
即：p(y1/ x1) = 0.75
解： 设随机变量X代表女孩子学历
Z P(Z)
z170 8
z211 8
Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8
H ( Z ) k 2p ( z k ) 7 8 l o g 2 7 8 1 8 l o g 2 1 8 0 . 5 4 4 b i t/s y m b o l
H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
y1=0 1/8 3/8