信息论与编码_习题解答
信息论与编码理论习题答案
资料范本本资料为word版本，可以直接编辑和打印，感谢您的下载信息论与编码理论习题答案地点：__________________时间：__________________说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2=23=6 bit因此，信息速率为 61000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ==得到的信息量 ===2.585 bit(2) 可能的唯一，为 {6，6}=得到的信息量===5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) =信息量===225.58 bit(b)==信息量==13.208 bit2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585 bit===2(36+18+12+9+)+6=3.2744 bit=-=-[-]而=，所以= 2-=1.8955 bit或=-=+-而= ，所以=2-=1.8955 bit===2.585 bit=+=1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
(完整word版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p==(0|01)(10|01)0.5p p==(0|11)(10|11)0.2p p==(0|10)(00|10)0.5p p==(1|00)(01|00)0.2p p==(1|01)(11|01)0.5p p==(1|11)(11|11)0.8p p==(1|10)(01|10)0.5p p==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8 p⎛⎫⎪⎪=⎪⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
姜丹 信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bitP a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(3666样本空间：2221111616==-=∴====-=∴===⨯==(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率 bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题解答
信息论与编码习题解答信息论与编码习题解答第⼀章1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成分才算是信息”这些说法。
他举例说：我多遍地欣赏梅兰芳⼤师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。
（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。
⽽观众在欣赏的同时也在接受着新的感官和视听享受。
从这⼀⾓度来说，观众还是可以得到新的信息的。
另⼀种解释可以从⼴义信息论的⾓度来分析，它涉及了信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。
京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享受，因此属于⼴义信息论的范畴。
2．利⽤下图（图1.2）所⽰的通信系统分别传送同样时间（例如⼗分钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输⼊中所含的信息是否相同，为什么？图1.2 通信系统的⼀般框图答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。
同样的时间内轻⾳乐的采样编码的数据要⽐语⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。
但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。
第⼆章1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。
（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果作出解释。
解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：22393240239!2!237!240!3!237!11/80240/3C P C====所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit)（2）240颗中含1颗假珠，⽤天平等分法最多6次即可找到假珠，这是⼀个必然事件，因此信息量为0。
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
信息论与编码习题参考答案
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。
求传输此图象所需要的信息率（bit/s ）。
解：bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。
试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。
问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，nm ≤≤0。
信息论与编码-曹雪虹-课后习题参考答案
《信息论与编码》-曹雪虹-课后习题答案第二章错误!未定义书签。
2.1一个马尔可夫信源有3个符号{}1,23,uu u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
W 2、W 31231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWP WW==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W WW W WW W WW W WW W W W+=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514WWWW⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.31/6，求：(1)“3和5(2)“两个1(3)1的自信息量。
11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ (4)x p x p X H X P X i i i 1212181log 1812361log 3612 )(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11=求：身高160即：ypxypxpyxpyxI5.075.025.0log)()/()(log)/(log)/(11111111⨯-=-=-=2.6掷两颗骰子，1()(1,2)(2,1)18p x p p=+=log()log18 4.170p x bit=-==7的概率log()log6 2.585p x bit=-==341231/41/8x x===⎫⎪⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n XH / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码_习题解答
居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X)设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y)已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log)/(log )/(11111111=⨯-=-=-=设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 有两个二元随机变量X 和Y ，它们的联合概率为并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
信息论与编码 课后习题答案
信息论与编码课后习题答案信息论与编码课后习题答案[信息论与编码]课后习题答案1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分为语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的就是为了高效率、可信、安全地互换和利用各种各样的信息。
6、信息的是建立信息论的基础。
8、就是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号线性信源通常用随机变量叙述，而多符号线性信源通常用随机矢量叙述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位通常存有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能将事件的自信息量就是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处置后，随着处理器数目的激增，输出消息与输入消息之间的平均值互信息量趋向变大。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2xn1)h n18、线性稳定存有记忆信源的音速熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维已连续随即变量x在[a，b]。
1log22ep21、平均功率为p的高斯分布的已连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于减半平均功率的一维已连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一线性并无记忆信源的信源熵h（x）等同于2.5，对信源展开相切的并无杂讯二进制编码，则编码长度至少为。
信息论与编码(陈运)习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
-精品 2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生）
P(X) 0.25 0.75
设随机变量Y代表女孩子身高 Y y1（身高>160cm） y2（身高<160cm）
P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：bitxyp 75.0)/(11
求：身高160厘米以上的某女孩是大学生的信息量
即：bitypxypxpyxpyxI 415.15.075.025.0log)(
)/()(
log)/(log)/(11111111
2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP
（1）求每个符号的自信息量 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量
解：122
1
18()loglog1.415()3Ixbitpx
同理可以求得233()2,()2,()3IxbitIxbitIxbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81IIxIxIxIxbit
平均每个符号携带的信息量为87.811.9545bit/符号
2.13 有两个二元随机变量X和Y，它们的联合概率为 Y X x1=0 x2=1
y1=0 1/8 3/8 y2=1 3/8 1/8 -精品
并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1)
symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/ 1)(log)()(218183)()()(218381)()()(/ 1)(log)()(218183)()()(218381)()()(22212121112212221111
Z = XY的概率分布如下：
symbolbitzpZHzzZPZkk/ 544.081log8187log87)()(818710)(221
symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/ 406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111
-精品
symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/ 406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111
symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/ 811.181log8183log8383log8381log81 )(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211
(2) -精品
symbolbitXYHXYZHXYZHsymbolbitXZHXYZHXZYHsymbolbitYZHXYZHYZXHsymbolbitYHYZHYZHsymbolbitZHYZHZYHsymbolbitXHXZHXZHsymbolbitZHXZHZXHsymbolbitXHXYHXYHsymbolbitYHXYHYXHsymbolbityxpyxpXYHijjiji/ 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log8183log8383log8381log81)(log)()(2 (3) symbolbitYZXHYXHYZXIsymbolbitXZYHXYHXZYIsymbolbitYZXHZXHZYXIsymbolbitZYHYHZYIsymbolbitZXHXHZXIsymbolbitYXHXHYXI/ 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(
2.17 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)
symbolbitXNHXHsymbolbitnXHN/ 101.27103)()(/ 7128loglog)(6522
2) symbolbitXNHXHsymbolbitnXHN/ 13288288.131000)()(/ 288.1310000loglog)(22
3) 158037288.13101.2)()(6XHXHNN
5-1 将下表所列的某六进制信源进行二进制编码，试问： -精品
消息 概率 1C 2C 3C 4C 5C 6C
u1 u2 u3 u4 u5 u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 110 01 001 100 101 110 111 (1) 这些码中哪些是唯一可译码？ (2) 哪些码是非延长码？ (3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码 31123456231244135236:62163:22222216463:164:22421:2521:2521CCCCCC
5C不是唯一可译码，而4C：
又根据码树构造码字的方法
1C，3C，6C的码字均处于终端节点
他们是即时码