信息论与编码第二章
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
(完整版)信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p uu =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
信息论与编码_第2章
2.1信源描述与分类
马尔可夫信源 更一般，经过n-m步后转移至sj的概率
pij (m, n) = P{S n = s j / S m = si } = P{s j / si } pij (m, n) ≥ 0 ∑ pij (m, n) = 1 j
15
2.1信源描述与分类
i
33
2.2离散信源熵与互信息
单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定 义的随机变量I的数学期望为信源的信息熵， 单位为比特/符号
H ( X ) = E[ I ( x)] = −∑ p ( xi ) log p ( xi )
X = x1 x 2 0 . 8 0 . 2 P
32
2.2离散信源熵与互信息
I ( x1 ) = − log 2 p ( x1 ) = − log 2 0.8bit I ( x 2 ) = − log 2 p( x 2 ) = − log 2 0.2bit N次后所获得的信息量为 I = Np ( x1 ) I ( x1 ) + Np ( x 2 ) I ( x 2 ) = (−0.8 log 2 0.8 − 0.2 log 2 0.2) N 平均每次所获得的信息量为 I = p ( x1 ) I ( x1 ) + p ( x 2 ) I ( x 2 ) = ∑ p ( xi ) log p ( xi )
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
1
2.1信源的描述与分类
信源是产生消息（符号）、消息序列和连续消 息的来源。从数学上，由于消息的不确定性， 因此，信源是产生随机变量、随机序列和随机 过程的源 信源的基本特性是具有随机不确定性
信息论与编码(曹雪虹第三版)第一、二章
根据传输介质的不同，信道可分为有线信道和无线信道两大类。有线信道包括 双绞线、同轴电缆、光纤等；无线信道包括微波、卫星、移动通信等。
信道容量的定义与计算
信道容量的定义
信道容量是指在给定条件下，信道能 够传输的最大信息量，通常用比特率 (bit rate)来衡量。
信道容量的计算
信道容量的计算涉及到信道的带宽、 信噪比、调制方式等多个因素。在加 性高斯白噪声(AWGN)信道下，香农 公式给出了信道容量的理论上限。
信道编码分类
根据编码方式的不同，信道编码可分为线性分组码和卷积码 两大类。
线性分组码
线性分组码定义
线性分组码是一种将信息 序列划分为等长的组，然 后对每个组独立进行编码 的信道编码方式。
线性分组码特点
编码和解码过程相对简单 ，适用于各种信道条件， 且易于实现硬件化。
常见的线性分组码
汉明码、BCH码、RS码等 。
将信源消息通过某种数学变换转换到另一个域中，然后对变换 系数进行编码。
将连续的信源消息映射为离散的数字值，然后对数字值进行编 码。这种方法会导致量化噪声，是一种有损的编码方式。
信道编码的定义与分类
信道编码定义
信道编码是为了提高信息传输的可靠性、增加通信系统的抗 干扰能力而在发送端对原始信息进行的一种变换。
信息熵总是非负的，因 为自信息量总是非负的 。
当随机变量为确定值时 ，其信息熵为0。
对于独立随机变量，其 联合信息熵等于各自信 息熵之和。
当随机变量服从均匀分 布时，其信息熵达到最 大值。
03
信道与信道容量
信道的定义与分类
信道的定义
信道是信息传输的媒介，它提供了信号传输的通路，是通信系统中的重要组成 部分。
信息论与编码2
根据概率互换公式
p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω (yj)
互信息量I(xi ;yj )有多种表达形式:
I ( xi ; y j ) log
p( xi y j ) q( xi ) ( y j )
I ( xi ) I ( y j ) I ( xi y j )
第2章 信息的度量
第2章 信息的度量
内容提要：
根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要从通信系统模型入手，研究离散情况 下各种信息的描述方法及定量计算，讨论 它们的性质和相互关系。
2.1 自信息量和互信息量
（2-13）
【例2.8】信源包含8个消息x0,x1,x2,x3,x4,x5,x6,x7 ,信源编码器将 其对应编成8个三位二进制数000，001,…,111。各消息的先验概率 已知，在接收过程中，每收到一个数字，各消息的后验概率都相应 地发生变化。考虑在接受100三个数字的过程中，各后验概率的变 化，计算信息量I(x4;100)。
1/8
1/8 1/4 1/4
1/6
1/6 1/3 1/3
1/2
1/2 0 0
1
0 0 0
根据给定的先验概率，可算出：
1 12 1 23 1 p ( x4 ) p( x4 1) p( x4 10) P (x4︱100) = 1 8 1 2 1 8 1 8 6 2 3 1 6 2
可以看出， 1比特信息量就是两个互不相容 的等可能事件之一发生时所提供的信息量。
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：
信息论与编码第2章习题解答
信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。
为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个⾥⾯。
从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。
⼜有两种情况：平衡或不平衡。
a ）平衡：称⼀下那个剩下的就⾏了。
b ）不平衡：我们⾄少知道那组假币是轻还是重。
从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。
从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。
交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。
⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。
那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。
(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。
(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。
根据推论也只要称⼀次即可。
2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。
信息论与编码课件第二章
条件互信息量与联合互信息量
条件互信息量定义
I( x; y | z) loga
p( x | yz) p( x | z)
联合互信息量定义
I( x; yz)
log a
p( x | yz) p( x)
自信息量与互信息量的区分 （表达方式和含义上）
信息量 I( x) I( x | y) I( xy)
I(x)
联合自信息量与联合熵
联合自信息量定义
I ( xy ) = log 1 = - log p(xy) p( xy)
联合熵定义(联合自信息量的统计平均)
H(XY )
=
EXY I( xy)
=
xX yY
p( xy)I( xy)
= p( xy)log p( xy)
xX yY
自信息量、条件信息量、联合信息量 三者之间的关系
3 4
1 8
log2
1 4
0.406(bit)
H (Y | Z ) H ( X | Z ) 0.862(bit)
H (Z | X ) H (Z | Y ) 0.406(bit)
H ( X | YZ) H (Y | XZ ) 0.406(bit)
H (Z | XY ) 0
• (3)
I( X;Y ) H ( X ) H ( X | Y ) 1 0.811 0.189(bit) I( X; Z ) H ( X ) H ( X | Z ) 1 0.862 0.138(bit) I(Y ; Z ) I( X; Z ) 0.138(bit) I( X;Y | Z ) H( X | Z ) H( X |YZ)
8888
(2)根据(1)得到的联合概率分布和边沿概率分布
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章
1对于离散无记忆信源DMS=,试证明：
HX=H2p=-p log p-1-plog1-p
当p=1/2时,HX达到最大值;
2对1中的DMS,考虑它的二次扩展信源X2=,证明：HX2=2HX;
解：
（1）函数HX=-plogp-1-plog1-p中的变量p在0到1中取值,从函数的结构上可以知道该函数在区间0,1上是关于p=1/2对称的函数;
（2）H X==-logp-1-pp1-pp1ln2+
（3）+1ln21-p-1ln2+log1-p-pln21-p
=log1-pln21-p
=log1-pp>0
在区间0,上1-p>p,则1-p/p>1,所以log,在此区间上Hx>0,Hx 单调递增;又该函数是在区间0,1上是关于p=1/2对称的函数,那么在区间,1上单调递减;
所以,HX=H2p=-plogp-1-plog1-p在p=1/2时,HX达到最大值;
2二次扩展后的矩阵：
=
HX2=-p2logp2-p1-plog2p1-p-2p1-plogp1-p
=2-plogp1-p-1-plog1-pp-21-plog1-pp-1-plog1-p=2HX
1一个无偏骰子,掷骰子的熵为多少
2 如果骰子的被改造使得某点出现的概率与其点数成正比,那么熵为多少
3一对无偏骰子,各掷一次,得到总点数为7,问得到多少信息量
解：
1 Hx= -log1/6=log6=bit/符号
2由qx i=kx i得21k=1 即 k=1/21
Hx=-1/21log1/21-2/21log2/21-3/21log3/21-4/21log4/21-5/21l og5/21-6/21log6/21=bit/符号
3IA+B=7=-log1/6=log6=bit
一个盒子中放有100个球,其中60个球是黑色的,40个球是白色的; 1随机摸取一个球,求获得的自信息量;
2进行放回摸取n次,求这n次所得到的平均自信息量;
解：
1Ix i=-log1/100=log100bit
2总信息量为：nIx1Px1+nIx2Px2
平均：1/n nIx1Px1+nIx2Px2=bit
给定信源=,
1 该信源是平稳信源吗计算信源熵；
2计算Hx3,并列出信源;
3 计算Hx3|x1x2及N维扩展信源在N趋于无穷时的熵.
解：
1 Hx= bit/符号
Hx<=NHx 是平稳信源
2Hx3==3Hx= bit/符号
X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2} 记x i x j x t=b k,k=0 (7)
则=
3 Hx3|x1x2=-
N维扩展信源在N趋于无穷时,qx i j几乎相等;
所以,-=-=0
所以,N维扩展信源在N趋于无穷时的熵0;
证明几何分布=的熵为HX=;
证明：由题意可得,x的二维扩展概率分布为：
=
Hx=-plogp-p1-plogp1-p…-p1-p i-1logp1-p i-1
H2p=-p2logp2-p21-plogp21-p…-p21-p2i-2logp21-p2i-2
将H2p进行化简,可得：H2p=Hxp
所以,Hx=。