第二章信源与信息度量习题
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
第二章 信源熵练习题
-H(X)；
B、 H(XY)=H(X)+
H(X/Y)；
C、 H(XY)=H(Y)+
H(X/Y)；
D、H(XY)=H(X)
+H(Y)
9、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、 H(Y/X) 以及平均互信息 I(X;Y) ， 则下列关系成立的是 （ B ）
j i
p ( y j ) p ( xi | y j ) log 2 p( xi ) i j p ( xi ) log 2 p( xi ) H ( X )
i
5. 平均互信息量的三种表达形式及其对应的物理意义：P27-28 均互信息的三种表达形式： 1） I ( X; Y) H X H X / Y ； 2） I (Y; X) H Y H Y / X ； 3） I ( X; Y) H X H Y H XY 。 6.
第一章 绪论练习题
一、 填空题
1. 信息是事物运动状态或存在方式的所有可能取值的描述，不确定性可以用 概率来表达，因而可以用概率论与随机过程来描述信源输出的消息。单符 号信源用概率空间来描述，即信源符号的所有可能取值及其对应的概率。 信源的某一种取值概率大，则其不确定性（度） 值概率小，则其不确定性（度） 大 。 小 ；相反，某一种取
H ( X ) log n
n 1 n 1 n p(ai ) 1 log e p(ai ) log e 0 i 1 i 1 n i 1 np(ai )
4. 条件熵不大于无条件熵即 H ( X Y ) H ( X ) 证明：
第2章习题解答
第二章习题解答2.01 试给出数据通信系统的基本模型并说明其主要组成构件的作用。
答：1）信源和信宿信源就是信息的发送端，是发出待传送信息的设备；信宿就是信息的接收端，是接收所传送信息的设备，在实际应用中，大部分信源和信宿设备都是计算机或其他数据终端设备(data terminal equipment，DTE)。
2）信道信道是通信双方以传输媒体为基础的传输信息的通道，它是建立在通信线路及其附属设备(如收发设备)上的。
该定义似乎与传输媒体一样，但实际上两者并不完全相同。
一条通信介质构成的线路上往往可包含多个信道。
信道本身也可以是模拟的或数字方式的，用以传输模拟信号的信道叫做模拟信道，用以传输数字信号的信道叫做数字信道。
3）信号转换设备其作用是将信源发出的信息转换成适合于在信道上传输的信号，对应不同的信源和信道，信号转换设备有不同的组成和变换功能。
发送端的信号转换设备可以是编码器或调制器，接收端的信号转换设备相对应的就是译码器或解调器。
2.02 试解释以下名词：数据，信号，模拟数据，模拟信号，数字数据，数字信号。
答：数据：通常是指预先约定的具有某种含义的数字、符号和字母的组合。
信号：信号是数据在传输过程中的电磁波的表示形式。
模拟数据：取值是连续的数据。
模拟信号：是指幅度随时间连续变化的信号。
数字数据：取值是离散的数据。
数字信号：时间上是不连续的、离散性的信号2.03 什么叫传信速率？什么叫传码速率？说明两者的不同与关系。
答：传信速率又称为比特率，记作R b，是指在数据通信系统中，每秒钟传输二进制码元的个数，单位是比特/秒（bit/s,或kbit/s或Mbit/s）。
传码速率又称为调制速率、波特率，记作N Bd，是指在数据通信系统中，每秒钟传输信号码元的个数，单位是波特（Baud）。
若是二电平传输，则在一个信号码元中包含一个二进制码元，即二者在数值上是相等的；若是多电平（M电平）传输，则二者在数值上有R b=N Bd×log2 M的关系。
信息论习题集
信息论习题集信息论习题集第⼆章2.1 同时掷2颗骰⼦，事件A 、B 、C 分别表⽰：（A ）仅有⼀个骰⼦是3；（B ）⾄少有⼀个骰⼦是4；（C ）骰⼦上点数的总和为偶数。
试计算A 、B 、C 发⽣后所提供的信息量。
2.3 ⼀信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。
设信源向信宿发出3x ，但由于传输中的⼲扰，接收者收到3x 后，认为其可信度为0.9。
于是信源再次向信宿发送该符号（3x ），信宿准确⽆误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量⼜各是多少？ 2.5 ⼀信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。
然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独⽴），并将之与长度为6的消息序列信息量的期望值相⽐较。
2.6 中国国家标准局所规定的⼆级汉字共6763个。
设每字使⽤的频度相等，求⼀个汉字所含的信息量。
设每个汉字⽤⼀个16? 16的⼆元点阵显⽰，试计算显⽰⽅阵所能表⽰的最⼤信息量。
显⽰⽅阵的利⽤率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。
此消息在⼆进制对称信道上传输，信道传输特性为1122(|)(|)1p ba pb a ε==-，1221(|)(|)p b a p b a ε==。
求互信息量11(;)I a b 和12(;)I a b 。
2.8 已知⼆维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。
2.13 有两个⼆元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另⼀随机变量Z X Y =（⼀般乘积）。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论-第二章信源熵-习题答案
2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I811.87log =-=(2) 此消息中平均每符号携带的信息量是：bitn I 951.145/811.87/==41()()log () 2.010i i i H X p x p x ==-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：585.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )(log )()(26=>=+++++-=-=∑X H symbol bit x p x p X H ii i 不满足极值性的原因是107.1)(6>=∑iix p 。
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)用随机事件i x 表示“3和5同时出现”，则bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) 用随机事件i x 表示“两个1同时出现”，则bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 6263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 12暖 8暖 16冷 27闲晴雨冷 8暖 15暖 12冷 5若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
第2章 离散信源和信息度量题目
第2章 离散信源和信息度量一、例题：【例2.1】 一个1, 0等概的二进制随机序列，求任一码元的自信息量。
解：二进制序列的任一码元不是为0就是为1，根据题意(0)(1)1/2P P ==，所以(0)(1)log(1/2)1I I bit ==-=【例2.2】 对于2n进制的数字序列，假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。
解：设2n进制数字序列任一码元i a 的出现概率为()i P a ，根据题意，()12n i P a =()log ()log 1/2)()n i i I a P a n bit =-=-=（【例2.3】 某地某月份的气象资料如表2.1所示，求相应事件的自信息量。
表2.1 某地某月的气象资料解：()log ()1I P bit =-=晴晴，()log ()2I P bit =-=阴阴()log ()3I P bit =-=雨雨，()log ()3I P bit =-=多云多云【例2.4】 设有两个离散信源集合1201()0.60.4X a a P X ==⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦[][]1201Y b b === 其中[]11211222(|)(|)5/61/6(|)(|)(|)3/41/4p b a p b a P y x p b a p b a ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 求：（1）自信息量()i I a ；（2）条件自信息量(|)i j I a b ；（3）互信息量(;)i j I a b解：（1）根据自信息量的定义可得11()log ()log0.60.737I a P a bit =-=-≈ 22()log ()log0.4 1.322I a P a bit =-=-≈（2）由全概率公式，可得2211111222221153()()()(|)0.60.40.86411()()()(|)0.60.40.264i i i i i i i i i i P b P a b P a P b a P b P a b P a P b a =======⨯+⨯====⨯+⨯=∑∑∑∑因为()(|)()i j i j j P a b P a b P b =，所以得11111()5(|)()8P a b P a b P b ==，21211()3(|)()8P a b P a b P b == 12122()1(|)()2P a b P a b P b ==，22222()1(|)()2P a b P a b P b == 根据条件自信息量的定义可得：11115(|)log (|)log 0.6788I a b P a b bit =-=-≈21213(|)log (|)log 1.4158I a b P a b bit =-=-≈12121(|)log (|)log 12I a b P a b bit =-=-=22221(|)log (|)log 12I a b P a b bit =-=-=（3）根据互信息量的定义可得：11111(;)()(|)0.059I a b I a I a b bit =-≈ 21221(;)()(|)0.093I a b I a I a b bit =-≈- 12112(;)()(|)0.263I a b I a I a b bit =-≈ 22222(;)()(|)0.322I a b I a I a b bit =-≈【例2.5】 二进制通信系统的信源空间为1()1X P x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦求该信源的熵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信源与信息度量 习题
1. 某大学设置五个学院，每个学院的学生数分别为
学院： 数学 物理 外语 外贸 医学
人数： 300 400 500 600 200
问“某学生王某是外语学院学生”这一消息提供的信息量是多少？
2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：
（1） 事件“2和5同时呈现”的自信息量；
（2） 事件“两个4同时呈现”的自信息量；
（3） 事件“至少呈现一个1”的自信息量。
3. 字母“e ”在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？
5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
6. 试求：
（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：
（1） 该消息的自信息量；
（2） 该消息平均每个符号携带的信息量。
9. 若每帧电视图像由3×105
个像素组成，且像素是独立变化的。
每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
（1） 问每帧图像含有多少信息量？
（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）
（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？
10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，
（1） 问该信源是否是平稳信源？
（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞；
（3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。
11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。
（1） 计算此系统的信源熵和其冗余度。
（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？
12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。
（1） 假设图上黑白消息出现前后没有相关性，求熵()H X ；
（2） 假设消息前后有相关性，其依赖关系为(/)0.9p W W =，(/)0.1p B W =，(/)0.2p W B =，(/)0.8p B B =，求此一阶马尔可夫信源的熵2()H X ，画出其状态转移图；
（3） 分别求上述两种信源的剩余度，比较()H X 和2()H X 的大小，并说明其物理意义。
13. 马尔可夫信源的消息符号集为{0,1,2}，其状态转移图如右
图所示。
（1） 求稳定后信源符号的概率分布；
（2） 求此马尔可夫信源熵；
（3） 当p = 0或p = 1时，求此马尔可夫信源熵。
14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。
被
录取的考生中有50%来自本市，而落榜考生中有10%来自本市。
所有本市的考生都学过英语。
而外
地落榜考生以及被录取的外地考生中都有40%学过英语。
（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。
（2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。
（3） 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，试求H (X )，H (Y /X )，H (Z /XY )。
作业：1，2，3，5，6，7，8，9，11，12。