第二章 信源与信息度量 习题
信息论与编码-第2讲-信源及信息度量1
自信息含义
当事件xi发生以前：表示事件xi发生的不确定性。 当事件xi发生以后：表示事件xi所含有（或所提供）的信
息量。在无噪信道中，事件xi发生后，能正确无误地传输到 收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。 这是因为消除了I(xi)大小的不确定性，才获得这么大小的信 息量。
2.1.1 单符号离散信源的数学模型
(1) 信源的描述方法 (2) 单符号离散信源数学模型
(1) 信源的描述方法
在通信系统中收信者在未收到消息以前，对信源发出 什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出现，
这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现
② 联合自信息量
信源模型为
x2 y1 ,, x2 ym ,, xn y1 ,, xn y m XY x1 y1 ,, x1 ym , P( XY ) p( x y ),, p( x y ), p( x y ),, p( x y ),, p( x y ),, p( x y ) 1 m 2 1 2 m n 1 n m 1 1
计算y1与各种天气之间的互信息量 对天气x1，不必再考虑 对天气x2， I ( x2 ; y1 ) log2 p( x2 / y1 ) log2 1/ 2 1(比特) p( x ) 1/ 4
i i
验概率的函数。
函数f [p(xi)]应满足以下4个条件 根据上述条件可以从数学上证明这种函数形式是对 数形式。
第二章 信源习题
1、设英文字母E出现的概率为0.105，X出现的概率为0.002，试求E和X 的信息量。
2、某离散信源输出x1、x2、…、x8共8个不同的消息，符号速率为2400B，其中四个消息出现的概率为P(x1)=P(x2)=1/16，P(x3)=1/8，P(x4)=1/4，其他消息等概率出现。
①求该信源的平均信息速率；②求传送一小时的信息量。
3、设一离散信源分别以概率P A、P B、P C、P D发送四个消息A、B、C、D，每个消息的出现是相互独立的，试根据条件完成以下计算：①如果P A=1/4，P B =1/8，P C =1/8，P D=1/2，试计算该信源的熵；②对于传输的每一消息用二进制脉冲编码，00代表A，01代表B，11代表C，10代表D，每个脉冲宽度为5ms，如果不同的消息等可能出现，试计算传输的平均信息速率；③如果P A=1/5，P B =1/4，P C =1/4，P D=3/10，试用Huffman编码算法对该信源进行编码，并计算编码效率。
4、设A系统以2000bps的比特率传输2PSK调制信号的带宽为2000Hz，B 系统以2000bps的比特率传输4PSK调制信号的带宽为1000Hz。
试问：哪个系统更有效？5、设某四进制数字传输系统的每个码元的持续时间（宽度）为833×10-6s，连续工作1h后，接收端收到6个错码，且错误码元中仅发生1bit的错码。
①求该系统的码元速率和信息速率；②求该系统的误码率和误信率。
6、设某数字传输系统传送二进制码元的速率为1200B，试求该系统的信息速率；若该系统改为传送八进制信号码元，码元速率不变，则这时系统的信息速率为多少？7、设输入抽样器的信号为门函数G(t)，宽度为τ=20ms，若忽略其频谱第10个零点以外的频率分量，试求其最小抽样频率。
8、已知信号f(t)=6.4×sin(800πt)，按Nyquist速率进行抽样后，进行64个电平均匀量化编码，采用自然二进制码。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
信息论第二章试题
第二章随机过程的信息度量和渐进等分性
填空题
1、信源按其数学模型随机过程的统计特征来分类，随机过程的随
机变量之间互相独立的称（独立信源），不独立的称（不独立信源），平稳或遍历随机过程则对应（平稳或遍历信源）。
2、若存在X上的一个概率分布u，满足（uM=u），则称u为马氏
过程的平稳分布。
3、对无记忆信源{Xk，k〉=1 }有（-1/n㏒P（X^n））以概率收敛
到H（X）。
简答题
1、简述无记忆信源的定义
答：当X1，X2，……Xn，……为相互独立的随机变量序列，且服从相同的分布
Pr（Xi=x）=P（x）
对任意i成立，称它为无记忆信源。
2、简述平稳信源的定义
答：设X={X1，X2，……Xn，……}为平稳信源，则
（1）H’（X）=，存在
（2）H（X）=H'（X）
证明题
设f（n）是满足f（m+n）<=f（m）+f（n）的半可加数列，则
答记C=inf f(n)/n,假设C=!-,显然
>=C
对给定的任意ε>0,选取充大的K,使
f(K)/K<C+ε/2 （1）
令n=aK+b,其中a为整数,0<=b<K,则
f（n）〈=af（K）+（n-aK）f（b）
两边除以n，
f（n）/n〈=af（K）/（aK+b）+bf（1）/（aK+b）〈=C+ε（*）（2）其中*成立是是因为（2）右式中第二项当K充分大时小于ε/2，再用（1）即得，于是
〈=C+ε。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息（2.3）一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为6752528.06610P =≈⨯!因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列，则其发生概率为 ()6811.241052P A -=≈⨯!可得，任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 （2）设事件B 为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有1352C 种可能的组合，各种组合都是等概率发生的。
13张牌中所有的点数都不相同（不考虑其顺序）就是13张牌中每张牌有4种花色，所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“2和6 同时出现”这事件的自信息量。
（2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为61，所以36种中任一状态出现的概率相等，为361。
（1） 设“2和6同时出现”这事件为A 。
在这36种状态中，2和6同时出现有两种情况，即2，6和2，6。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
习题讨论(第2、3、5章)
习题讨论
第3章习题： 1、（3.3题）设二元对称信道的传递矩阵为：
2 / 3 1/ 3
1/ 3
2/3
（1）若P（0）=3/4， P（1）=1/4，求H（X），
H（X/Y）， H（Y/X）和I（X；Y）； （2）求该信道的信道容量及其达到信道容量时的
输入概率分布。
习题讨论
2、（3.9题）有一个二元对称信道，其信道矩阵如 图所示。设该信道以1500个二元符号/秒的速度 输入符号。现有一消息序列共有14000个二元符 号，并设在这消息中P(0)=P(1)=1/2。问从信息 传输的角度来考虑，10秒钟内能否将这消息序 列无失真地传送完。
码。
2、现有一幅已离散化后的图像，图像的灰度量化分成8级，如 下表，表中数字为相应像素上的灰度级。另有一无噪无损二 元信道，单位时间（秒）内传输100个二元符号。分别求：
（1）现将图像通过给定的信道传输，不考虑图像的任何统计 特性，并采用二元等长码，问需要多长时间才能传送完这幅 图像？
（2）若考虑图像的统计特性（不考虑像素之间的依赖关系）， 求此图像的信源熵，并对每个灰度级进行霍夫曼最佳二元编 码，写出相应码字；问平均每个像素需要多少个二元码符号 来表示？这时需要多少时间才能传送完这幅图像？
1）若每3min传送一张图片，求所需的信道带宽。 2）若信道带宽为4kHz，问传送一张图片需多少
时间？
习题讨论
补充题2：设电话信号的信息率为 5.6×104bit/秒，在一个噪声功率谱为
N0= 5×10-6mw/Hz、限频F、限输入功率P 的高斯信道中传送，若F=4kHz，问无差 错传输所需的最小功率P是多少瓦？若 F=∞，则P是多少瓦？
0.98
0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信源与信息度量 习题
1. 某大学设置五个学院，每个学院的学生数分别为
学院： 数学 物理 外语 外贸 医学
人数： 300 400 500 600 200
问“某学生王某是外语学院学生”这一消息提供的信息量是多少？
2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：
（1） 事件“2和5同时呈现”的自信息量；
（2） 事件“两个4同时呈现”的自信息量；
（3） 事件“至少呈现一个1”的自信息量。
3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。
有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？
5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
6. 试求：
（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。
（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。
试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩
⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：
（1） 该消息的自信息量；
（2） 该消息平均每个符号携带的信息量。
9. 若每帧电视图像由3×105
个像素组成，且像素是独立变化的。
每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
（1） 问每帧图像含有多少信息量？
（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）
（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？
10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，
（1） 问该信源是否是平稳信源？
（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞
； （3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。
11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。
（1） 计算此系统的信源熵和其冗余度。
（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？
12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。
（1） 假设图上黑白消息出现前后没有相关性，求熵()H X ；
（2） 假设消息前后有相关性，其依赖关系为(/)0.9p W W =，(/)0.1p B W =，(/)0.2p W B =，(/)0.8p B B =，求此一阶马尔可夫信源的熵2()H X ，画出其状态转移图；
（3） 分别求上述两种信源的剩余度，比较()H X 和2()H X 的大小，并说明其物理意义。
13. 马尔可夫信源的消息符号集为{0,1,2}，其状态转移图如右
图所示。
（1） 求稳定后信源符号的概率分布；
（2） 求此马尔可夫信源熵；
（3） 当p = 0或p = 1时，求此马尔可夫信源熵。
14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。
被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。
所有本市的考生都学过英语。
而外地落榜考生以及被录取的外地考生中都有40%学过英语。
（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。
（2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。
（3） 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，试求H (X )，H (Y /X )，H (Z /XY )。
作业：1，2，3，5，6，7，8，9，11，12。