北京邮电大学信息论期末试卷
《信息论》期末考试试题(A 卷) 标准答案
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：
北邮信息论期末考试试题标准答案
l 如果对数的底不定，可以不写单位。
9
8
C = C1 = log2 (5 / 3) 比特/自由度 （共 4 分,步骤酌情给分）
信道输入概率分布为
p(x) =
1
− x2
e 18
3 2π
（2 分）
信道输入的熵为
h( X ) =
1 log(2π e ×9) = 2
1 2
log
2
(18π
e)
比特/自由度
（2 分）
注：
l 对数可以化到最简，不必算出结果；
北京邮电大学 2008——2009 学年第 一 学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
（1） 差熵为零的连续信源的输出平均不确定性为零； （2） 在通过一一对应的变换后，连续信源的差熵一定会变化；
=
∫
p( x)[ 1 2
log(2π
e
×
9)]dx
=
1 2
log2 (18π
e)
比特/自由度
(4 分)
（3）
I ( X ;Y ) = h(Y ) − h(Y | X )
C = max h(Y ) − h(Y | X )
Y 为高斯分布时达到容量
C = 1 log(2π e× 25) − 1 log(2π e ×9)
ML 准则确定译码函数，并求信息传输速率和平均译码错误率；
（2+2+2 分）
（4） 如果利用 n 长重复码传送 0、1 符号，求信息传输速率和平均译码错
《信息论》期末考试试题( 卷)标准答案
。
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域 上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率 为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行 二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平 均码长是 i 。
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）
北邮信息论201209级期末考题
1/10 1/10
0
0 0 1 0 1 1 0.2 0.2 0 0.4 1 0.6 1.0
1
1/10
2
1/10 1/10
3 5
0 0 1 0.2 1 0 1 1 0.15 0.35
1/10 1/10
7 9
1/20
4
(6 分)
采用最佳策略的判平均每次提问的次数为 Huffman 编码的平均码长为 0.25+0.2+0.2+0.2+0.15+0.4+0.35+0.6+1=3.35，所以平均最少需要问 3.35 个问题才能知道车 主的车尾号。(4 分)
C2 {1, 010, 011, 000}, C3 {0, 01, 001, 000}, C4 {1, 00, 010, 010} ，其中 属于唯一可译码， 属于最优码。
属于非奇异码，
1
答案： （ C1 , C2 , C3 ， C1 , C2 ， C1 ） （3）某信源输出符号集为{A、B、C、D、E}，每一个符号独立出现，出现概率分别为 1/8、 1/8、 1/8、 1/2、 1/8， 该信源熵为 此时，信息传输速率为 比特/符号。 如果编码以后符号的码元宽度为 0.5μs， bps。将这些数据通过一个带宽为 B=2MHz 的加性高斯白
pa1
pa2
pa3
1 pa pa3 pa4 1 / 2 1 2 pa2 1 / 2
(4分)
六、计算题（15 分）
有三个箱子，第一个箱子中有 3 个黑球 1 个白球，第二个箱子中有 2 个黑球 3 个白球， 第三个箱子中有 3 个黑球 2 个白球。现随机取出一个箱子，再从这个箱子中任取一球。 1）如果取出的是白球，求这一结果与事件“取出的球是第一个箱子”之间的互信息。 （4 分） 2）利用最佳判决准则确定取出白球和黑球的箱子分别会是哪一只？ 3）如果重复做取球实验并对所取箱子的序号进行最佳判决，求平均错误率。 4）如果球总是从第一个箱子中取出，求利用最佳判决准则的错误率。 解：设 x=1,2,3 分别表示事件“取出的球是第 x 个箱子”， y=0 表示“取出的球为白球”，y=1 表示“取出的球为黑球”，则 p(xy) X 1 2 3 0 1/12 1/5 2/15 P(y=0)=5/12 Y 1 1/4 2/15 1/5 P(y=1)=7/12 （4 分） （3 分） （4 分）
北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案
北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案一、判断题（10分）1、事件的自信息是其概率的单调递减函数。
（√） 2、连续信源和离散信源的平均互信息都具有非负性。
（√）3、对于遍历的有限状态马氏链，如果初始状态概率分布不是平稳分布，当转移步数足够大时，状态概率分布一定趋于平稳分布。
（√） 4、离散信道的容量是关于输入符号概率分布的上凸函数。
（×） 5、码长满足Kraft 不等式的码一定是异前置码。
（×）6、平均功率受限的随机变量，当均匀分布时有最大的熵。
（×） 7、随着信源序列长度的增加，非典型序列出现的概率趋近于零。
（√）8、对于任意的二元对称信道，最小汉明距离准则等价于最大似然准则。
（×） 9、对任意的加性噪声信道，当信源是高斯分布时达到信道容量。
（×） 10、如果信息传输速率小于信道容量，信息传输差错任意小。
（×）二、填空题（20分）1. 已知某离散无记忆信源X 的数学模型为312413161414a a a a X P ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭，则其三次扩展源的熵()3H X = 。
（5.877比特/扩展符号）2. 已知X 是均值为0、方差为1的高斯信源，Z 是均值为0、方差为2的高斯信源，X, Z 独立且Y =3X +2Z ，则h (Y )= , h (YZ )= 。
（1log(34)2e π，221log(72)2e π）3. 某信源S 共有32个信源符号，其实际的熵值为4.1=∞H 比特/信源符号，则该信源的剩余度为________。
（72.032log 4.112=-）4. 在一个离散时间平稳无记忆加性高斯噪声信道中进行信息传输，信道输入X 的方差为2x σ，零均值噪声方差为2z σ，进行可靠传输的速率上限是________。
（221log(1)2xzσσ+）5. AWGN信道下实现可靠通信的信噪比下界为-1.59 dB，此时对应的系统带宽为。
（北邮）通信原理期末复习题及部分答案
1. 调制信道对信号的干扰分为 乘性干扰 和 加性干扰 两种。
2. 根据乘性干扰对信道的影响，可把调制信道分为 恒参信道 和 随参信道 两大类。
3. 随参信道中的多经传播对信号传输的影响有：产生瑞利型衰落、引起频率弥散 、造成频率选择性衰落 。
4. 常见的随机噪声可分为 单频噪声 、 脉冲噪声 和 起伏噪声 三类。
5. 数字基带信号()t S的功率谱密度()ωS P 可能包括两部分即 连续谱 和 离散谱 。
6. 二进制数字调制系统有三种基本信号，分别为 振幅键控 、 频率键控 和 相位键控 。
7. 模拟信号是利用 抽样 、 量化 和 编码 来实现其数字传输的。
8. 模拟信号数字传输系统的主要功能模块是 模数转换器 、 数字传输系统 和 数模转换器 。
9.在数字通信中，同步分为 载波同步 、 位同步 、 群同步 和 网同步 。
10. 通信系统按调制方式可分 连续波调制系统 和 脉冲调制系统 ；按信号特征可分为 模拟通信系统 和 数字通信系统 。
11. 若系统功率传输函数为()ωH ，则系统输出功率谱密度()()ωξO P 与输入功率谱密度()()ωξI P关系为()()ωξOP ＝ ()()ωξIP ｜H （W ）｜212. 随参信道的传输媒质的三个特点分别为 对信号的耗衰随时间而变、传输的时延随时间而变、多径传播 。
13. 二进制振幅键控信号的产生方法有两种，分别为 模拟幅度调制法 和 键控法 。
14. 衡量通信系统的质量指标主要有 有效性 和 可靠性 ，具体对数字通信系统而言，前者常用 码率 来衡量，后者常用 误码率 来衡量。
15. 在数字通信中，产生误码的因素有两个：一是由传输特性不良引起的 码间串扰 ，二是传输中叠加的 加性噪声 。
16. 根据香农公式，理想解调器的输入信噪比i i N S 和带宽c B 与输出信噪比o o N S 和带宽s B 之间满足c B lb(1+ i i N S ) = s B lb(1+ o o N S ) 。
北京邮电大学-2002-2003学-年第一学期期末试卷附答案
一. 填空北京邮电大学2002-2003学年第一学期期末试卷1.一离散信源输出二进制符号，在条件下，每个二进制符号携带1 比特信息量；在条件下，每个二进制符号携带的信息量小于1 比特。
2.若要使确定信号不失真地通过线性系统，则此系统要满足条件。
3.可用和统计特性来描述宽带白噪。
4.在实际的黑白广播电视传送系统中，图像信号的调制采用调制方式，伴音的调制采用调制方式。
5.设数字基带传输系统是频带为1KHz 的32 进制PAM 系统，则此系统无码间干扰传输的最高码元速率为波特，此时的系统最高频带利用率为bit/s/Hz。
6.在数字通信系统中，当信道特性不理想时，采用均衡器的目的是。
7.产生已抽样信号频谱混叠的原因是，若要求从已抽样信号ms(t )中正确恢复模拟基带信号m (t )，则其抽样速率f s 应满足条件。
8.在数字通信系统中，采用差错控制编码的目的是。
9.在限带数字通信系统中，系统的传递函数应符合升余弦滤波特性的目的是。
二. 一个由字母ABCD组成的字，对于传输的每个字母用两个二进制符号编码，以00 表示A，01 表示B，10 表示C，11 表示D，二进制比特间隔为0.5ms；若每个字母出现概率分别为：P A = 1/ 8, P B = 1/ 4, P C = 1/ 4, P D = 1/ 8 ，试计算每秒传输的平均信息量。
三. 下图中的X (t )是均值为零的平稳遍历随机过程，已知其自相关函数是R X (τ)。
(1)求X (t )、Y (t )的平均功率P及P Y ；(2)写出X (t )、Y (t )的双边功率谱密度P X (f )及P Y(f )的计算公式；X(3)若X (t )是白高斯噪声通过理想低通滤波器（限带于f m ）后的随机过程，证明以奈奎斯特速率对X (t )采样得到的样值是两两独立的。
四．立体声调频发送端方框图如下所示，其中XL(t )和XR(t )分别表示来自左边和右边传声器发送来的电信号。
信息论与编码期末试卷
7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________
8：若某二元序列是一阶马尔科夫链，P(0/0)=，P(1/1)=，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________.
9:若循环码的生成多项式为 ，则接收向量为（1111011）的伴随多项式为_______________
10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码.
11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集.
12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位.
13：（7,4）汉明码的一致校验矩阵为 ，则 为__________.
二；计算分析题（共60分）
1：（本题满分18分）某离散无记忆信道的信源分布为p(0)=,p(1)=,传送时0错成1的概率为, 0错成2的概率为， 1错成0的概率为， 1错成2的概率为， 其余则正确传送。
信息论与编码期末试卷(共3页)
课程名:信息论与编码课程号:07276033学分:4
一：填空题(每空2分，共40分)
1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位）
2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
3．设一齐次马氏链 X 1 , X 2 ,... ，各 X i 取值于符号集 {a1 ,a2 ,a3 } ，状态转移概率矩阵为：
1/ 2 1/ 4 1/ 4 2 / 3 0 1/ 3 ，则状态平稳分布为 π1= 2/5 ，π2= 3/10 ；π3= 3/10 ，该马氏链 0 2 / 3 1/ 3
过信道可实现无失真传输。 (3) 将信源的 2 次扩展源进行 Huffman 编码，结果为：
2 次扩展信源符号 00 01 10 11 概 率 0.81 0.09 0.09 0.01 编 0 10 110 111 码
(3 分)
计算每信源符号平均码长为： l (1 0.19 0.10) / 2 0.645 ，编码器每秒输出 符号数为： 3.5 0.645 2.2575 2 ,所以传输不满足失真要求。 将信源的 3 次扩展源进行 Huffman 编码，结果为：
（3）根据高斯信道编码定理，有
(3 分)
R W log 2 (1 SNR ) 29.90 106 W log 2 (1 1000) W 3MHz
所以，信道所需的最小带宽为 3MHz ， 设对应的信号平均功率为 P， SNR P /( N 0W0 ) (3 分)
P SNR N 0W0 1000 108 3 106 30 W
（2）信道达到容量时，其输入总能量的分配遵循什么原理？当这个输入总能量从 0 逐渐 增加时，各子信道被分配到能量的先后顺序如何？如果输入总能量为 6，各子信道被分配 到的能量( Ei，i=1,2,3,4)分别为多少？ (2+2+2 分)
（3）设输入总能量大于 0，当信道达到容量时，各子信道的输入信噪比（SNRi，i=1，2， 3，4）从大到小的顺序如何？(即将各子信道的输入信噪比用＞或≥符号连接起来) (2 分) 答： （1） 达到容量时， 信道输入应该是高斯分布， 各子信道的输入统计独立； （2） 信道达到容量时，其输入总能量的分配遵循注水原理； 各子信道被分配到能量的先后顺序为：信道 2—信道 1—信道 4—信道 3； (2 分) 各子信道被分配到能量分别为: E1=2, E2=3, E3=0, E4=1 （3） 各子信道的输入信噪比从大到小的顺序: SNR2>SNR1≥SNR4≥SNR3 (2 分) (2 分) (1+1 分) (2 分)
1/ 3 1/ 2 1/ 2 1 2 / 3 1
/ 4 (1 ) / 2 和 / 8 (1 ) / 8 ；在联合概率转移矩阵每列选择最大的
元素，形成最佳判决函数为：
G ( y 0) 0, G ( y 1) 0, G ( y 2) 2, G ( y 3) 3 ，
1 2
e
( x m )2 2 2
, 则 h(2 X 3) = (1/2)log(8πeσ ) ；
2
若 Y 为任意满足 E (Y ) m,Var (Y ) 2 的连续随机变量，且log p( x)dx = (1/2)log(2πeσ ) ；
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
0 1 ， 1
0 1 0 1 H ( ) ， 1 2
解得，
(2 分)
0 1 2 H ( ) /
(2 分)
信道容量： 或
计 算 每 信 源 符 号 平 均 码 长 为 ： l 0.5327 ， 编 码 器 每 秒 输 出 符 号 数 为 ： (5 分) 3.5 0.5327 1.8644 2 ,所以传输满足不失真要求。 由于这种编码所得是变长码，因此在编码器与信道之间应设置缓冲器。 (2 分)
六、计算题（16 分）
pZ (1) , (0 1) ，信道输出 Y = XZ ；求
5
（1） 信道的转移概率矩阵； （2） 信道容量。 解 （1）
(6 分) (6 分)
p ( y | x) p ( yz | x) p ( z | x) p ( y | zx)
z z
z: y xz
p(3) 1/ 8 。求：最佳译码准则的判决函数和平均译码错误率。
解：
(8+4 分)
信道输入符号不等概率，最佳译码准则为最大后验概率(MAP)准则，写出信道 的联合概率转移矩阵为：
0
1
2
3
(4 分)
0 (1 ) / 2 0 0 /2 1 / 4 (1 ) / 4 0 0 P 2 0 0 (1 ) / 8 /8 3 0 0 (1 ) / 8 /8
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
四、计算题 (12 分)
设一个离散无记忆信道的输入、输出符号集均为 {0,1, 2,3} ，信道的概率转移矩阵为
2
0
1
2
3
0 1 0 0 1 1 0 0 P 2 0 0 1 3 0 0 1
其中， 1/ 3 1/ 2 。 设输入符号的概率分别为 p (0) 1/ 2, p (1) 1/ 4 , p (2) 1/ 8 ,
三、简答题（10 分）
4
某并联高斯噪声信道由 4 个独立子信道组成， 子信道方 差如右图所示，其中 1、2、3、4 子信道的方差分别为 2、1、 4、3； （1）达到容量时，信道输入应该是何种分布？各子信道的 输入是否统计独立？ (1+1 分)
3 2 1
32
2 1
42
22
并联高斯噪声信道的示意图
C log 2 (1 2 H
( ) /
3
(1) 信源符号速率 3.5 大于信道传输速率 2，所以信源直接与信道相接，不能保证无失 真传输。 (3 分) (2) 采用适当的编码方式可以通过信道进行无失真传输。 (2 分) H ( X ) H (0.1) 0.1 log 0.1 0.9 log 0.9 0.469 比特/符号 信源熵率为 H (b / s ) H ( X ) 3.5 1.6415 b / s ，二元无噪信道容量为 C (b / s ) 2 b / s 。 因为 H (b / s) C (b / s) ，所以根据信源信道编码定理可知，采用适当的编码方式然后通
300000
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
北京邮电大学 2010——2011 学年第 一 学期
《信息论》期末考试试题（A 卷）标准答案
姓名 班级 学号 分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×） （共 10 分，每小题 1 分）
（1） 输出符号等概率的信源的剩余度为零。 （2） 总存在一种有损信源编码，使得当码率 R ≥ R（D）时，平均失真 小于等于 D ； （3） 平均互信息 I(X;Y)不大于条件平均互信息 I(X;Y|Z)； （4） 差熵为零的连续信源的平均不确定性为零； （5） 级联信道的容量不大于构成该级联信道的任意一个信道的容量； （6） 对于有限状态马氏链，无论初始状态概率分布如何，最终总会达到 状态的平稳分布； （7） 两独立随机变量和的熵功率不小于这两个随机变量熵功率的和； （8） 在信息处理过程中，处理的次数越多得到的信息量也就越大； （9） 离散信源经过一一对应的变换后熵不变； （10） 随着信源序列长度的增加，非典型序列的出现的概率趋近于零。 (×) (√) (×) (√) (√) (√) (×) (×) (√) (×)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解
（4）所求频谱利用率
(2 分)
R / W log 2 (1 SNR) log 2 (1 1000) 9.97 bps / Hz
Eb / N 0 2 1
(3 分)
100.49 20.02 dB
(2 分)
七、计算题（12 分）
一个离散无记忆二元乘性信道输入为 X，其中 Z 独立于 X；X、Z 取值均为 0 或 1，且
一黑白电视画面由 3 10 个像素组成， 其中每个像素独立等概率地选取 10 个不同的灰
5