信息论基础理论与应用考试题及答案.doc
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论基础考试试题
信息论基础考试试题一、信息论基础考试试题考试试题内容如下：1. 简述信息论的定义和基本原理。
信息论是由克劳德·香农提出的一门数学理论，主要研究信息的量和信息传输的可靠性。
其基本原理包括信源编码、信道编码和信道容量三个方面。
其中，信源编码是将信息源的符号序列编码为短码字节，减少信息传输的冗余；信道编码是为了在承载信息传输的信道中降低传输过程中的错误率和噪声干扰；信道容量则是指在给定的信道条件下，能够传输的最大信息速率。
2. 请定义信息熵，并给出其计算公式。
信息熵是用来衡量一个随机变量的不确定性或者信息量的多少。
假设一个离散随机变量X，其取值的概率分布为P(X)，那么信息熵的计算公式为：H(X) = -Σ[P(x)log2P(x)]其中，Σ表示求和运算，x为随机变量X的所有取值。
3. 解释条件熵和联合熵的概念。
条件熵是指在给定某个随机变量的取值条件下，另一个随机变量的不确定性或信息量。
设有两个离散随机变量X和Y，X的条件熵H(X|Y)即为在已知Y的条件下，X的信息熵。
联合熵是指同时考虑两个或多个随机变量的不确定性或信息量。
对于随机变量X和Y，它们的联合熵H(X,Y)表示同时考虑X和Y的信息熵。
4. 请解释互信息的概念，并给出其计算公式。
互信息是用来衡量两个随机变量之间的相关程度或者依赖关系。
对于离散随机变量X和Y，互信息的计算公式为：I(X;Y) = ΣΣ[P(x,y)log2(P(x,y)/(P(x)P(y)))]其中，ΣΣ表示双重求和运算，P(x,y)表示X和Y同时发生的概率，P(x)和P(y)分别为X和Y的边缘概率。
5. 请简要介绍信道编码理论中的三个重要概念：纠错码、检测码和调制。
纠错码是一种用于在传输过程中恢复误差的编码技术。
通过添加冗余信息，可以在接收端检测和纠正传输过程中产生的错误。
检测码是用于在传输过程中检测错误的编码技术。
它可以发现传输中是否存在错误，但无法纠正错误。
调制是指将数字信号转换为模拟信号或者模拟信号转换为数字信号的过程。
(完整word版)信息论基础理论及应用
信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。
随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。
到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。
美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。
信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。
20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。
近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。
信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。
随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
核心问题是信息传输的有效性和可靠性以及两者间的关系。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论 基础理论与应用课后答案 全
X
a1 a2
P = 0.070.93
问男同志回答“是”所获昨的信息量为：
I 问男同志回答“否”所获得的信息量为：
比特/符号
I 男同志平均每个回答中含有的信息量为
比特/符号
H(X) = −∑P(x)log P(x) = 0.366 比特/符号
同样，女同志红绿色盲的概率空间为
Y
b1
b2
P = 0.0050.995
A′ ={ai ,i =1,2,...,2q}，并且各符号的概率分布满足
Pi′= (1−e)Pi i =1,2,...,q
Pi′= ePi
i = q +1,q + 2,...,2q
试写出信源 S′的信息熵与信源 S 的信息熵的关系。
解：
H(S′) = −∑P(x)log P(x)
∑ ∑ = − (1−e)Pi log(1−e)Pi − ePi logePi ∑ ∑ ∑ ∑ = −(1−e) Pi log(1−e) − (1−e) Pi log Pi −e Pi loge −e Pi log Pi
即函数 f (x) 为减函数，因此有 f (0) ≥ f (e)，即
(p1 −e)log(p1 −e) + (p2 + e)log(p2 + e) ≤ p1 log p1 + p2 log p2
因此 H(X) ≤ H(X ′)成立。
【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任 一格的概率空间为：
= XP
48a11 48a12 48a13 a48148 平均自信息量为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础理论与应用考试题一、填空题（每题2分，共20分）1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。
（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。
若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。
（考点：纠错码的分类）7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即MB| q（H（X） = E log—— =-£p（%）logP（q））。
P（q）/=i■ ■ ■（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一•样，对于固定的连续信道和波形信道都有一•个最大的信息传输速率，称之为（信道容量）。
（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分）1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。
（对）（考点：信源剩余度的基本概念）2.信道的噪声是有色噪声，称此信道为有色噪声信道，一•般有色噪声信道都是无记忆信道。
（错）（考点：有色噪声信道的概念）3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。
（对）（考点：非奇异码的基本概念）4.在一个二元信道的n次无记忆扩展信道中，输入端有2。
个符号序列可以作为消息。
（对）5.卷积码的纠错能力随着约束长度的增加而增大，-•般情况下卷积码的纠错能力劣于分组码。
（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分）1 .信源编码信源编码是对信源输出的消息进行适当的变换和处理，口的是为了提高信息传输的效率，所以又称为信源压缩编码。
（考点：信源编码的基本概念）2.马尔可夫信源信源某t时刻所处的状态由当前的输出符号和前一•时刻（t-1）信源的状态唯—决定，则称此信源为马尔可夫信源。
（考点：马尔可夫信源的基本概念）3.炳功率若平均功率为P的非高斯分布的信源具有嫡为h,称炳也为h的高斯信源的平均功率为嫡功率即嫡功率是p = J-e2h o2Tle（考点：炳功率的定义）4.即时码在唯一可译变长码中，有一•类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。
（考点：即时码的定义）四、简答题（每题4分，共16分）1.信息炳的基本性质有哪些？答：信息炳的基本性质包括对称性、确定性、非负性、扩展性、可加性、可强加性、递增性、极值性、上凸性。
（考点：信息炳的基本性质）2.由香农公式可以得出的重要结论有哪些？答：（1）提高信号与噪声功率之比能增加信道的信道容量；（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连续信道的信道容量为无穷大；（3）信道容量一定时，带宽、传输时间和信噪功率比三者之间可以互换;（4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增大；（5）给出了无错误通信的传输速率的理论极限，成为香农极限。
（考点：对香农公式的深入理解所得出的重要结论）3.（n,k）线性分组码的重要性质有哪些？答：（1）（n,k）线性分组码由其生成矩阵G或校验矩阵H确定；（2）封闭性；（3）含有零码字;Xp(x) Q] Clc0.9 0.1(4) 所有许用码字可由其中一•组k 个独立码字线性组合而成；(5) 码的最小距离等于非零码的最小重量。
(考点:(n,k)线性分组码的重要性质)4. 通信网络信道可划分成哪儿种情况？答：(1)多址接入信道；(2)广播信道；(3)中继信道；(4)串扰信道；(5) 双向信道；(6)多用户通信网；(7)具有反馈的信道。
(考点：通信网络信道的划分)五、计算题(每题8分，共32分)1. 有一,布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一•个球，猜测其颜色，求平均摸取一次所能获得的自信息量。
(考点：自信息量的基本概念及计算方法)解：这一随机事件的概率空间为%——表示摸出的是红球I ——表示摸出的是蓝球 Ar若被告知摸出的是红球，那么获得的信息量为1( a x )=-logp( a x )=-log0.9 比特若被告知摸出的是蓝球，那么获得的信息量为I(%)=・logp(%)=・log0.1 比特若每次摸出一个球后又放回去，再进行第二次摸取。
那么摸取n 次后，红球 出现的次数为np(%)次，蓝球出现的次数约为np(%)次。
则摸取n 次后总共所 获得的信息量为n p(%)I(% )+n p( 6/2)I (6Z 2)所以，平均摸取一次所能获得的信息量约为P(0) 2112Py1 1-- 12 12—I—=—4 6 12•J512H (X ) = - [ p(《)log /?(%) + /?(。
2)*°g 〃(。
2)]2= -£p(q)logp(q)I=I=-0.9 log 0.9 一0.1 log 0.1= 0.469比特/符号2.设二进制对称信道的传递矩阵为]_ 3 2 3若p(0)=3/4, p(l)=l/4,求H(X)、H(X Y)、H(Y|X)和H(X;Y)。
（考点：信息嫡和条件嫡的计算）解：联合概率矩阵为2o 3P⑴」1_3边缘概率分布为&=[P(0) MD]H(X)= —p(0) log2 p(0) - p(l) log2 p(l) = 0.81 Ito2 ]_乂信道传递矩阵P Y]X=]；_3 3_故2 2H(K i x)= £ p(可为)log p(yj i 气)i=\ j=l=4loS2t4los4_n log2ri log2t= 0.918诚7 7 5 5H(Y) =----- log2 -------- log2一= 0.98bit12 12 12 12= H(X) + H(YIX)-H(Y)= 0.811 + 0.918-0.98=0.749加7/(X;K) = H(X)-H(Y I X) = 0.811-0.749 = 0.06bit3.有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0) = P(l) = (。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。
0 0.98 0(考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用)解：消息是一个二元序列，这二元符号是等概率分布，即P(O)=P⑴=?，所以消息信源的隔H(X) = 1 (比特/符号)，即每个二元符号含有1比特信息量。
那么这消息序列含有信息量=14000符号XI (比特/符号)=1.4x10,(比特)现计算这二元对称信道能传输的最大的信息传输速率。
这信道是二元对称信道，信道传递矩阵-0.98 0.02-P =0.02 0.98所以其信道容量(即最大信息传输率)C = l-H(p) = l-H(0.98) = 0.8586 比特/符号得最大信息传输速率穴产1500符号/秒*0.8586比特/符号量，所以从信道传输的角度来考虑, 不可能在10秒钟内将这消息无失真的传送G=1110 10 010 10110 10 1101解：由G = [l k Q]送⑴g(x),Q = P，,H = [PI r],d()=厂解题(1) 信息位k=4,监督元位r =3,n =7O(2)由G矩阵得(7, 4)(3) '110100 0--1 0 0 0 1 1 0-0 110 10 00 10 00 1 10 0 110 1 00 0 10 1 1 10 0 0 1 10 10 0 0 1 1 0 1_1 0110 0'的]=[。
7]= 1 10 0 10_0 1 1 0 0 1_=[伊]-1287.9比特/秒5.288x1()3 比特/秒此信道10秒钟内能无失真传输的最大信息量为= 10xR产1.288x10」比特可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息完。
4.若线性分组码生成矩阵为⑴由该G矩阵指出(n,k)码的信息位和监督元位数。
(2)由G知阵确定对应的(n,k)循环码生成多项式。
⑶给出对应的H矩阵(系统码形式)。
⑷该(n,k)码的最小汉明距离％为多少?(考点：对线性分组码的深入理解及应用)(4)最小汉明距离H°=r=3循环码生成多项式g(x)=x3 +工2 +1G=H五、证明题（10分）1.设信道输入随机变量为X,输出随机变量为K和匕。
并且在已知x的条件下, K和K为等概率密度分布。
证明：（1） /（X；K匕）= 2/（X;匕）— /（*;匕）（2）信道I的信道容量小于2倍的信道U的信道容量。
（考点：对信道容量的深入理解及应用）证明：（1）已知/（X；K匕）=/（x；匕）+/（x；匕1匕）=/?（匕匕）"（匕匕IX）3（匕）7（匕）+ *（*）-/2（匕）+ 人（*匕）"（匕I X）-h（Y21 X） + h（Y l I X） + /z（匕I X）-h（Y l Y21 X）=/?（*）—，（Kix）+*（匕）—仞匕ix）—仇（*）+/?（匕）—饵雀）］+/?（匕）+ 仇（K I X） + h（Y2 I X）— /?（匕匕I X）］= /（x；K）+/（x；匕）-/（*；◎+/（*；匕IX）因为在已知x的条件下K和匕统计独立，所以/?（*匕IX） = /?（匕IX） + /?（EJX匕）=/?（Kix）+/z（*ix）得/（匕;匕1X）=0又因为在己知x的条件下，K和*是等概率密度分布，则有/（x；K）= /（x；匕）得/（*；匕IX）=2/（X；K）-/（匕;*）（2）信道I的输入为X,输出为K匕,其信道容量为G =max/（X;匕匕）= max［2/（X；K）— /（K；匕）］P（x）~ P（x）因为本题中匕和匕不统计独立所以/（匕比）＞。