信息071信息论试卷-A
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
《信息论》期末考试试题(A 卷) 标准答案
(2) 通过错误概率为 p, 0 ≤ p ≤ 1/ 2 的二元删除信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
(3) 通过(1)与(2)的串联信道，求最佳译码准则的判决函数和平均译码错误
率，并与(1)和(2)的平均译码错误率进行比较，得到怎样的结论？
(2+2+3=7 分)
(4) 根据(3)的结果，求信源经过串联信道后信息量损失的上界？ (3 分)
①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
(2 分)
(3) 写出香农第三定理中存在平均失真不大于 D 的信源编码充要条件；
信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=，则其信源熵和加权熵分别为和。
5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。
8、马尔可夫信源需要满⾜两个条件：⼀、；⼆、。
9、若某信道矩阵为010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。
（填短码或长码）12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。
15、码字1、0、1之间的最⼩汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括⽆条件安全性、和。
20、时间戳根据产⽣⽅式的不同分为两类：即和。
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
(整理)信息论期末考试试题1.doc
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
信息071信息论试卷-A
南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷 南京工程学院试卷
共 6 页
共6 页 第 2 页 第 3 页
3、 （ 5 对信源符号 ） 已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1， （6 K ） ，K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分） （ 2=2求收到的符号 ）
信息071信息论试卷-A-answer
共5页 第 5 页
3、解（1）状态转移图如图所示 （3 分） （2）该信源的一步状态转移矩阵为
(0)1/2
1 / 2 0 P 1 / 2 0 1/ 2 0 1/ 2 0 0 1/ 2 0 1/ 2 0 1/ 2 0 1 / 2
00 (1)1/2 01 (1)1/2 10 (0)1/2 (1)1/2 11 (1)1/2 (0)1/2 (0)1/2
j 1, 2 , 3
i 1
= min {1 / 2 ,1 / 2 ,1 / 4} 1 / 4
j 1 , 2 , 3
（2 分） （2 分）
（4）R(Dmax)=0 4、解（1）
概率 0.4 0.2 0.2 0.1 0.1 0 1 0.4 0.2 0.2 0.2 0 1 0.4 0.4 0.2 0 1 0.6 0.4 0 1.0 1
南京工程学院评分标准及参考答案
共5页 第 4 页
五、综合题（本题 3 小题,共 25 分）
1 1、解： （1）系统生成矩阵 G 0 0 0 1 0 0 0 1 1 1 0 1 1 1 1 0 1
（2 分）
1 校验矩阵 H 1 1 1 1 0 0 1 1 1 0 0 0 1 0 0 0 1
设稳态分布的概率矢量 W=( W1,W2,W3,W4) 根据 WP=W 和 W i 1 ，求 Wi W1=W2=W3=W4=1/4 （3 分）
（3） H
3
p ( si ) H ( X / si )
i0
H ( X / s 0 ) H ( p (0 / 00), p (1 / 00)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s1 ) H ( p (0 / 01), p (1 / 01)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 2 ) H ( p (0 / 10), p (1 / 10)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 3 ) H ( p (0 / 1 1), p (1 / 1 1)) H (1 / 2,1 / 2 ) 1 bit/符号
信息论基础》试卷(期末A卷
信息论基础》试卷(期末A卷重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分）1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为123x x xX111P244⎛⎫⎡⎤ ⎪=⎢⎥ ⎪⎣⎦⎝⎭，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s.5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e2π；与其熵相等的非高斯分布信源的功率为16w≥6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。
（2）假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P （“点数和为3”）=P （1,2）+ P （1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP （“点数和为3”）=log18=4.17bit2.P （“点数和为7”）=P （1,6）+ P （6,1）+ P （5,2）+ P （2,5）+ P （3,4）+ P （4,3）=1/36 ⨯6=1/6 则该消息包含的信息量是：I=-logP （“点数和为7”）=log6=2.585bit3.P （“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
信息论考试卷及答案解析
考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。
A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。
问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
1011第二学期信息论作业题参考答案
第1讲2、信息论开创人是谁？ 香农。
3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息当中，有信号有消息不必然有信息。
4、通信系统的要紧性能指标是什么？ 有效性、靠得住性和平安性。
5、举例说明信息论有哪些应用？为信息传送和处置系统提供数学模型和评估方式，在通信和信息处置领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。
具体应用实例有：语音、图像和数据信息的紧缩，通信信道有效性和靠得住性的提高，或信道传输功率指标要求的降低，通信或运算机系统靠得住性和平安性的提高，信息处置领域的信号重建和模式识别等。
（求车牌自信息量）某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌， 第2讲设二元对称信道的传递矩阵(条件概率矩阵)为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)； 先求P(Y)=∑X P(XY)和P(XY)=P(X)P(Y|X)，再得各类熵和互信息。
H(X)=H(3/4,1/4), H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6); H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)；（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=×==3/8，信息量为I= =比特。
(1)(2)（由联合概率散布求熵、联合熵和条件熵）（1）思路：先求出X、Y、Z、XZ、YZ、XYZ的概率或联合散布，再求其熵。
如：P(Z=XY=0)=1-P(XY=1)=7/8，P(ZX=1)=P(YX=1)=1/8,..(2)思路：通过X、Y、Z及其联合概率散布求X/Y等条件概率散布P(X/Y)=P(XY)/P(Y)，再求其熵H(X/Y)=∑P(Y=b)H(X/b)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5、设 C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性 分组码，则该码最多能检测出 3 个随机错。 （ ）
三、名词解释（本题 2 小题,每小题 5 分,共 10 分） 1、平均自信息量
本题 得分
2、信道容量
南京工程学院试卷
共6 页
第 2 页
3、 对信源符号 X={a1,a2,a3,a4}进行二元信源编码， 个信源符号对应码字的码长分别为 K1=1， 4 K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。
1 / 3 1/3 1/ 6 1 / 6
（
）
4、DMC 信道转移概率矩阵为 P ，则此信道在其输入端的信源分布为 1 / 6 1 / 6 1 / 3 1 / 3 P(X)={1/2,1/2}时传输的信息量达到最大值。 （ ）
X 1/2
1 1/2 1/2
1/2
3、 设输入信号的概率分布为 P=(1/2,1/2)， 失真矩阵为 d 1
0
1 0
1 / 4 1 / 4
。 试求 Dmin， max， D （8 分）
R(Dmin)，R(Dmax)。
4、 设有离散无记忆信源 X 共有 5 个符号消息， 其概率分布为 P ( X ) ={0.4， 0.2， 0.2， 0.1， 0.1}。 （1）对这 5 个符号进行二进制哈夫曼编码（给出编码过程） ，写出相应码字，并求出平 均码长和编码效率 （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。 （7+3=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
1、信源编码的目的是提高通信的 密编码的目的是保证通信的 。
本题 得分
，信道编码的目的是提高通信的
，加
2、设信源 X 包含 8 个不同离散消息，当且仅当 X 中各个消息出现的概率为_______时，信源
学号
熵达到最大值，为_____________。 3、自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越______。 4、信源的冗余度来自两个方面，一是信源符号之间的_________，二是信源符号分布的 ___________。 5、在 RSA 密码体制中，用公开密钥（e, n）=（5, 51）将报文 2 加密的结果为________。
四、计算题（本题 4 小题,共 35 分）
本题 得分
1、二进制通信系统使用符号 0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事 件。 x0：一个 0 发出；x1：一个 1 发出 y0：一个 0 收到；y1：一个 1 收到 给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2， （1） 求信源的熵 H(X)； （2） 已知发出一个 0，求收到符号后得到的信息量 H(Y/x0)； （3） 已知发出的符号，求收到符号后得到的信息量 H(Y/X)； （4） 已知发出和收到的符号，求能得到的信息量 H(X,Y)；
南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1、某二进制线性分组码的生成矩阵为 G 1 0 1 1 1 1 0 1 0 0 1 1 0 0 0 1 1
本题 得分
，求
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 3 页
（5） 已知收到的符号，求被告知发出的符号得到的信息量 H(X/Y)； （6） 求收到的符号 Y 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分）
南京工程学院试卷
共 6 页
第 4 页
2、设 DMC 信道的传输情况如图所示。 （1）试写出该信道的转移概率矩阵； （2）求该信道的信道容量。 （2+3=5 分）
南京工程学院试卷 A
2009/2010 学年 课程所属部门： 考试方式： 闭卷 命题人：张亚飞 题号 得分
姓名
第 1 学期 课程名称： 信息 071
共6页 第1页
通信工程学院 使用班级： 教研室主任审核： 二 三
信息论与编码 B
主管领导批准： 四 五 总分
一
一、填空题（本题 10 空，每空 2 分，共 20 分 ）
班级
6、常用的检纠错方法有____________、反馈重发和混合纠错三种。
二、判断题（对划“√”，错划“×”，本题 5 小题，每小题 2 分，共 10 分）
本题 得分
1、信源 X 的概率分布为 P(X)={1/2, 1/3, 1/6}，信源 Y 的概率分布为 P(Y)={1/3,1/2,1/6}，则 信源 X 和 Y 的熵相等。 2、互信息量 I(X;Y)表示收到 Y 后仍对信源 X 的不确定度。 （ （ ） ）