信息论基础理论与应用考试题及答案
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信息论考试答案
第4章作业1. 设输入符号表与输出符号表为X ＝Y ＝{0，1，2，3}，且输入信号的分布为p (X = i ) = 1/4，i ＝0，1，2，3，设失真矩阵为0111101111011110⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦d 求D min 、D max 和R (D min )、R (D max )以及相应的编码器转移概率矩阵，并求出信源的R(D)函数，画出其曲线（取4至5个点）。
解：10110 41011A A n A P n A A n -⎡⎤⎢⎥⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥=↔==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎢⎥-⎣⎦d有114i p n ==得：()()111011i ji ij ijA AD p P d n n n A n n n-==-⨯⨯+⨯⨯=--∑∑所以1A D =-，进而：()()1111j i ji iA A q p P n n n n n-==+-⨯=-∑()()()()()()()()()1111 ,,,,,1111 ,,1,,,11 log 1log 11log11log ,1log 1 2,1log 3j ji R D H q H p AA H H A n n n n D D H H D n n n n D Dn D D n n n n H D D D n H D D D ==--⎛⎫⎛⎫=- ⎪ ⎪--⎝⎭⎝⎭⎛⎫⎛⎫=-- ⎪ ⎪--⎝⎭⎝⎭=+--+-⨯--=----=--- ()minmin 0,2D R D bit ==，此时1000010000100001⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P()maxmax 3/4,0D R D ==，此时1000100010001000⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P2. 设输入符号为X ＝{0，1}，输出符号为Y ＝{0，1}。
输入信号的概率分布为P ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =d (1，0) =α。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论测试题及答案
一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 信道转移概率矩阵P2.信道疑义度3.信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。
五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （XY ）、H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 解：1. 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：2. 信道转移概率矩阵P 2.信道疑义度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即01 11()22XP X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.06.03.01.03.06.0P，求信道容量，最佳输入概率分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础理论与应用考试题及答案信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
（考点：连续信道和波形信道的信道容量）二﹑判断题（每题2分，共10分）1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。
（对）（考点：信源剩余度的基本概念）2.信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。
（错）（考点：有色噪声信道的概念）3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。
（对）（考点：非奇异码的基本概念）4.在一个二元信道的n次无记忆扩展信道中，输入端有n2个符号序列可以作为消息。
（对）5.卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。
（错）（考点：卷积码的纠错能力）三﹑名词解释（每题3分，共12分）1.信源编码信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。
（考点：信源编码的基本概念）2. 马尔可夫信源信源某t 时刻所处的状态由当前的输出符号和前一时刻（t-1）信源的状态唯一决定，则称此信源为马尔可夫信源。
（考点：马尔可夫信源的基本概念）3. 熵功率若平均功率为P 的非高斯分布的信源具有熵为h ，称熵也为h 的高斯信源的平均功率为熵功率P ，即熵功率是212h P e e=∏。
（考点：熵功率的定义）4. 即时码在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。
（考点：即时码的定义） 四﹑简答题（每题4分，共16分）1． 信息熵的基本性质有哪些？答：信息熵的基本性质包括对称性﹑确定性﹑非负性﹑扩展性﹑可加性﹑可强加性﹑递增性﹑极值性﹑上凸性。
（考点：信息熵的基本性质）2． 由香农公式可以得出的重要结论有哪些？答：（1）提高信号与噪声功率之比能增加信道的信道容量；（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连续信道的信道容量为无穷大；（3）信道容量一定时，带宽﹑传输时间和信噪功率比三者之间可以互换；（4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增大；（5）给出了无错误通信的传输速率的理论极限，成为香农极限。
（考点：对香农公式的深入理解所得出的重要结论）3．（n,k ）线性分组码的重要性质有哪些？答：（1）（n,k ）线性分组码由其生成矩阵G 或校验矩阵H 确定；（2）封闭性；（3）含有零码字；（4）所有许用码字可由其中一组k 个独立码字线性组合而成；（5）码的最小距离等于非零码的最小重量。
（考点：（n,k ）线性分组码的重要性质）4．通信网络信道可划分成哪几种情况？答：（1）多址接入信道；（2）广播信道；（3）中继信道；（4）串扰信道；（5）双向信道；（6）多用户通信网；（7）具有反馈的信道。
（考点：通信网络信道的划分）五﹑计算题（每题8分，共32分）1． 有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。
(考点：自信息量的基本概念及计算方法)解：这一随机事件的概率空间为12()0.90.1X a a p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1a ——表示摸出的是红球2a ——表示摸出的是蓝球若被告知摸出的是红球，那么获得的信息量为I(1a )=-logp(1a )=-log0.9比特若被告知摸出的是蓝球，那么获得的信息量为I(2a )=-logp(2a )=-log0.1比特若每次摸出一个球后又放回去，再进行第二次摸取。
那么摸取n 次后，红球出现的次数为n p(1a )次，蓝球出现的次数约为n p(2a )次。
则摸取n 次后总共所获得的信息量为n p(1a )I(1a )+n p(2a )I(2a )所以，平均摸取一次所能获得的信息量约为[]112221()()log ()()log ()()log ()0.9log 0.90.1log 0.10.469/i i i H X p a p a p a p a p a p a ==-+=-=--=∑比特符号2． 设二进制对称信道的传递矩阵为21331233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦若p(0)=3/4，p(1)=1/4，求H(X )﹑H(X|Y) ﹑H(Y|X) 和H(X;Y)。
（考点：信息熵和条件熵的计算）解：联合概率矩阵为2111(0)03324110(1)1212633XY p P p ⎡⎤⎡⎤⎢⎥⎢⎥⎡⎤==⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦边缘概率分布为[](0)(1)111175212461212X Y P p p P =⎡⎤⎡⎤=++=⎢⎥⎢⎥⎣⎦⎣⎦H(X)=22(0)log (0)(1)log (1)0.811p p p p bit --= 又信道传递矩阵|21331233Y X P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦故2211(|)()log (|)i j j i i j H Y X p x y p y x ===-∑∑222212111112log log log log 2343123630.918bit=----=227755()log log 0.9812121212H Y bit =--= (|)(,)()()(|)()0.8110.9180.980.749H X Y H X Y H Y H X H Y X H Y bit=-=+-=+-=(;)()(|)0.8110.7490.06I X Y H X H Y X bit =-=-= 3．有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中1(0)(1)2P P ==。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。
0 0.98 00.020.020.98 11（考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用）解：消息是一个二元序列，这二元符号是等概率分布，即1(0)(1)2P P ==，所以消息信源的熵()1H X =（比特/符号），即每个二元符号含有1比特信息量。
那么这消息序列含有信息量=14000符号×1（比特/符号）=41.410⨯（比特）现计算这二元对称信道能传输的最大的信息传输速率。
这信道是二元对称信道，信道传递矩阵0.980.020.020.98P ⎡⎤=⎢⎥⎣⎦所以其信道容量（即最大信息传输率）1()1(0.98)0.8586C H p H =-=-≈比特/符号得最大信息传输速率1500t R ≈符号/秒*0.8586比特/符号1287.9≈比特/ 秒31.28810≈⨯比特/秒此信道10秒钟内能无失真传输的最大信息量为=410 1.28810t R ⨯≈⨯比特可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息量，所以从信道传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
4. 若线性分组码生成矩阵为11010000110100=00110100001101G ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦(1) 由该G 矩阵指出（n,k ）码的信息位和监督元位数。
(2) 由G 矩阵确定对应的（n,k ）循环码生成多项式。
(3) 给出对应的H 矩阵（系统码形式）。
(4) 该（n,k ）码的最小汉明距离0d 为多少？（考点：对线性分组码的深入理解及应用）解：由[][]10(),,,()()k T k r x g x G I Q Q P H PI d r xg x g x -⎡⎤⎢⎥⎢⎥=====⎢⎥⎢⎥⎣⎦解题 （1） 信息位k=4,监督元位r =3,n =7。
（2） 由G 矩阵得（7，4）循环码生成多项式32g()=1x x x ++（3） [][]1101000100011001101000100011===0011010001011100011010001101101110011100100111001k T r r G I Q H PI Q I ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥⎡⎤===⎣⎦⎢⎥⎢⎥⎣⎦（4） 最小汉明距离0d = r =3五﹑证明题（10分）1.设信道输入随机变量为X ，输出随机变量为1Y 和2Y 。
并且在已知X 的条件下，1Y 和2Y 为等概率密度分布。
证明：(1) 12112(;)2(;)(;)I X YY I X Y I Y Y =-(2) 信道I 的信道容量小于2倍的信道的信道容量。