(完整版)信息论与编码试题集
信息论与编码试题集

信息论与编码试题集题目一:1. 请解释以下术语的含义:a) 信源熵b) 信源编码c) 香农定理d) 奈奎斯特准则e) 奇偶校验码2. 在一个二进制对称信道中,如果发送方发送的比特为0,接收方接收到的比特也为0的概率为0.9,发送方发送的比特为1,接收方接收到的比特也为1的概率为0.8。
请计算该信道的信道容量。
题目二:1. 在一个具有4个等概率输出符号的信源中,计算该信源的熵。
2. 一个典型的英文字母出现的概率如下:P(A) = 0.4, P(B) = 0.3, P(C) = 0.2, P(D) = 0.1。
请计算该信源的平均码长以及编码效率。
题目三:1. 请解释Huffman编码的原理及步骤。
2. 使用Huffman编码对以下信源的输出编码:A: 0.3,B: 0.2,C: 0.15,D: 0.1,E: 0.1,F: 0.05,G: 0.05,H: 0.05。
计算编码的平均码长和编码效率。
题目四:1. 请解释线性分组码和卷积码的区别。
2. 针对一个二进制码串11001011,使用以下生成矩阵计算该码串的卷积码:G = [1 1 0 1; 1 0 1 0]。
给出计算过程和最终编码结果。
题目五:1. 请解释码激励方法。
2. 针对一个码激励线性分组码,当收到的码字为101010时,给出该码字的输入和输出码字。
题目六:1. 请解释BCH编码的原理及应用场景。
2. 对一个BCH(n, k)码,当n=15,k=11时,请给出该BCH码的生成矩阵。
题目七:1. 请解释LDPC码以及LDPC码的译码方法。
2. 对于一个n=7,k=4的LDPC码,给出该LDPC码的校验矩阵。
题目八:1. 请比较分组密码与流密码的特点和应用场景。
2. 使用RC4流密码算法对明文"HELLO"进行加密,已知初始密钥为"KEY",给出加密后的密文。
题目九:1. 请解释区块密码与流密码的工作原理和区别。
信息论与编码期末考试题(全套)

三、(16分)已知信源
(1)用霍夫曼编码法编成二进制变长码;(6分)
(2)计算平均码长 ;(4分)
(3)计算编码信息率 ;(2分)
(4)计算编码后信息传输率 ;(2分)
(5)计算编码效率 。(2分)
四、(10分)某信源输出A、B、C、D、E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5 。计算:
(1)信息就是一种消息。()
(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。()
(3)概率大的事件自信息量大。()
(4)互信息量可正、可负亦可为零。()
(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。()
(6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。()
7、根据是否允许失真,信源编码可分为和。
8、若连续信源输出信号的平均功率为 ,则输出信号幅度的概率密度是时,信源具有最大熵,其值为值。
9、在下面空格中选择填入数学符号“ ”或“ ”
(1)当X和Y相互独立时,H(XY)H(X)+H(X/Y)H(Y)+H(X)。
(2)
(3)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y) 0,
5.各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件.()
6.连续信源和离散信源的熵都具有非负性.()
7.信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确
定性就越小,获得的信息量就越小.
8.汉明码是一种线性分组码.()
信息论与编码试卷及答案1

二、综合题(每题10分,共60分)1.黑白气象传真图的消息只有黑色和白色两种,求:1)黑色出现的概率为0.3,白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联,求熵;2)假设黑白消息出现前后有关联,其依赖关系为:,,,,求其熵;2.二元对称信道如图。
;1)若,,求和;2)求该信道的信道容量和最佳输入分布。
3.信源空间为,试分别构造二元和三元霍夫曼码,计算其平均码长和编码效率。
4.设有一离散信道,其信道传递矩阵为,并设,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并计算相应的平均错误概率。
5.已知一(8,5)线性分组码的生成矩阵为。
求:1)输入为全00011和10100时该码的码字;2)最小码距。
6.设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输,噪声功率谱NO=5×10-6mw/Hz。
试求:(1)无差错传输需要的最小输入功率是多少?(2)此时输入信号的最大连续熵是多少?写出对应的输入概率密度函数的形式。
二、综合题(每题10分,共60分)1.答:1)信源模型为2)由得则2.答:1)2),最佳输入概率分布为等概率分布。
3.答:1)二元码的码字依序为:10,11,010,011,1010,1011,1000,1001。
平均码长,编码效率2)三元码的码字依序为:1,00,02,20,21,22,010,011。
平均码长,编码效率4.答:1)最小似然译码准则下,有,2)最大错误概率准则下,有,5.答:1)输入为00011时,码字为00011110;输入为10100时,码字为10100101。
2)6.答:1)无错传输时,有即则2)在时,最大熵对应的输入概率密度函数为信息论习题集二、填空(每空1分)(100道)1、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
信息论与编码试卷及答案

一、概念简答题(每题5分,共40分)二、1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?平均自信息为:表示信源的平均不确定度,表示平均每个信源消息所提供的信息量。
平均互信息:表示从Y获得的关于每个X的平均信息量;表示发X前后Y的平均不确定性减少的量;表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源,其最大熵是多少?最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。
4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。
数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有,。
说明经数据处理后,一般只会增加信息的损失。
5.写出香农公式,并说明其物理意义。
当信道带宽为5000Hz,信噪比为30dB时求信道容量。
香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。
6.由得,则7.解释无失真变长信源编码定理。
只要,当N足够长时,一定存在一种无失真编码。
8.解释有噪信道编码定理。
答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
9.10.8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和?答:1)保真度准则为:平均失真度不大于允许的失真度。
11.2)因为失真矩阵中每行都有一个0,所以有,而。
二、综合题(每题10分,共60分)1.黑白气象传真图的消息只有黑色和白色两种,求:1)黑色出现的概率为0.3,白色出现的概率为0.7。
信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分,信源可以分为(有记忆信源)和(无记忆信源)2.连续信源的熵是(无穷大),不再具有熵的物理含义。
3.对于有记忆离散序列信源,需引入(条件熵)描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时,符合(正态)分布才具有最大熵,最大熵是(1/2ln(2 ⅇ 2))。
4.数据处理过程中信息具有(不增性)。
5.信源冗余度产生的原因包括(信源符号之间的相关性)和(信源符号分布的不均匀性)。
6.单符号连续信道的信道容量取决于(信噪比)。
7.香农信息极限的含义是(当带宽不受限制时,传送1bit信息,信噪比最低只需-1.6ch3)。
8.对于无失真信源编码,平均码长越小,说明压缩效率(越高)。
9.对于限失真信源编码,保证D的前提下,尽量减少(R(D))。
10.立即码指的是(接收端收到一个完整的码字后可立即译码)。
11.算术编码是(非)分组码。
12.游程编码是(无)失真信源编码。
13.线性分组码的(校验矩阵)就是该码空间的对偶空间的生成矩阵。
14.若(n,k)线性分组码为MDC码,那么它的最小码距为(n-k+1)。
15.完备码的特点是(围绕2k个码字、汉明矩d=[(d min-1)/2]的球都是不相交的每一个接受吗字都落在这些球中之一,因此接收码离发码的距离至多为t,这时所有重量≤t的差错图案都能用最佳译码器得到纠正,而所有重量≤t+1的差错图案都不能纠正)。
16.卷积码的自由距离决定了其(检错和纠错能力)。
(对)1、信息是指各个事物运动的状态及状态变化的方式。
(对)2、信息就是信息,既不是物质也不是能量。
(错)3、马尔可夫信源是离散无记忆信源。
(错)4、不可约的马尔可夫链一定是遍历的。
(对)5、单符号连续信源的绝对熵为无穷大。
(错)6、序列信源的极限熵是这样定义的:H(X)=H(XL|X1,X2,…,XL-1)。
(对)7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分,信源可以分为(有记忆信源)和(无记忆信源)2.连续信源的熵是(无穷大),不再具有熵的物理含义。
3.对于有记忆离散序列信源,需引入(条件熵)描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时,符合(正态)分布才具有最大熵,最大熵是(1/2ln (2πⅇσ2))。
4.数据处理过程中信息具有(不增性)。
5.信源冗余度产生的原因包括(信源符号之间的相关性)和(信源符号分布的不均匀性)。
6.单符号连续信道的信道容量取决于(信噪比)。
7.香农信息极限的含义是(当带宽不受限制时,传送1bit信息,信噪比最低只需-1.6ch3)。
8.对于无失真信源编码,平均码长越小,说明压缩效率(越高)。
9.对于限失真信源编码,保证D的前提下,尽量减少(R(D))。
10.立即码指的是(接收端收到一个完整的码字后可立即译码)。
11.算术编码是(非)分组码。
12.游程编码是(无)失真信源编码。
13.线性分组码的(校验矩阵)就是该码空间的对偶空间的生成矩阵。
14.若(n,k)线性分组码为MDC码,那么它的最小码距为(n-k+1)。
15.完备码的特点是(围绕2k个码字、汉明矩d=[(d min-1)/2]的球都是不相交的每一个接受吗字都落在这些球中之一,因此接收码离发码的距离至多为t,这时所有重量≤t的差错图案都能用最佳译码器得到纠正,而所有重量≤t+1的差错图案都不能纠正)。
16.卷积码的自由距离决定了其(检错和纠错能力)。
(对)1、信息是指各个事物运动的状态及状态变化的方式。
(对)2、信息就是信息,既不是物质也不是能量。
(错)3、马尔可夫信源是离散无记忆信源。
(错)4、不可约的马尔可夫链一定是遍历的。
(对)5、单符号连续信源的绝对熵为无穷大。
(错)6、序列信源的极限熵是这样定义的:H(X)=H(XL|X1,X2,…,XL-1)。
(对)7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试卷及答案

一、(11’)填空题(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
(2)必然事件的自信息是 0 。
(3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
(4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。
(5)若一离散无记忆信源的信源熵H(X)等于,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。
(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。
(8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、(5)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高米以上的,而女孩中身高米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?解:设A表示“大学生”这一事件,B表示“身高以上”这一事件,则P(A)= p(B)= p(B|A)= (2分)故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= (2分)I(A|B)== (1分)四、(5)证明:平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明:()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; (2分)同理()()()X Y H Y H Y X I -=; (1分) 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += (1分) 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; (1分)五、(18’).黑白气象传真图的消息只有黑色和白色两种,求:1) 黑色出现的概率为,白色出现的概率为。
信息论与编码试卷及答案

信息论与编码试卷及答案⼀、概念简答题(每题5分,共40分)1.什么是平均⾃信息量与平均互信息,⽐较⼀下这两个概念的异同?2.简述最⼤离散熵定理。
对于⼀个有m个符号的离散信源,其最⼤熵是多少?3.解释信息传输率、信道容量、最佳输⼊分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?4.对于⼀个⼀般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。
5.写出⾹农公式,并说明其物理意义。
当信道带宽为5000Hz,信噪⽐为30dB时求信道容量。
6.解释⽆失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则?对⼆元信源,其失真矩阵,求a>0时率失真函数的和?⼆、综合题(每题10分,共60分)1.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种,求:1)⿊⾊出现的概率为0.3,⽩⾊出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上⿊⽩消息出现前后没有关联,求熵;2)假设⿊⽩消息出现前后有关联,其依赖关系为:,,,,求其熵;2.⼆元对称信道如图。
;1)若,,求和;2)求该信道的信道容量和最佳输⼊分布。
3.信源空间为,试分别构造⼆元和三元霍夫曼码,计算其平均码长和编码效率。
4.设有⼀离散信道,其信道传递矩阵为,并设,试分别按最⼩错误概率准则与最⼤似然译码准则确定译码规则,并计算相应的平均错误概率。
5.已知⼀(8,5)线性分组码的⽣成矩阵为。
求:1)输⼊为全00011和10100时该码的码字;2)最⼩码距。
6.设某⼀信号的信息传输率为5.6kbit/s,在带宽为4kHz的⾼斯信道中传输,噪声功率谱NO=5×10-6mw/Hz。
试求:(1)⽆差错传输需要的最⼩输⼊功率是多少?(2)此时输⼊信号的最⼤连续熵是多少?写出对应的输⼊概率密度函数的形式。
⼀、概念简答题(每题5分,共40分)1.答:平均⾃信息为表⽰信源的平均不确定度,也表⽰平均每个信源消息所提供的信息量。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
(√ )2. 线性码一定包含全零码。
(√ )3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。
(×)4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。
(×)5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
(×)6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。
(√ )7. 循环码的码集中的任何一个码字的循环移位仍是码字。
(√ )8. 信道容量是信道中能够传输的最小信息量。
(×)9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
(×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。
(√ )三、计算题某系统(7,4)码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为:231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ (1)求对应的生成矩阵和校验矩阵;(2)计算该码的最小距离;(3)列出可纠差错图案和对应的伴随式; (4)若接收码字R =1110011,求发码。
解:1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.4. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)四、计算题已知(),X Y 的联合概率(),p x y 为: 求()H X ,()H Y ,(),H X Y ,();I X Y解: (0)2/3p x == (1)1/3p x ==(0)1/3p y == (1)2/3p y ==()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol01X Y011/31/301/3六、计算题若有一信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.08.021x x P X ,每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 (假设信道是无噪无损的,容量为1bit/二元符号), 而信道每秒钟只传递2个二元符号。
(1) 试问信源不通过编码(即x 1→0,x 2→1在信道中传输) (2) 能否直接与信道连接?(3) 若通过适当编码能否在此信道中进行无失真传输? (4) 试构造一种哈夫曼编码(两个符号一起编码),(5) 使该信源可以在此信道中无失真传输。
解:1.不能,此时信源符号通过0,1在信道中传输,2.55二元符号/s>2二元符号/s 2. 从信息率进行比较, 2.55*(0.8,0.2)H = 1.84 < 1*2 可以进行无失真传输3.410.640.16*20.2*3i i i K p K ===++=∑ 1.56 二元符号/2个信源符号此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s七、计算题两个BSC 信道的级联如右图所示: (1)写出信道转移矩阵; (2)求这个信道的信道容量。
解: (1)22122211(1)2(1)112(1)(1)P PP εεεεεεεεεεεεεεεε--⎡⎤-+-⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥----+⎣⎦⎣⎦⎣⎦x 1x 1x 1x 2x 2x 1x 2x 2 0.6410111001010.641(2)22log 2((1))C H εε=--+信息理论与编码试卷A答案中南大学考试试卷200 -- 2010 学年 上学期期末考试试题 时间100分钟信息论基础 课程 32 学时 学分 考试形式: 闭 卷专业年级: 通信07级 总分100分,占总评成绩70%注:此页不作答题纸,请将答案写在答题纸上一、填空题 (每空2分,共20分) 1.设X的取值受限于有限区间[a,b ],则X 服从 均匀 分布时,其熵达到最大;如X 的均值为μ,方差受限为2σ,则X 服从 高斯 分布时,其熵达到最大。
2.信息论不等式:对于任意实数0>z ,有1ln -≤z z ,当且仅当1=z 时等式成立。
3.设信源为X={0,1},P (0)=1/8,则信源的熵为 )8/7(log 8/78log 8/122+比特/符号,如信源发出由m 个“0”和(100-m )个“1”构成的序列,序列的自信息量为)8/7(log )100(8log 22m m -+比特/符号。
4.离散对称信道输入等概率时,输出为 等概 分布。
5.根据码字所含的码元的个数,编码可分为 定长 编码和 变长 编码。
6.设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ,用二元符号表}1,0{21===x x X 对其进行定长编码,若所编的码为{000,001,010,011,100,101},则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
二、简答题(30分)1.什么是损失熵、噪声熵?什么是无损信道和确定信道?如输入输出为s r ⨯,则它们的分别信道容量为多少? 答:将H (X|Y )称为信道},,{|Y P X X Y 的疑义度或损失熵,损失熵为零的信道就是无损信道,信道容量为logr 。
将H (Y|X )称为信道},,{|Y P X X Y 的噪声熵,噪声熵为零的信道就是确定信道,信道容量为logs 。
2.信源编码的和信道编码的目的是什么? 答:信源编码的作用:(1)符号变换:使信源的输出符号与信道的输入符号相匹配;(2)冗余度压缩:是编码之后的新信源概率均匀化,信息含量效率等于或接近于100%。
信道编码的作用:降低平均差错率。
3.什么是香农容量公式?为保证足够大的信道容量,可采用哪两种方法? 答:香农信道容量公式:)1(log )(02BN P B P C SS +=,B 为白噪声的频带限制,0N 为常数,输入X (t )的平均功率受限于S P 。
由此,为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。
4.什么是限失真信源编码?答:有失真信源编码的中心任务:在允许的失真范围内把编码的信息率压缩到最小。
三、综合题(20+15+15)1. 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY定义一个新的随机变量Y X Z ⨯=(普通乘积)(1) 计算熵H (X ),H (Y ),H (Z ),H (XZ ),H (YZ ),以及H (XYZ ); (2) 计算条件熵 H (X|Y ),H (Y|X ),H (X|Z ),H (Z|X ),H (Y|Z ),H (Z|Y ),H (X|YZ ),H (Y|XZ )以及H (Z|XY );(3) 计算平均互信息量I (X ;Y ),I (X :Z ),I (Y :Z ),I (X ;Y|Z ),I (Y ;Z|X )以及I (X :,Z|Y )。
解:(1)12log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H8/1008/308/308/1111110101100011010001000XYZ8/18/710Z8log 8/1)7/8(log 8/7)(22+=Z H 8/18/302/111100100XZ8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H 8/18/302/111100100YZ8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H(2)))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H(3))|()();(Y X H X H Y X I -=)|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=)|()|()|;(YZ X H Z X H Z Y X I -= )|()|()|;(ZY X H Y X H Y Z X I -=2. 设二元对称信道的输入概率分布分别为]4/14/3[][=X P ,转移矩阵为[]⎥⎦⎤⎢⎣⎡=3/23/13/13/2|XY P , (1) 求信道的输入熵,输出熵,平均互信息量;(2) 求信道容量和最佳输入分布; (3) 求信道剩余度。