信息论与编码习题
信息论与编码习题
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)
2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码习题
• BSC信道的容量：m＝2 • 准对称信道的容量
3
3
带限波形信道的容量
• 条件：
– 信道带宽W受限 – 噪声为加性高斯白噪声（均值为零，功率谱
2，3，转移概率矩阵为 其最佳输入分布为
p ( xi )
1 2
（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度 ；
（3） 计算信道容量。
设有扰离散信道的传输情况分别如图 3－17 所示。求出该信道的信道容量。
1/2
X
Y
1/2
1/2
1/2 1/2
1/2
1/2
1/2
图3-17
• (2) 求该信道的信道容量及其达到信道容量时的输入概率分 布；
• 某信源发送端有2个符号Xi ，i＝1，2； ，每
秒发出一个符号。接受端有3种符号y ，j＝1， 1 1 2 2 C m a x I ( X ; Y ) l o g 2 m H m i l o g 2 2 ( 3 l g 3 3 l g 3 ) l o g 2 1 0 0 . 0 8 2 b i t / s y m b o l j
平均信息传递速率为
bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
111 1 1 1 1 1
(1)
2 4 8 16 32 64 128 128
H(U)=
1
1
1
1
1
1
1
信息论与编码选择题复习题
第一章信息1. 信息论的创始人是（）A. 维纳B. 朗格C. 香农D. 哈特莱2. 下列叙述错误的是（）A.在信息度量公式中，底数为2时，计量单位为比特B.信息是人们对事物了解的不确性的消除或减少C.信噪比是指信号功率和噪声功率之比D.信道是在物理线路上划分的物理通道3. 下列关于图灵机的叙述中，错误的是（）A.凡是可计算的函数，理论上都可以用图灵机实现B.图灵机是用于实现图灵测试的计算机C.图灵机的工作原理蕴含了存储程序的思想D.图灵机是一种抽象计算模型4. 智能技术是对人类（）功能的扩展和延伸A.效应器官B. 感觉器官C. 传导神经网络D. 思维器官5. 下列关于信息编码的叙述，错误的是（）A.字符代码主要用于设备间的信息传送B.汉字内部码两个字节的最高位都为0C.汉字内部码是双字节编码D.基本ASCII码采用7位二进制编码6. 在台湾、香港的电脑系统中，普遍采用的繁体汉字编码是（）A.GB2312码B. ASCII码C. Unicode码D. BIG5码7. 同时扔一对均匀的骰子，骰子面朝上的点数之和为4的信息量是（取以2为底的对数函数计算机）（）A.Log(1/36)+log(1/36)+log(1/36)B.Log(36/3)+ Log(36/3)+ Log(36/3)C.Log(36/3)D.Log(3/36)8. 下列（）不属于计算机采用二进制的优点A.元器件不易损坏B. 运算规则简单C. 信息容易表示D. 简化电路设计9. 依据右图所示逻辑门电路，判断输出端Q的逻辑值是（）A.10B. 2C. 0D. 110. 下列关于信息的叙述，正确的是（）A.信息本质上就是数据B.信息可通过信号传递C.信息等同于消息D. 信息就是不确性的增加11. 为表彰在计算机科学和技术领域做出杰出贡献的科学家，特设立（）A.诺贝尔奖B. 菲尔兹奖C. 图灵奖D. 南丁格式奖12. 信息技术“四基元”不包括（）技术A.多媒体技术B. 计算机与智能技术B. C. 通信技术 D. 控制技术13. 在已知今天是星期三的情况下，问你的同学“明天是星期几？”则正确答案中蕴含的信息量是（）A．以2为底的log(1/7) B.以2为底的log6C.以2为底的log7D.以2为底的log114. 下列四个进制数中，最大的一个数是（）A. 十六进制ABB. 二进制数10101100C. 八进制数246D. 十进制数16115．造纸和印刷术的出现是第（）次信息技术革命的标志A.二B. 三C. 四D. 一第二章：硬件系统1. （）个人计算机（PC机）问世A.1946年2月B. 20世纪60年代C. 1958年D. 20世纪80年代2. 某计算机地址总线宽度为10位，这台计算机可管理（）个地址单元A.8291B. 80C. 10D. 10243. 以下哪类光盘的存储容量最大（）A. DVD光盘B. CD光盘C. PCD光盘D. BD光盘4. 64位计算机中的64指的是（）A. 具有64根地址总线B. 具有64根数据总线C. 计算机一次能处理64位十进制数D. 具有64根控制总线5. 微型计算机基本存储单位是（）A. 字长B. 位C. 字节D. 字6. 下列关于“存储程序、顺序控制”原理的叙述，错误的是（）A. 计算机的指令和数据都可以统一存储B. 计算机由控制器、运算器、存储器、输入设备和输出设备五大部分C. 计算机可以采用二进制D. 计算机的指令与数据分离7. 下列不能作为输出设备使用的是（）A. 相变型光盘B. 磁光盘C. CD-ROMD. CD-R8. 一张标准CD-ROM光盘的容量约是（）A. 650KBB. 650MBC. 1.7GBD. 17GB9. 云计算机是一种基本（）的计算模式A. 小型计算机B. 大型计算机C. PC机D. 计算机集群10. 存储的数据断电后不会丢失的是（）A. Flash MemoryB. CacheC. 寄存器D. RAM11. 下列关于总线的叙述中，错误的是（）A. 总线分为内部总线、系统总线和外部总线B. 控制总线的位数决定CPU的字长C. 系统总线分为地址总线、数据总线和控制总线D. 当前PC机的外部总线多数是PCI总线13. 下列关于计算机接口的叙述，错误的是（）A. 并行口传输稳定、可靠、适合长距离传送B. 串行口传输稳定、可靠、适合长距离传送C. 1394接口支持外设热插拔D. USB接口支持外设热插拔和即插即用14. 某CD-ROM驱动器写有“32X”的标识，则该光驱的最大传输速度为（）A. 5MB/sB. 32KB/sC. 5KB/sD. 32MB/s15. 我国第一台计算机被命名为（）A. DJS-103B. ENIACC. 曙光-ID. 银河-I第三章：软件系统1. 下列中，开放源代码的软件是（）A. Ms officeB. LinuxC. PhotoshopD.Windows 72. CPU能够直接访问的存储器是（）A. RAMB. CDROMC. Flash MemoryD. ROM3. CAD的中文含义是（）A. 计算机辅助制造B. 计算机集成化制造C. 计算机辅助计算D. 计算机辅助设计4. 下列关于虚拟存储器的叙述中，错误的是（）A.虚拟存储器逻辑上扩大内存存储空间B.虚拟存储器物理上扩大内存存储空间C.虚拟存储器的容量可远远大于物理内存D.虚拟存储器利用硬盘的存储空间5. 下列特性中，（）不是操作系统的主要特性A.共享性B. 独立性C. 并发性D. 异步性6. 为解决计算机系统中各部件速度差异的矛盾，引入（）A. 缓冲技术B. 虚拟存储C. 中断处理D. PCB7. 苹果公司开发的操作系统平台是（）A. UbuntuB. WindowsC. Mac OSD. Unix8. 按计算机软件分类国家标准，QQ属于（）软件A. 服务B. 支持C.系统D. 应用9. 下列关于进程状态转换的叙述中，错误的是（）A.运行态可直接转换为就绪态B.等待态可直接转换为运行态C.运行态可直接转换为等待态D.等待态可直接转换为就绪态10. 微软公司为了修补系统安全漏洞经常（）A. 招回并修正系统软件的逻辑错误B. 在网络上发布windows系统的各种补丁程序C. 提供安全的系统软件，让用户下载D. 开放操作系统的源代码，让用户修正错误第四章：多媒体技术1. 下列关于光盘的叙述中，错误的是（）A. 采用video-CD标准的光盘，可以存储MPEG-1压缩编码格式的视频和音乐B. 采用DVD标准的光盘，可以存储MPEG-2压缩编码格式的视频和音乐C. 采用CD-ROM标准的光盘，可以存储视频和音乐D. 采用CD-DA标准的光盘，可以存储视频和音乐2. 一段声音的频率范围在200Hz-2000Hz之间，为能够保证其转换后的数字音频还原时不失真，理想的采样频率至少应为（）A. 4000HzB. 200HzC. 2000HzD. 400Hz3. 下列关于图像数字化过程的叙述中，错误的是（）A. 图像的存储容量与图像最大颜色数目无关B. 量化字长越大，越能真实的反应原有图像的颜色C. 图像数字化过程分为采样、量化和编码三个步骤D. 图像的采样是在水平与垂直方向上进行划分的4. 用画图打开一幅16色BMP格式的图像文件，不经任何处理直接另存为GIF格式的图像文件，则下列叙述中，正确的是（）A. 新图像的存储容量减少B. 新图像显示的颜色数增多C. 新图像的存储容量增加D. 新图像显示的颜色数减少5. 在因特网上，（）格式已成为主页图片的标准格式A. PSDB. BMPC. PNGD. GIF6. 按国际电信联盟对媒体的定义，打印机属于（）媒体A. 显示媒体B. 感觉媒体C. 表示媒体D. 传输媒体7. 用22.05KHZ的采样频率采样，量化位数选用32位，录制2分钟的立体声节目，其波形文件的大小约为（）A. 10MBB. 20KBC. 20MBD. 10KB8. 假设光盘的存储容量为700MB,上面存放的数字图像能以每秒25幅画面(每幅画面为800*600的真彩（24位）图像)播放一小时，则该光盘的数字图像压缩比约为（）A. 20000倍B. 2000倍C. 20倍D. 200倍9.下列音频格式中，（）文件记录的是指令而不是数字化后的波形数据A. VOC格式B. WAV格式C. MIDI格式D.CD-DA格式10. 下列关于矢量图和位图比较的叙述中，错误的是（）A. 矢量图任意放大、缩小后不失真B. 失量图有结构便于修改C. 位图任意放大、缩小后不失真D. 位图无结构不便于修改11. 法国、俄罗斯采用的电视信号制式是（）A. SECAMB. PALC. YUVD. NTSC12. 一幅采用16位量化字长处理后的图像，最多能够显示（）颜色A.128种B. 65536种C. 16种D. 256种第五章：数据库技术1. 下列（）语言是非过程化语言A. FORTRANB. SQLC. PASCALD. BASIC2. MS Access是一种（）软件A. DBSB. DBMSC. DBD. DBA3. 设某数据库有3个数据表，结构如下，student（学号，姓名），学号为主键；grade（学号，成绩），无主键；course （课程号，课程名），课程号为主键，下列叙述正确的是（）A. Student表可以与grade表建立一对一的联系B. Course表可以与grade表建立一对多的联系C. Course表可以与grade表建立一对一的联系D. Student表可以与grade表建立一对多的联系4. 要统计一个表中的记录条数，一般用（）函数A. Count()B. Max()C. Sum()D. Avg()5. 使用通配符查找不确定内容是数据库普遍采用的技术，（）是access中代表多个字符的通配符A. *B. ?C. -D. %6. 数据库系统与文件系统相比，错误的是（）A. 数据库系统的数据冗余度高B. 数据库系统的数据共享性高C. 数据库系统的数据由DBMS统一管理D. 数据库系统的数据结构化程度高7.下列关于关系模型性质的叙述中，错误的是（）A. 关系中不允许存在两个完全相同的元组B. 关系中每个属性值是不可分解的C．关系中同一列的属性性可以取自不同值域D. 关系中不允许存在两个同名的列8. SQL语言中，用于创建基本表的语句是（）A. selectB. dropC. createD. alter9. 常用于表示实体-关系模型的图形工具是（）A. E-R图B. 数据流图C. N-S图D.流程图第六章：算法与软件工程1. 用（）方式可以将C语言源程序转化为机器语言程序A. 汇编B. 解释C. 编译D. 链接2. 类用来描述一组对象共有的属性和行为，下列各级对象适合定义成同一个类的是（）A. 飞机，导弹，自行车B. 电视，冰箱，洗衣机C. 学生，教授，教学楼D. 病人，医生，手术室3. 下列关于面向对象程序设计的叙述中，错误的是（）A. 数据抽象定义了对象的属性B. 抽象包括方法抽象和事件抽象C. 封闭可有效的保护程序中数据的安全性和完整性D. 继承可提高软件的复用、降低编码工作量4. 下列关于算法和程序的叙述中，错误的是（）A. 可以用不同的程序实现同一个算法B. 算法不能用自然语言描述C. 算法是对解题步骤的描述D. 程序可以作为算法的一种描述5. 若要设计一个能求解n!的算法，用（）能实现A. 分治法B. 递归法C. 枚举法D.列举法6. 计算机历史上，第一种高级语言是（）A. 汇编语言B. FORTRAN语言C. C语言D. BASIC语言7. 下列（）语言是面向对象的程序设计语言A. BASICB. C++C. COBOLD. C8. （）程序能够直接被计算机执行A. 汇编语言B. 机器语言C. FORTRAN语言D. BASIC语言9. 下列关于二叉树遍历的叙述中，正确的是（）A. 后续遍历先访问根节点B. 三种遍历都先访问根节点C. 先序遍历先访问根节点D. 中序遍历先访问根节点10. 下列不属于线性结构的是（）A.队列B.栈C.线性表D.树形结构11. 先序遍历如右图所示的二叉树，各节点的访问顺序是（）A . DBEGACF B. DGEBFCA C. ABDEGCF D. ABCDEFG12. 下列不能作为算法好坏评价原则的是（）A 智能性B 健壮性C 复杂性D 可读性13. 下列叙述中，不属于面向对象程序设计优点的是（）A. 易于软件的维护和功能的增减B．利用继承的方式减少程序开发时间C．程序可以按照预先设定的路径执行D．具有更好的工作界面。
《信息论与编码》部分课后习题参考答案
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多 少信息量？如果你在已知今天是星期四的情况下提出同样的问题， 从别人的答案中你能获得 多少信息量（假设已知星期一至星期日得排序）？ 答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量 为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码 使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多 少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女 孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？ 答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
信息论与编码技术练习题
一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）14、互信息的统计平均为平均互信息量，都具有非负性。
（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）18、在信息处理过程中，熵是不会增加的。
（√）19、熵函数是严格上凸的。
（√）20、信道疑义度永远是非负的。
（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题集
第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。
P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。
3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章 信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。
4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。
4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
秒发出一个符号。接受端有3种符号y ，j＝1， C m a x I ( X ; Y ) l o g 2 m H m i l o g 2 2 ( 1 3 l g 1 3 3 2 l g 3 2 ) l o g 2 1 0 0 . 0 8 2 b i t / s y m b o l j
2，3，转移概率矩阵为 其最佳输入分布为
平均信息传递速率为
bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
111 1 1 1 1 1
(1)
2 4 8 16 32 64 128 128
H(U)=
1
1
1
1
1
1
1
1
Log(2) Log(4) Log(8) Log(16) Log(32) Log(64) Log(128) Log(128) 1.984
1/2
X
Y
1/2
1/2
1/2 1/2
1/2
1/2
1/2
图3-17
1 2
1 2
0 0
解： 0
1 2
1 2
0
0
1 2
0 0
1 2
0
1
2
1 2
对称信道
C log m H (Y | ai )
log 4 1 2log 2 2
取 2 为底 C 1bit/符号
发送端有 3 种等概符号（x1，x2，x3），p（xi）=1/3，接收端收到 3 种符号（y1，y2，y3）， 信道转移概率矩阵为
1 a
2
a 4
ln 1 a ) 1 a
a
1
1 2a 1 1 a a 1 1
ln 2
ln ( )
2
4 1 a2 4 1 a 4 1 a 1 a
1 ln 2 a 1 ln 1 a a 2
2
2(1 a2 ) 4 1 a 4 1 a2
1 ln 2 1 ln 1 a
2
4 1 a
=0
1a 1 1 a 4
101
u5
1/16
100
01111 11110 1001
110
110
u6
1/16
101 011111 111110 1111
110
111
(1) 这些码中哪些是唯一可译码？
(2) 哪些码是非延长码？
(3) 对所有唯一可译码求出其平均码长和编译效率。
解：首先，根据克劳夫特不等式，找出非唯一可译码
C1 : 6 23 1
1
1111
4
平均码长为：
编码效率：
（4）哈夫曼编码
信源符号 符 号 概 率
xi
pi
编码过程
x1
0.32
0.32
0.38
0.40
x2
0.22
0.22
0.32
0.38
x3
0.18
0.18
0.22
0.32
x4
0.16
0.16
0.18
x5
0.08
0.12
x6
0.04
码 编码
长
0.60 1 01
2
0.40
10
3
3
带限波形信道的容量
• 条件：
– 信道带宽W受限 – 噪声为加性高斯白噪声（均值为零，功率谱
密度为N0） – 输入信号平均功率受限PS – 若输入信号是平均功率受限的高斯白噪声信
号，可达信道容量
• 香农公式：C W lo g (1 P) W lo g (1 S N R ) • 香农限：－1.6dB W N 0
2
4
8
16
32
64
128
128
(2) 每个信源使用 3 个二进制符号,出现 0 的次数为
出现 1 的次数为
P(0)= P(1)i 符号概率 pi 累加概率 Pi -Logp(xi)
x1
1/2
0
1
x2
1/4
0.5
2
x3
1/8
0.75
3
x4
1/16
0.875
a a
3 log 2 2
1
1
4 log 1 a2
a 4
log 1 a 1 a
取 2 为底
H (Y )
(3 2
1 4
log2
1 1 a2
a 4
log2
1 1
a )bit a
（2）
H
(Y
|
X
)
a 2
log
1 2
a 2
log
1 2
1 a 2
log
1 2
1 a 4
log
1 4
1 a 4
log
1 4
a log 2 3(1 a) log 2 2
2
11
2
000
3
0010
4
0011
4
平均码长为： 编码效率：
• 概念： 第6章信道编码复习
– 差错符号、差错比特 – 差错图样：随机差错、突发差错 – 纠错码分类：检和纠错码、分组码和卷积码、线性码与非线
性码 、纠随机差错码和纠突发差错码
30
矢量空间与码空间
• n维n重空间有相互 正交的n个基底
3 a log 2 2
取 2 为底
H (Y | X ) 3 a bit 2
c
max
p( xi )
I ( X ;Y )
max H (Y )
p( xi )
H (Y
|
X
)
max
p( xi )
a 2
log
2
1 4
1 log 1 a2
a 4
log 1 1
a a
取
e
为底
(a 2
ln 2
1 4
ln
1
由题意可知该二元信道的转移概率矩阵为：
P
0.99 0.01
0.01 0.99
为一个 BSC 信道
所以由 BSC 信道的信道容量计算公式得到：
C
log s
H (P)
log 2
2 i1
pi
log
1 pi
0.92bit
/ sign
Ct
1C t
1000C
920bit
/ sec
设有扰离散信道的传输情况分别如图 3－17 所示。求出该信道的信道容量。
1 Log(2)
6
1 Log(5)
10
1 15
Log
5 2
2 15
Log
5 2
1 Log(5)
10
1 10
Log
5 3
1 Log(10)
30
3 10
Log
5 3
1.301
3. 9 在图片传输中，每帧约有 2.25106 个像素，为了能很好地重现图像，能分 16 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信 道的带宽（信噪功率比为 30dB）。
符号 xi 率 pi
次 分 次 分 次 分 次 分 次 分 次 分 次分
组
组
组
组
组
组
组
x1
1/2
0
0
x2
1/4
0
10
x3
1/8
0
110
x4
1/16
0
1110
x5
1/32
1
0
11110
1
x6
1/64
1
0
111110
1
x7
1/128
1
0 1111110
1
x8
1/128
1 11111110
（5）香农码和费诺码相同 平均码长为
SNR'
)
3.459 0.5
SNR 120
5-1 将下表所列的某六进制信源进行二进制编码，试问：
消息 概率
C1
C2
C3
C4
C5
C6
u1
1/2
000
0
0
0
1
01
u2
1/4
001
01
10
10
000
001
u3
1/16
010
011
110 1101
001
100
u4
1/16
011
0111 1110 1100
010
第3章复习
• 信道参数：用转移概率表示信道 • 信道模型
– 二进制离散信道BSC – 离散无记忆信道DMC – 波形信道
1
1
信道容量
C ＝ maI(x X;Y) P(xi)
• 信道上每传送一个符号(每使用一次信道)所 能携带的比特数，即比特/信道符号 (bits/symbol或bits/channel use)。
码长 Ki 2 3 3 3 4 5
平均码长：
编码效率为
码字 00 010 100 101 1110 11110
（3） 费诺编码为
信源符 符号概
号 xi
率 pi
1
2
3
4
编码
码长
x1
0.32
0
0
x2
0.22
1
00
2
01
2
x3
0.18
0
10
2
x4
0.16
0
110
3
1