信息论基础教程 第七章 (李亦农 李梅 著) 北京邮电大学出版社 课后答案【khdaw_lxywyl】
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信号与系统刘树棠课后答案
信号与系统刘树棠课后答案【篇一：信号与系统复习指导】>本课程是电子信息与电气类专业本科生的一门重要的专业基础课程。
它主要讨论信号、线性时不变系统的分析方法，并通过实例分析，向学生介绍工程应用中的重要方法。
通过这门课程的学习，提高学生的分析问题和解决问题的能力，为学生今后进一步学习信号处理、网络分析综合、通信理论、控制理论等课程打下良好的基础。
本课程需要较强的数学基础，其主要任务是运用相关数学方法进行信号与线性时不变系统分析。
注重结合工程实际。
先修课程：“高等数学”、“大学物理”、“电路分析”等。
□ 课程的主要内容和基本要求1. 信号与系统的基本概念(1) 掌握信号的基本描述方法、分类及其基本运算。
(2) 掌握系统的基本概念和描述方法，掌握线性时不变系统的概念。
2. 信号与系统的时域分析(1) 掌握卷积积分的概念及其性质。
(2) 掌握卷积和的概念及计算。
(3) 掌握连续信号的理想取样模型及取样定理。
3. 连续时间信号与系统的频域分析 (1) 掌握周期信号的傅里叶级数展开。
(2) 掌握傅里叶变换及其基本性质。
(3) 掌握信号的频谱的概念及其特性。
(4) 掌握系统对信号响应的频域分析方法。
(5) 掌握系统的频域传输函数的概念。
(6) 掌握理想低通滤波器特性，了解系统延时、失真、因果等概念。
(7) 掌握线性系统的不失真传输条件。
4．离散时间信号与系统的频域分析 (1) 理解周期信号的傅里叶级数展开。
(2) 掌握傅里叶变换及其基本性质。
(4) 掌握系统的频率响应。
(5) 掌握系统对信号响应的频域分析方法。
5. 连续时间信号与系统的复频域分析(1) 掌握单边拉普拉斯变换的定义和性质。
(2) 掌握拉普拉斯反变换的计算方法(部分分式分解法)。
(3) 掌握系统的拉普拉斯变换分析方法。
(4) 掌握系统函数的概念。
(5) 掌握系统极零点的概念及其应用。
(6) 掌握系统稳定性概念。
(7) 掌握系统的框图与信号流图描述。
《信息论与编码基础》唐朝京 课后答案
ww
解： 设随机变量 X 代表女孩子学历 X x1（是大学生） P(X) 0.25
w.
2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？
1 18
该消息自信息量 I ( x ) = − log p ( x ) = log18 = 4.170bit 2）因圆点之和为 7 的概率
该消息自信息量 I ( x ) = − log p ( x ) = log 6 = 2.585bit
解：
i
2.7 消息源以概率 P 1 = 1/ 2, P 2 = 1/ 4, P 3 = 1/ 8, P 4 = 1/16, P 5 = 1/16, 发送 5 种消息符 号 m1 , m2 , m3 , m4 , m5 。
ε
P1 − ε
( P2 − P1 + 2ε )] log ρ
课后答案网
∴H − H′ <[
ε
P1 − ε
( P2 − P1 + 2ε )] log e ≤ 0
∴ 新概率空间熵增加，这是因为新概率空间概率分布趋于平均，不确定性增加，所以
P ( xi )
ww
P ( y j | xi )
解：
课
后
D E F G
答
X 4 信源中可能发出的所有符号为：
kh da w. co m
案 网
号 ……” ． (2)
课后答案网
根据公式： P ( xi y j ) = p ( xi ) P ( y j | xi ) ，先画出二重延长消息的联合概率密度：
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论基础7答案.doc
《信息论基础》参考答案一、填空题(共15分，每空1分)1、信源编码的主要口的是提高有效性,信道编码的主要口的是提高可靠性。
2、信源的剩余度主要来白两个方面，一是信源符乃间的相关性,二是信源符乃的统计不均匀性°3、三进制信源的最小嫡为®最大嫡为lo叮bit/符吳4、无失真信源编码的平均码长最小理论极限制为信源爛(或H(S)/log一H,S))°5、当R二C或(信道剩余度为0)吋,信源•信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为协参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出倍号的平均功率为则输出信号幅度的概率密度是高斯分布或-正态分布或1 1f(x) = ^-e 1 2 3 4 5-时，信源具有最大爛，英值为值才log2兀心。
9、在下面空格中选择填入数学符号或“〈”(1)当X 和Y 相互独立时,H (XY) =H(X)+H(X/Y)zH(Y)+H(X)o(2)比(心=I?兰弘(X)= I ‘丿(3)假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y)>0, H(Y/X)=0,I(X;Y)<H(X)o二、(6分)若连续信源输出的幅度被限定在【2,6］区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对嬌，并说明该信源的绝对嬌为多少。
小“/\ —,2<x<6Q/W= 4'0,其它/.相对爛h (x)= -『f (x) log f (x)dx=2bit/H 由度该信源的绝对嫡为无穷人。
三、(16分)已知信源■ ■S] S2 §3 $4 $5 $6P0.2 0.2 0.2 0.2 0.1 0.1■1 用霍夫曼编码法编成二进制变长码；(6分)2 计算平均码长Z; (4分)3 计算编码信息率(2分)4计算编码后信息传输率/? ； (2分)5 计算编码效率〃o (2分)S] =00 s 2 =01 S3 = 100 54=101 S5 =110 56=IH（2）（3） （4）（5） ,L log r L评分：其他正确的编码方案：1,要求为即时码2,平均码长最短四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、 1/2、1/8。
信息论基础第三章~第七章
3.4 算术码 香农—费诺码在3.2节中我们证明了码长取为1()log()l x p x ⎡⎤=⎢⎥⎢⎥时满足克莱夫特不等式，因此可用来构造唯一可译码。
本节要介绍一种利用累积分布函数来分配码字的构造编码方法，通常称为香农—费诺方法。
设信源随机变量X 取值于字符集{1,2,...,}m χ=，不失一般性，设对所有x χ∈ 有()0p x >定义累积分布函数()()a xF x p a ≤=∑和修正的累积分布函数1()()()2a xF x p a p x <=+∑ 我们称()p x 为()F x 的步长。
这两个函数计算示意图见图3.4.1.图3.4.1 香农---费诺码的累积分布函数因为所有字母x 都有正概率, 因此当(,)x y x y χ≠∈时有()()F x F y ≠。
如果知道了()F x 就可以找到对应的x ，这就提示我们可以用()F x 作为x 的码字，比如用()F x 的二进小数表示。
但通常()F x 是实数，它未必能用有限多位二进制小数来表出，那么能否用近似表示呢? 如用()F x 的二进制小数表示中前()l x 位来近似表示，我们把它记为()()l x F x ⎢⎥⎣⎦ ,则它和()F x 的差距应满足以下不等式.()()1()()2l x l x F x F x ⎢⎥-<⎣⎦比如取1()log1()l x p x ⎡⎤=+⎢⎥⎢⎥时有()1log ()111()()(1)2222l x p x p x F x F x ⎡⎤⎢⎥⎢⎥≤<=-- 因此()()l x F x ⎢⎥⎣⎦位于对应x 的步长之内，可见用()l x 比特来描述x 足够了。
也就是说如果12()()1()0.......l x l x F x a a a a +=（其中01i a =或），则可取12()(...)l x a a a 作为的码字。
事实上，每一个码字对应的区间长度为()2()(1)l x F x F x -<--，区间的左端点12()0....l x a a a 位于对应x 的步长的左半部（即小的那一半），而右端点12()()10....2l x l x a a a +位于步长顶端的下方，这说明整个区间12()12()()1[0...., 0....]2l x l x l x a a a a a a +全部落在累积分布函数中对应x 的步长之内，从而对应不同码字的区间是不相交的，因此此码是即时码。
电子信息工程专业教学参考书目
电子信息工程专业《工程制图》教学参考书1．侯文君，王飞．工制图与计算机绘图.北京：人民电出版社，2009．52．孙力宏．计算机辅助工程制图. 北京：清华大学出版社，2010．1《积分变换与复变函数》教学参考书1．华中科技大学数学系．复变函数与积分变换学习辅导与习题全解．北京：高等教育出版社2005《计算机网络与实践》教学参考书1．谢希仁编著．计算机网络（第四版）．北京：电子工业出版社，20032．冯博琴，陈文革主编．计算机网络．北京：高等教育出版社，2004《电路原理》教学参考书1．姚维主编．电路解析与精品题集．北京：机械工业出版社，2005.12．周守昌主编．电路原理．北京：高等教育出版社，1999.93．王淑敏主编．电路基础常见题型解析及模拟题．西安：西北工业大学出版社，2000.2《电路原理实验》教学参考书1．张峰主编．电路实验教程．北京：高等教育出版社，2008.6.12．钱克猷主编．电路实验技术基础．杭州：浙江大学出版社，2006.63．邱关源主编．电路（第五版）．北京：高等教育出版社，2006.5《C 语言程序设计》教学参考书1．田淑青主编．等级考试二级教程（C语言）．北京：高等教育出版社，1998年2．王丽娟等编．C程序设计．西安：西安电子科技大学出版社，20003．王丽娟等编．C程序设计学习指导．西安：西安电子科技大学出版社，2000《模拟电子技术》教学参考书1．王卫东编著．模拟电子电路基础．西安：西安电子科技大学出版社，2003.52．康华光主编．电子技术基础（模拟部分）第五版．北京：高等教育出版社，2006 3．傅晓林编著．电子技术基础解题指导．重庆：重庆大学出版社，2004.2《数字电子技术》教学参考书1．阎石主编．数字电子技术基础（第四版）．北京：高等教育出版社，2006．72．杨颂华主编．数字电子技术基础．西安：西安电子科技大学出版社，2005．10《电子技术实验》教学参考书1．康华光．电子技术基础，（模拟部分）第五版．北京：高等教育出版社，2005.82．冼月萍．电子技术实验．广州：华南理工大学出版社，2005.83．孙义芳．电子技术基础实验指导书．北京：高等教育出版社，1999《电磁场理论》教学参考书1．毕岗.电磁场与微波（第一版）.杭州：浙江大学出版社. 2006年2．严琪琪，赵立珍. 电磁场与电磁波（第四版）全程导学及习题全解. 北京：中国时代经济出版社.2007《信号与系统》教学参考书1．刘东星，孟祥曦主编．信号与线性系统分析同步辅导及习题全解．北京：中国水利水电出版社，2009．32．郑君里．信号与系统．北京：高等教育出版社，2000《单片机原理与应用》教学参考书1．马忠梅等.单片机的C语言应用程序设计.北京：北京航空航天大学出版社，2005．11 2．张迎新.单片微型计算机原理、应用及接口技术.北京：国防工业出版社，2006．1《单片机原理与接口实验》教学参考书1．姜志海主编.单片机原理与应用.北京：电子工业出版社，2005．72．胡汉才.单片机原理及其接口技术（第2版）.北京：清华大学出版社，2006．9《高频电子线路》教学参考书1．谢沅清. 通信电子线路. 北京：北京邮电大学出版社，2000.22．曾兴雯高频电子线路辅导书北京：高等教育出版社，2005.6《自动控制原理》教学参考书1．邹伯敏主编．《自动控制理论》．北京：机械工业出版社，2007．82．王建辉主编．《自动控制原理》．北京：清华大学出版社，2007．43．王建辉主编．《自动控制原理习题详解》．北京：清华大学出版社，2010．5《数字信号处理》教学参考书1．奥本海姆主编．离散时间信号处理．北京：科学出版社，20002．丁玉美等主编．数字信号处理（第二版）．西安：西安电子科技大学出版社，2005《通信原理》教学参考书1．郝建军. 通信原理考研指导. 北京：北京邮电大学出版社，2006.62．曹丽娜.通信原理学习辅导与考研指导（修订版）. 北京：国防工业出版社，2008.7 3．郭文彬. 通信原理—基于Matlab的计算机仿真. 北京：北京邮电大学出版社《感测技术》教学参考书1．周杏鹏．现代检测技术．北京：高等教育出版社，2004《EDA 技术与应用》教学参考书1．刘常澍，赵雅兴.数字电路与FPGA.北京：人民邮电出版社，2004-082．任晓东，文博.CPLD/FPGA高级应用开发指南.北京：电子工业出版社，2003-06《电路设计与制版》教学参考书1．王利强，杨旭，李成等编著．《电路CAD：Protel DXP 2004电路设计与实践》．天津大学版社20082．神龙工作室编著．《Protel 2004实用培训教程》．人民邮电出版社20053．刘刚，彭荣群编著．《Protel DXP 2004 SP2原理图与PCB 设计》．电子工业出版社《智能仪器原理与应用》教学参考书2．周航慈.智能仪器原理与设计.北京：北京航空航天大学出版社，2005.023．徐爱钧.智能化测量控制仪表原理与设计(第二版). 北京：北京航空航天大学出版社2004.09《通信网基础》教学参考书1.杨武军编著．现代通信网概论．西安：西安电子科技大学出版社，2006．8《通信终端技术与应用》教学参考书1．陆东林，宾晟，国刚．J2ME开发技术原理与实践教程．北京：电子工业出版社，2008．6《信息理论与编码》教学参考书1．傅祖芸信息论—基础理论与应用，北京：电子工业出版社，2001.22．李梅，李亦农信息论基础教程习题解答与实验指导，北京：北京邮电大学出版社，2005.10《多媒体通信协议》教学参考书1．李旭编著．多媒体通信原理．北京：机械工业出版社，2006．5《MA TLAB 及应用》教学参考书1. 张铮,杨文平,石博强,李海鹏．MA TLAB 程序设计与实例应用．北京：中国铁道出版社，2003《数学建模》教学参考书1．刘来福、曾文艺. 数学模型与数学建模（第三版）. 北京：北京师范大学出版社，2010.7《现代企业管理》教学参考书1．周三多主编．管理学．北京：高等教育出版社，2005．112．［美］斯蒂芬·P·罗宾斯，玛丽·库尔特．管理学（第7 版）．北京：中国人民大学出版社，2004．13．宋克勤主编．企业管理教程．上海：格致出版社，上海人民出版社，2008．104．王方华主编．现代企业管理．上海：复旦大学出版社，2009．75．袁竹，王菁华主编．现代企业管理．北京：清华大学出版社，2009．36．王关义，刘益，刘彤，李治堂编著．现代企业管理．北京：清华大学出版社，2007.8 7．姜真主编．现代企业管理．北京：清华大学出版社，2007.88．胡建宏主编．现代企业管理．北京：清华大学出版社，2008.79．马凌主编．现代企业管理．成都：西南财经大学出版社，2008.510．黄速建，黄群慧主编．现代企业管理：变革的观点（增补版）．北京：经济管理出版社，2007．311．徐国良，王进编著．企业管理案例精选精析（第三版）．北京：中国社会科学出版社，2006．512．张承耀编著．企业管理案例与评论．北京：经济管理出版社，2005．813．李功网主编．企业生命周期视角下的中小企业管理．广州：暨南大学出版社，2009．8《专业英语》教学参考书1．曹玲芝主编．电子信息工程专业英语．武汉：华中科技大学出版社，2006.3《多媒体技术应用》教学参考书1．钟玉琢主编．多媒体技术基础及应用．北京：人民邮电出版社，2010．102．Tay Vaughan主编．多媒体技术及其应用．北京：清华大学出版社，2004．113．鄂大伟主编．多媒体技术基础与应用．北京：高等教育出版社，2003，9《数据库原理及应用》教学参考书1．《数据库系统原理》，陆慧娟主编，浙江大学出版社，2004年9月2．《数据库系统原理—习题集与上机指导》，陆慧娟主编，浙江大学出版社，2009年1 月第4次印刷3．《数据库原理与应用—习题解析》，李春葆主编，清华大学出版社出版社，2001 年5 月第一版。
信息论基础及答案
《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 22x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。