信息论基础教程 第四章 (李亦农 李梅 著) 北邮
信息理论基础 第四章 信道及信道容量
则存在：I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有：
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集， 且具有同一种概率分布，则输出Y的分量Yi也取值同一 符号集，则各I(Xi；Yi)是相等的。即：
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中：p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道：在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道： 入有关，而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ，则信道为平
信息论基础2015-第四章
K 1
K , J k 0 j 0,1,, J 1
对称离散无记忆信道（II）
若一个信道既关于输入对称，又关于输出对称，即P中每一行都是第 一行的一个置换，每一列都是第一列的一个置换，则该信道是对称的 对一个信道的转移概率矩阵P按列划分，得到若干子信道，若划分出 的所有子信道均是对称的，则称该信道是准对称的 0.8 0.1 0.1 0.1 1 0.1 0.8 0 1 2
K 1 J ({Qk }) I ( X l;Y ) I ( X k ;Y ) Ql Qk Qk l 0 K 1 J 1 p( j | k ) I ( X k ;Y ) Ql p( j | l ) K 1 l 0 j 0 Qi p( j | i ) i 0 I ( X k ;Y ) (1 )
K–1
二进制删除信道（BEC）
1–p–q 0 q E q
0 Q0 = Q1 = 0.5
p p
1
C I X 0; Y I X 1; Y
1 p q log 1 p q q p q log p log 1 q / 2 1 q / 2 q
幅度离散，时间离散信道；
幅度连续，时间离散信道；
幅度连续，时间连续信道； 幅度离散，时间连续信道。
按输入/输出之间的记忆性
有记忆信道 无记忆信道
按其输入/输出信号的关系的确定性：
确定信道
随机信道
信道的抽象模型
输入/输出统计关系 输入量X （随机过程） 信道 输出量Y （随机过程）
H (Y ) H (Y1Y2 Yn ) H (Y1 ) H (Y2 | Y1 ) H (Y3 | Y1Y2 ) H (Yn | Y1Y2 Yn1 )
2019年北京邮电大学本科教材目录
袁建国 罗元
胡先志 胡佳 妮
李维民
曾军 王峰 陈 仑 王朝晖 焦斌 亮 徐朝鹏 赵东风 彭家 和 丁洪伟
张民
刘文林 李梅 李洪
王仕璠
2017.11 2011.04 2015.08 2015.08 2013.02 2012.09 2011.11 2008.11 2013.03
91
9787563534203 信息光学理论与应用习题详解
85
9787563544264 光网络管理与维护
86
9787563536269 光学系统设计教程
87
9787563532056 SDH光传输技术与设备
88
9787563527595 光波导理论简明教程
89
9787563518678 组网工程
90
9787563534197 信息光学理论与应用（第3版）
22.00
PPT
29.00
“十一五 高等教育本科国
PPT
35.00
PPT
39.00
PPT
34.00
32.00
32.00
PPT
36.00
PPT
38.00
PPT
39.00
PPT
65
9787563523047 通信线路工程
66
9787563524136 信息与通信系统仿真
PPT
18.00
18.00
22.00
43.00
“十一五”普通 高等教育本科国
PPT
16.00
49.00
18.00
“十一五”普通 高等教育本科国
42.00
79.00
28.00
PPT
38.00
《信息学概论》第4章 信息交流与信息传播
意愿的了解；娱乐等等。
4.1 信息交流与社会
15
联合国教科文组织：从信息交流的广泛意义上看，它具备的 功能包括：
获得信息：收集、储存、整理和传播必要的新闻、数据、
图片、事实的信息和相关的意见、评论，以便对个人的、
周围环境的、国家的和国际的情况获得了解、做出反应和
适当的决定；
社会化：提供知识的公开积累，使人们能在其生活的社会
检索系统 正式过程
4.2 信息交流的模式和要素
22
传统的信息交流体系来源于前苏联著名情报学家米哈伊诺夫 科学交流理论中对正式交流与非正式交流的划分。信息交流 作为科学研究生产、传递、组织、存储和服务的基础，往往 是由出版商、发行商、文摘索引商、联机检索服务商、网络
提供商和图书馆、情报所等严格有序的分工组成。其中，正
人类社会信息交流的发展以所采用的交流媒介的发展为标记，
经历了语言交流时代、文字交流时代、印刷交流时代、电子 交流时代和网络交流时代五个阶段。
1. 语言交流时代
语言是人类信息交流的主导媒介。语言产生后，即成为人类 社会最重要、最普遍的交流方式。
无结构口头语： 4万年前。
结构化口头语：1万4千年前。
4.1 信息交流与社会
4. 电子交流时代
10
在电子交流时代，运用电磁波技术和电子传输技术进行文字、 声音和图像信息的传播，人类的信息交流出现了同步特征。 电话、无线电通信、广播电影电视的相继出现不只是信息交
流媒介的丰富，对我们的思维方式和生活方式也形成了重要
影响。
1844年莫尔斯发明电报；
1866年大西洋海底电缆成功铺设；
介，所从事之交换消息的方法。”
信号与系统刘树棠课后答案
信号与系统刘树棠课后答案【篇一：信号与系统复习指导】>本课程是电子信息与电气类专业本科生的一门重要的专业基础课程。
它主要讨论信号、线性时不变系统的分析方法，并通过实例分析，向学生介绍工程应用中的重要方法。
通过这门课程的学习，提高学生的分析问题和解决问题的能力，为学生今后进一步学习信号处理、网络分析综合、通信理论、控制理论等课程打下良好的基础。
本课程需要较强的数学基础，其主要任务是运用相关数学方法进行信号与线性时不变系统分析。
注重结合工程实际。
先修课程：“高等数学”、“大学物理”、“电路分析”等。
□ 课程的主要内容和基本要求1. 信号与系统的基本概念(1) 掌握信号的基本描述方法、分类及其基本运算。
(2) 掌握系统的基本概念和描述方法，掌握线性时不变系统的概念。
2. 信号与系统的时域分析(1) 掌握卷积积分的概念及其性质。
(2) 掌握卷积和的概念及计算。
(3) 掌握连续信号的理想取样模型及取样定理。
3. 连续时间信号与系统的频域分析 (1) 掌握周期信号的傅里叶级数展开。
(2) 掌握傅里叶变换及其基本性质。
(3) 掌握信号的频谱的概念及其特性。
(4) 掌握系统对信号响应的频域分析方法。
(5) 掌握系统的频域传输函数的概念。
(6) 掌握理想低通滤波器特性，了解系统延时、失真、因果等概念。
(7) 掌握线性系统的不失真传输条件。
4．离散时间信号与系统的频域分析 (1) 理解周期信号的傅里叶级数展开。
(2) 掌握傅里叶变换及其基本性质。
(4) 掌握系统的频率响应。
(5) 掌握系统对信号响应的频域分析方法。
5. 连续时间信号与系统的复频域分析(1) 掌握单边拉普拉斯变换的定义和性质。
(2) 掌握拉普拉斯反变换的计算方法(部分分式分解法)。
(3) 掌握系统的拉普拉斯变换分析方法。
(4) 掌握系统函数的概念。
(5) 掌握系统极零点的概念及其应用。
(6) 掌握系统稳定性概念。
(7) 掌握系统的框图与信号流图描述。
信息论4-1
在一般的广义通信系统中， 在一般的广义通信系统中，信道是很重要的一部 分，信道是信息传输的通道（如电缆、光纤、电波传 信道是信息传输的通道（如电缆、光纤、 播的介质等物理通道，以及磁盘、光盘等），其任务 播的介质等物理通道，以及磁盘、光盘等），其任务 ）， 是以信号方式传输信息和储存信息， 是以信号方式传输信息和储存信息，在信息论中只研 究信号在这些信道中传输的特性及在此基础上信息的 可靠传输问题，而并不研究这些特性如何获得的 即研 可靠传输问题，而并不研究这些特性如何获得的(即研 究信道中理论上能够传输和存储的最大信息量， 究信道中理论上能够传输和存储的最大信息量，即信 道容量问题) 道容量问题 。
4.据信道的统计特性来分类 据信道的统计特性来分类 ①无记忆信道：信道的输出只与信道该时刻的输入有关 无记忆信道： 而与其他时刻的输入无关 . 有记忆信道(无扰信道 无扰信道) 信道某一时刻输出的消息， ②有记忆信道 无扰信道 ：信道某一时刻输出的消息， 不仅与该时刻的输入消息有关， 不仅与该时刻的输入消息有关，而且还与前面时刻的输 入消息有关。 入消息有关。 5. 根据信道的参数与时间关系来划分 统计特性)不随时间而变化 ①恒参信道：信道的参数(统计特性 不随时间而变化 . 恒参信道：信道的参数 统计特性 统计特性)随时间而变化 ②随参信道：信道的参数(统计特性 随时间而变化 随参信道：信道的参数 统计特性 随时间而变化. 6.根据信道的统计特性对输入端是否有对称性分类 根据信道的统计特性对输入端是否有对称性分类 ①恒参信道 ②随参信道
(2) 对称信道 ① 定义 若信道矩阵中，每行元素都是第一行元素的不同排列， 若信道矩阵中，每行元素都是第一行元素的不同排列， 每列元素都是第一列元素的不同排列， 每列元素都是第一列元素的不同排列，则这类信道称为 对称信道。 对称信道。
信息论与编码技术第四章课后习题答案
''
a − a | x| 2 e − D a e− a|x| , (6) 2 2
s
R( D) ≥ R L( D) = h(u ) − h( g )
2 1 = a log e − log (2eD) 2
当（5）式大于零时， R ( D ) = a log e − 4.8
2 1 log (2eD) 2
4.10
X ⎤ ⎡0 1 ⎤ 一二元信源 ⎡ ，每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某二元 ⎢ p( x) ⎥ = ⎢0.5 0.5⎥ ⎣ ⎦ ⎣ ⎦
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 解：（1）此信源的熵 H(s)=1 （比特/符号） 所以信源输出的信息传输率为 Rt=2.66 （比特/秒） 将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。 此信道的最大信息传输速率：Ct=2 比特/秒 因为 Rt>Ct 根据信道编码定理， 不论进行任何编码此信源不可能在此信道中实现无错误地传输， 所以信源在此 信道中传输会引起错误和失真。 （2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率 失真函数 R(D)=1-H(D) 若当 Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误， 也就是不会因信道而增加信源新的失真。 总的信源的失 真是信源压缩编码所造成的允许失真 D 所以有 2=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真 D ≈ 0.0415 时，此信源就可以在此信道中传输。 比特/信源符号 比特/秒 Rt(D)=2.66*R(D)
电子信息工程专业教学参考书目
电子信息工程专业《工程制图》教学参考书1．侯文君，王飞．工制图与计算机绘图.北京：人民电出版社，2009．52．孙力宏．计算机辅助工程制图. 北京：清华大学出版社，2010．1《积分变换与复变函数》教学参考书1．华中科技大学数学系．复变函数与积分变换学习辅导与习题全解．北京：高等教育出版社2005《计算机网络与实践》教学参考书1．谢希仁编著．计算机网络（第四版）．北京：电子工业出版社，20032．冯博琴，陈文革主编．计算机网络．北京：高等教育出版社，2004《电路原理》教学参考书1．姚维主编．电路解析与精品题集．北京：机械工业出版社，2005.12．周守昌主编．电路原理．北京：高等教育出版社，1999.93．王淑敏主编．电路基础常见题型解析及模拟题．西安：西北工业大学出版社，2000.2《电路原理实验》教学参考书1．张峰主编．电路实验教程．北京：高等教育出版社，2008.6.12．钱克猷主编．电路实验技术基础．杭州：浙江大学出版社，2006.63．邱关源主编．电路（第五版）．北京：高等教育出版社，2006.5《C 语言程序设计》教学参考书1．田淑青主编．等级考试二级教程（C语言）．北京：高等教育出版社，1998年2．王丽娟等编．C程序设计．西安：西安电子科技大学出版社，20003．王丽娟等编．C程序设计学习指导．西安：西安电子科技大学出版社，2000《模拟电子技术》教学参考书1．王卫东编著．模拟电子电路基础．西安：西安电子科技大学出版社，2003.52．康华光主编．电子技术基础（模拟部分）第五版．北京：高等教育出版社，2006 3．傅晓林编著．电子技术基础解题指导．重庆：重庆大学出版社，2004.2《数字电子技术》教学参考书1．阎石主编．数字电子技术基础（第四版）．北京：高等教育出版社，2006．72．杨颂华主编．数字电子技术基础．西安：西安电子科技大学出版社，2005．10《电子技术实验》教学参考书1．康华光．电子技术基础，（模拟部分）第五版．北京：高等教育出版社，2005.82．冼月萍．电子技术实验．广州：华南理工大学出版社，2005.83．孙义芳．电子技术基础实验指导书．北京：高等教育出版社，1999《电磁场理论》教学参考书1．毕岗.电磁场与微波（第一版）.杭州：浙江大学出版社. 2006年2．严琪琪，赵立珍. 电磁场与电磁波（第四版）全程导学及习题全解. 北京：中国时代经济出版社.2007《信号与系统》教学参考书1．刘东星，孟祥曦主编．信号与线性系统分析同步辅导及习题全解．北京：中国水利水电出版社，2009．32．郑君里．信号与系统．北京：高等教育出版社，2000《单片机原理与应用》教学参考书1．马忠梅等.单片机的C语言应用程序设计.北京：北京航空航天大学出版社，2005．11 2．张迎新.单片微型计算机原理、应用及接口技术.北京：国防工业出版社，2006．1《单片机原理与接口实验》教学参考书1．姜志海主编.单片机原理与应用.北京：电子工业出版社，2005．72．胡汉才.单片机原理及其接口技术（第2版）.北京：清华大学出版社，2006．9《高频电子线路》教学参考书1．谢沅清. 通信电子线路. 北京：北京邮电大学出版社，2000.22．曾兴雯高频电子线路辅导书北京：高等教育出版社，2005.6《自动控制原理》教学参考书1．邹伯敏主编．《自动控制理论》．北京：机械工业出版社，2007．82．王建辉主编．《自动控制原理》．北京：清华大学出版社，2007．43．王建辉主编．《自动控制原理习题详解》．北京：清华大学出版社，2010．5《数字信号处理》教学参考书1．奥本海姆主编．离散时间信号处理．北京：科学出版社，20002．丁玉美等主编．数字信号处理（第二版）．西安：西安电子科技大学出版社，2005《通信原理》教学参考书1．郝建军. 通信原理考研指导. 北京：北京邮电大学出版社，2006.62．曹丽娜.通信原理学习辅导与考研指导（修订版）. 北京：国防工业出版社，2008.7 3．郭文彬. 通信原理—基于Matlab的计算机仿真. 北京：北京邮电大学出版社《感测技术》教学参考书1．周杏鹏．现代检测技术．北京：高等教育出版社，2004《EDA 技术与应用》教学参考书1．刘常澍，赵雅兴.数字电路与FPGA.北京：人民邮电出版社，2004-082．任晓东，文博.CPLD/FPGA高级应用开发指南.北京：电子工业出版社，2003-06《电路设计与制版》教学参考书1．王利强，杨旭，李成等编著．《电路CAD：Protel DXP 2004电路设计与实践》．天津大学版社20082．神龙工作室编著．《Protel 2004实用培训教程》．人民邮电出版社20053．刘刚，彭荣群编著．《Protel DXP 2004 SP2原理图与PCB 设计》．电子工业出版社《智能仪器原理与应用》教学参考书2．周航慈.智能仪器原理与设计.北京：北京航空航天大学出版社，2005.023．徐爱钧.智能化测量控制仪表原理与设计(第二版). 北京：北京航空航天大学出版社2004.09《通信网基础》教学参考书1.杨武军编著．现代通信网概论．西安：西安电子科技大学出版社，2006．8《通信终端技术与应用》教学参考书1．陆东林，宾晟，国刚．J2ME开发技术原理与实践教程．北京：电子工业出版社，2008．6《信息理论与编码》教学参考书1．傅祖芸信息论—基础理论与应用，北京：电子工业出版社，2001.22．李梅，李亦农信息论基础教程习题解答与实验指导，北京：北京邮电大学出版社，2005.10《多媒体通信协议》教学参考书1．李旭编著．多媒体通信原理．北京：机械工业出版社，2006．5《MA TLAB 及应用》教学参考书1. 张铮,杨文平,石博强,李海鹏．MA TLAB 程序设计与实例应用．北京：中国铁道出版社，2003《数学建模》教学参考书1．刘来福、曾文艺. 数学模型与数学建模（第三版）. 北京：北京师范大学出版社，2010.7《现代企业管理》教学参考书1．周三多主编．管理学．北京：高等教育出版社，2005．112．［美］斯蒂芬·P·罗宾斯，玛丽·库尔特．管理学（第7 版）．北京：中国人民大学出版社，2004．13．宋克勤主编．企业管理教程．上海：格致出版社，上海人民出版社，2008．104．王方华主编．现代企业管理．上海：复旦大学出版社，2009．75．袁竹，王菁华主编．现代企业管理．北京：清华大学出版社，2009．36．王关义，刘益，刘彤，李治堂编著．现代企业管理．北京：清华大学出版社，2007.8 7．姜真主编．现代企业管理．北京：清华大学出版社，2007.88．胡建宏主编．现代企业管理．北京：清华大学出版社，2008.79．马凌主编．现代企业管理．成都：西南财经大学出版社，2008.510．黄速建，黄群慧主编．现代企业管理：变革的观点（增补版）．北京：经济管理出版社，2007．311．徐国良，王进编著．企业管理案例精选精析（第三版）．北京：中国社会科学出版社，2006．512．张承耀编著．企业管理案例与评论．北京：经济管理出版社，2005．813．李功网主编．企业生命周期视角下的中小企业管理．广州：暨南大学出版社，2009．8《专业英语》教学参考书1．曹玲芝主编．电子信息工程专业英语．武汉：华中科技大学出版社，2006.3《多媒体技术应用》教学参考书1．钟玉琢主编．多媒体技术基础及应用．北京：人民邮电出版社，2010．102．Tay Vaughan主编．多媒体技术及其应用．北京：清华大学出版社，2004．113．鄂大伟主编．多媒体技术基础与应用．北京：高等教育出版社，2003，9《数据库原理及应用》教学参考书1．《数据库系统原理》，陆慧娟主编，浙江大学出版社，2004年9月2．《数据库系统原理—习题集与上机指导》，陆慧娟主编，浙江大学出版社，2009年1 月第4次印刷3．《数据库原理与应用—习题解析》，李春葆主编，清华大学出版社出版社，2001 年5 月第一版。