信息论与编码知识梳理及课后答案
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码
贵州大学 彭长根
有关说明:
1、计划学时54，全部为讲课学时，适当组织讨论形式。 2、总成绩由两部分组成，平时成绩占30％，考试成绩 占70％，由作业和考勤组成。
课程概述
当今的时代是一个信息的时代，信息处理技术的不 断进步极大的影响了我们的生活，使我们的生活质 量得到很大提高。 现代“信息”的概念，已经与半导体技术、微电子 技术、计算机技术、通讯技术、网络技术、多媒体 技术、信息服务业、信息产业、信息经济、信息化 社会、信息管理等含义紧密地联系在一起。 信息技术(Information Technology，简称IT)是包 括信息的采集、传递、处理、再生和使用等功能的 技术。包括：信息获取技术、信息处理技术、信息 传输技术、信息控制技术和信息应用技术。
在人类历史的长河中，信息传输和 传播手段经历了五次重大变革：
1 2 3
语言的产生。
文字的产生。 印刷术的发明。
4
5
电报、电话的发明。
计算机技术与通信技术相结 合，促进了网络通信的发展。
1924 年 ， 奈 奎 斯 特
（Harry Nyquist） (18891976)解释了信号带宽和信 息速率之间的关系。
信息是消息的内核,
消息是信息的载体.
§1.2 信息的分类
ቤተ መጻሕፍቲ ባይዱ 全信息
同时考虑事物运动状态及其变化方式的外在 形式、内在含义和效用价值的认识论层次信息。
认识论层次的信息定义：信息是认识主体（生物 或机器）所感知的或所表述的相应事物的运动状态 及其变化方式（包括状态及其变化方式的形式、含 义和效用）。其中认识主体所感知的东西是外部世 界向认识主体输入的信息，而认识主体所表述的东 西则是其向外部世界输出的信息
语法信息、语义信息和语用信息三个
基本类型。其中最基本也是最抽象的类 型是语法信息。也是迄今为止在理论上 研究得最多的类型。香农研究的就是语 法信息。
全信息
语义信息
语法信息
语用信息
离散信息
连续信息
明晰信息
模糊信息
语法信息考虑的是事物运动状态和 变化方式的外在形式 。 当然，按照事物运动的方式，还可 以把信息进一步细分为概率信息、偶发 信息、确定信息和模糊信息。
20世纪30年代，新的调制方式， 如调频、调相、单边带调制、脉冲编 码调制和增量调制的出现，使人们对 信息能量、带宽和干扰的关系有了进
一步的认识。
1936 年 ， 阿 姆 斯 特 朗 （ Edwin· Armstrong) 指 出 增 大 带
宽 可 以 使 抗 干 扰 能 力 加 强，并根据这一思想提出了宽频
50 年代，信息论在学术界引起了 巨大反响。1951年，美国无线电工程师 协 会 （ IRE ） 成 立 了 信 息 论 组 ， 并 于 1955年正式出版了信息论汇刊。
1959年，香农发表了“保真度准则 下 的 离 散 信 源 编 码 定 理 ” （ Coding theorems for a discrete source with a fidelity criterion）系统地提出了信息率 失真理论（rate-distortion theory）。 为信源压缩编码的研究奠定了理论基础 。
信息科学是以信息为基本研究对象，以信息 的运动规律和应用方法为主要研究内容，这 是信息科学有别于一切传统科学最基本的特 征。信息科学主要包括信息论和计算科学两 部分，二者奠定了整个信息科技大厦的基石。 信息论源于统计理论和电信技术的发展，主 要研究信息属性、信息度量、信息表示和信 息传输。
20世纪40年代，香农（C.E.Shannon）提出了信 息的统计定义，于1948年发表了信息论的奠基性 论文《通信的数学理论》。由于香农对信息论的 发展作出了巨大贡献，被认为是信息论的创始人。
香农信息论主要讨论的是语法信 息中的概率信息，本书也以概率信息为 主要研究对象。
§1.3 信息论的起源、发展及研究内容
起源
信息论自诞生到现在不过50多年， 在人类科学史上是相当短暂的。但它的
发展和对学术界及人类社会的影响是相
当广泛和深刻的。信息作为一种资源， 如何开发、利用、共享，是人们普遍关 心的问题。
……
1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上
发表了一篇题为《信息传输》的论文。
他认为“信息是选择的自由度”。把
信息理解为选择通信符号的方式.
事隔20年，另一位美国数学家香
农 (C. E. Shannon) 在《贝尔系
统电话杂志》发表了题为《通信的
数学理论》的长篇论文。他创立了
3 信息与能量息息相关，但又与 能量有本质的区别。
4 信息具有知识的本性，但又比 知识的内涵更广泛。
5 用。 信息可以被认识主体获取和利
根据上述特征和信息的基本定义， 可以导出信息的一些重要性质：
存在的普遍性:信息普遍存在
有序性:消除不确定性,增加有序性
相对性:不同观察者所得信息量不同 可度量性:可测量
语法信 息
仅考虑外在形式部分的信息。
语义信 息 仅考虑内在含义部分的信息。 语用信 息
仅考虑效用价值部分的信息。
1 按照信息的性质 语法
语义 语用
2 按照信息的地位
客观 3 按照信息的作用 无用
主观
有用
干扰
4 按照信息的逻辑意义 真实
虚假
不定
5 按照信息的传递方向 前馈 反馈
6 按照信息的生成领域 宇宙
3 指出通信系统的中心问题:有效 而可靠传递信息； 4 指明了解决问题的方法:编码。
以上这些成果 1948 年以“通信的 数学理论”（A mathematical theory of communication）为题公开发表， 标志着信息论的正式诞生。
维纳（Wiener）在研究火控系统和 人体神经系统时，提出了在干扰作用下 的信息最佳滤波理论，成为信息论的一 个重要分支。
可扩充性 :可不断扩充 可存储、传输与携带性:通过 载体实现
可压缩性:精炼 、归纳 可替代性 ：代替实物、产生效用
可扩散性 ：通过载体实现传播，如媒体 可共享性 ：与实物不同，可共享 时效性 ：有“寿命” 信息在信息化程度越来越高的社会 中将起到越来越重要的作用，是比物质 和能量更为宝贵的资源，全面掌握信息 的概念，正确、及时、有效地利用信息， 能够为人类创造更多的财富。
信息论，但是却没有给出信息的确
切定义他认为“信息就是一种消
息”。
美国数学家、控制论的 主要奠基人维纳 (Wiener）在1950年出 版的《控制论与社会》 一书中写到：“信息既不是物质又不是 能量，信息就是信息”。这句话起初受 到批评和嘲笑。揭示了信息的特质：即 信息是独立于物质和能量之外存在于客 观世界的第三要素。
信息存在于自然界，也存在于人 类社会，其本质是运动和变化。可以说 哪里有事物的运动和变化，哪里就会产 生信息。 信息必须依附于一定的物质形式存 在，这种运载信息的物质，称为信息载
体。
人类交换信息的形式丰富多彩，使 用的信息载体非常广泛。概括起来， 有语言、文字和电磁波。
信息至今无确切定义，但信息有以下 主要特征： 1 信息来源于物质，又不是物质本 身；它从物质的运动中产生出来，又可 以脱离源物质而相对独立地存在。 2 信息来源于精神世界，但又不局 限于精神领域。
的启示, 他在1941~1944年对通信和密码进行
深入研究，用概率论和数理统计的方法系统
地讨论了通信的基本问题，得出了几个重要
而带有普遍意义的结论:
1 阐明通信系统传递的对象:信息；
香农理论的核心是：在通信系统中采 2 提出了信息熵的概念:信息度量； 用适当的编码后能够实现高效率和高可 靠性的信息传输，并得出了信源编码定 理和信道编码定理。
60 年代， 信道编码技术 有了较 大发展，使它成为信息论的又一重要
分支。
1961年，香农的重要论文“双路 通信信道”开拓了多用户信息理论的
研究。
70 年代以后，多用户信息论成为
中心研究课题之一。
后来，随着通信规模的不断扩大，人们逐渐意识到
信息安全是通信系统正常运行的必要条件。于是，把密码
学也归类为信息论的分支。如今信息安全已是网络通信和
计算科学是对描述和变换信息的算法过程， 包括其理论、分析、设计、效率分析、实现 和应用的系统的研究，是整个计算机技术、 工程与应用的理论基础。从计算机角度讲， 计算科学的本质就是数据变换。 计算科学与数学的关系很密切，数学是计 算科学的主要基础，数学与电子科学构成 了我们今天计算机系统的基础，也构成了 计算科学的基础。但是，与数学相比，电 子技术基础地位的重要性不及数学。
自然 社会 思维
7 按照信息的应用部门
工 农 军 政 科 文 经 市 管 业 业 事 治 技 化 济 场 理
8 按照信息的来源
语 声 图 象 文 字 数 据 计 算
9
按照信息载体的性质
电 磁 语 声 图 象 文 字 光 学 生 物
10 按照携带信息的信号的性质
连续
半连续
离散
在众多的分类原则和方法中，最重 要的就是按照信息性质的分类。 即： 按照性质的不同可以把信息划分成
第１章 绪论
§1.1 信息的一般概念
§1.1 信息的一般概念
组成客观世界的三大基本要素： 物质 能量 信息
三要素中物质是基础，是实体。能量是物质运动的形式， E=mc2，物质可转换成能量，而能量又是改造客观世界的主 要动力。
一位美国科学家说过：“没有物质的世界是虚无 的世界；没有能源的世界是死寂的世界；没有信息 的世界是混乱的世界。”
就狭义而言，在通信中对信息的表达分为三个层 次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最 具体的层次。它是一个物理量，是一个载荷信 息的实体，可测量、可描述、可显示。如电信 号、光信号等。 消息：(或称为符号)是信息的数学表达层，它 虽不是一个物理量，但是可以定量地加以描述， 它是具体物理信号的进一步数学抽象。 信息：信息是信号与消息的更高表达层次。三 个层次中，信号最具体，信息最抽象。它们三 者之间的关系是哲学上的内涵与外延的关系。
电子商务系统中不可缺少的重要环节。
密码编码学是信息安全技术的核心，密码编码学的 主要任务是寻求产生安全性高的有效密码算法和协 议，以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息， 实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种 对立统一关系，才推动了密码学自身的发展。 香农在 1949 年发表的《保密通信的信息理论》论 文中，首先用信息论的观点对信息保密问题作了全 面的论述。
移的频率调制方法。
1939 年 ， 达 得 利 （ Homer Dudley）发明了带通声码器，指
出通信所需带宽至少同待传送消
息的带宽应该一样。声码器是最
早的语音数据压缩系统。这一时
期还诞生了无线电广播和电视广
播。
1928 年，哈特莱（ Hartley ）首先提
出了用对数度量信息的概念。 Shannon： Hartley的工作给Shannon很大
色彩
视觉
果香
苦药 知识 冷热
嗅觉
味觉 听觉 触觉
总之，信息处处存在，人的眼、耳、 鼻、舌、身都能感知信息。
那么信息究竟是什么呢？
1 2 3 4
信息是事物之间的差异
信息是物质和能量在时间和空间中 分布的不均匀性” 信息是负熵 信息是作用于人类感觉器官的东 西
5
6 7 8
信息就是情报 信息就是知识。 数学家认为“信息是使概率 分布发生改变的东西” 哲学家认为“信息是物质成 分的意识成分按完全特殊的 方式融合起来的产物”
可以说我们生活在信息的海洋之中，没有信息就没有世 界，当然也就没有我们人类社会。人类利用信息利用信息 的历史非常悠久，而且随着人类社会的发展而发展。到了 现代，信息的利用已经非常重要，以至于我们当今生活的 社会被称作信息社会。可见信息的重要。
花朵开放时的色彩是一种信息，它可以引来昆虫为其
授粉；
成熟的水果会产生香味，诱来动物，动物食后为其 传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息……。
本课程将介绍信息科学的基础理论和基本方 法，课程将基于一个通信系统的抽象数学模 型进行展开，课程的数学基础为概率论。整 个课程可分为基础理论和编码理论两部分组 成
信息
信源
编码
信号
信道
信号
解码
信息
信宿
干扰
信道：在物理线路上划分 的逻辑通道。
学习注意事项：
本课程以概率论为基础，数学推导较多，学习时 主要把注意力集中到概念的理解上，不过分追求数 学细节的推导。 学习时一定要从始至终注意基本概念的理解，不 断加深概念的把握。学习时注意理解各个概念的 “用处”，结合其他课程理解它的意义，而不要把 它完全当作数学课来学习，提倡独立思考，注重思 考在学习中的重要性。
贵州大学 彭长根
有关说明:
1、计划学时54，全部为讲课学时，适当组织讨论形式。 2、总成绩由两部分组成，平时成绩占30％，考试成绩 占70％，由作业和考勤组成。
课程概述
当今的时代是一个信息的时代，信息处理技术的不 断进步极大的影响了我们的生活，使我们的生活质 量得到很大提高。 现代“信息”的概念，已经与半导体技术、微电子 技术、计算机技术、通讯技术、网络技术、多媒体 技术、信息服务业、信息产业、信息经济、信息化 社会、信息管理等含义紧密地联系在一起。 信息技术(Information Technology，简称IT)是包 括信息的采集、传递、处理、再生和使用等功能的 技术。包括：信息获取技术、信息处理技术、信息 传输技术、信息控制技术和信息应用技术。
在人类历史的长河中，信息传输和 传播手段经历了五次重大变革：
1 2 3
语言的产生。
文字的产生。 印刷术的发明。
4
5
电报、电话的发明。
计算机技术与通信技术相结 合，促进了网络通信的发展。
1924 年 ， 奈 奎 斯 特
（Harry Nyquist） (18891976)解释了信号带宽和信 息速率之间的关系。
信息是消息的内核,
消息是信息的载体.
§1.2 信息的分类
ቤተ መጻሕፍቲ ባይዱ 全信息
同时考虑事物运动状态及其变化方式的外在 形式、内在含义和效用价值的认识论层次信息。
认识论层次的信息定义：信息是认识主体（生物 或机器）所感知的或所表述的相应事物的运动状态 及其变化方式（包括状态及其变化方式的形式、含 义和效用）。其中认识主体所感知的东西是外部世 界向认识主体输入的信息，而认识主体所表述的东 西则是其向外部世界输出的信息
语法信息、语义信息和语用信息三个
基本类型。其中最基本也是最抽象的类 型是语法信息。也是迄今为止在理论上 研究得最多的类型。香农研究的就是语 法信息。
全信息
语义信息
语法信息
语用信息
离散信息
连续信息
明晰信息
模糊信息
语法信息考虑的是事物运动状态和 变化方式的外在形式 。 当然，按照事物运动的方式，还可 以把信息进一步细分为概率信息、偶发 信息、确定信息和模糊信息。
20世纪30年代，新的调制方式， 如调频、调相、单边带调制、脉冲编 码调制和增量调制的出现，使人们对 信息能量、带宽和干扰的关系有了进
一步的认识。
1936 年 ， 阿 姆 斯 特 朗 （ Edwin· Armstrong) 指 出 增 大 带
宽 可 以 使 抗 干 扰 能 力 加 强，并根据这一思想提出了宽频
50 年代，信息论在学术界引起了 巨大反响。1951年，美国无线电工程师 协 会 （ IRE ） 成 立 了 信 息 论 组 ， 并 于 1955年正式出版了信息论汇刊。
1959年，香农发表了“保真度准则 下 的 离 散 信 源 编 码 定 理 ” （ Coding theorems for a discrete source with a fidelity criterion）系统地提出了信息率 失真理论（rate-distortion theory）。 为信源压缩编码的研究奠定了理论基础 。
信息科学是以信息为基本研究对象，以信息 的运动规律和应用方法为主要研究内容，这 是信息科学有别于一切传统科学最基本的特 征。信息科学主要包括信息论和计算科学两 部分，二者奠定了整个信息科技大厦的基石。 信息论源于统计理论和电信技术的发展，主 要研究信息属性、信息度量、信息表示和信 息传输。
20世纪40年代，香农（C.E.Shannon）提出了信 息的统计定义，于1948年发表了信息论的奠基性 论文《通信的数学理论》。由于香农对信息论的 发展作出了巨大贡献，被认为是信息论的创始人。
香农信息论主要讨论的是语法信 息中的概率信息，本书也以概率信息为 主要研究对象。
§1.3 信息论的起源、发展及研究内容
起源
信息论自诞生到现在不过50多年， 在人类科学史上是相当短暂的。但它的
发展和对学术界及人类社会的影响是相
当广泛和深刻的。信息作为一种资源， 如何开发、利用、共享，是人们普遍关 心的问题。
……
1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上
发表了一篇题为《信息传输》的论文。
他认为“信息是选择的自由度”。把
信息理解为选择通信符号的方式.
事隔20年，另一位美国数学家香
农 (C. E. Shannon) 在《贝尔系
统电话杂志》发表了题为《通信的
数学理论》的长篇论文。他创立了
3 信息与能量息息相关，但又与 能量有本质的区别。
4 信息具有知识的本性，但又比 知识的内涵更广泛。
5 用。 信息可以被认识主体获取和利
根据上述特征和信息的基本定义， 可以导出信息的一些重要性质：
存在的普遍性:信息普遍存在
有序性:消除不确定性,增加有序性
相对性:不同观察者所得信息量不同 可度量性:可测量
语法信 息
仅考虑外在形式部分的信息。
语义信 息 仅考虑内在含义部分的信息。 语用信 息
仅考虑效用价值部分的信息。
1 按照信息的性质 语法
语义 语用
2 按照信息的地位
客观 3 按照信息的作用 无用
主观
有用
干扰
4 按照信息的逻辑意义 真实
虚假
不定
5 按照信息的传递方向 前馈 反馈
6 按照信息的生成领域 宇宙
3 指出通信系统的中心问题:有效 而可靠传递信息； 4 指明了解决问题的方法:编码。
以上这些成果 1948 年以“通信的 数学理论”（A mathematical theory of communication）为题公开发表， 标志着信息论的正式诞生。
维纳（Wiener）在研究火控系统和 人体神经系统时，提出了在干扰作用下 的信息最佳滤波理论，成为信息论的一 个重要分支。
可扩充性 :可不断扩充 可存储、传输与携带性:通过 载体实现
可压缩性:精炼 、归纳 可替代性 ：代替实物、产生效用
可扩散性 ：通过载体实现传播，如媒体 可共享性 ：与实物不同，可共享 时效性 ：有“寿命” 信息在信息化程度越来越高的社会 中将起到越来越重要的作用，是比物质 和能量更为宝贵的资源，全面掌握信息 的概念，正确、及时、有效地利用信息， 能够为人类创造更多的财富。
信息论，但是却没有给出信息的确
切定义他认为“信息就是一种消
息”。
美国数学家、控制论的 主要奠基人维纳 (Wiener）在1950年出 版的《控制论与社会》 一书中写到：“信息既不是物质又不是 能量，信息就是信息”。这句话起初受 到批评和嘲笑。揭示了信息的特质：即 信息是独立于物质和能量之外存在于客 观世界的第三要素。
信息存在于自然界，也存在于人 类社会，其本质是运动和变化。可以说 哪里有事物的运动和变化，哪里就会产 生信息。 信息必须依附于一定的物质形式存 在，这种运载信息的物质，称为信息载
体。
人类交换信息的形式丰富多彩，使 用的信息载体非常广泛。概括起来， 有语言、文字和电磁波。
信息至今无确切定义，但信息有以下 主要特征： 1 信息来源于物质，又不是物质本 身；它从物质的运动中产生出来，又可 以脱离源物质而相对独立地存在。 2 信息来源于精神世界，但又不局 限于精神领域。
的启示, 他在1941~1944年对通信和密码进行
深入研究，用概率论和数理统计的方法系统
地讨论了通信的基本问题，得出了几个重要
而带有普遍意义的结论:
1 阐明通信系统传递的对象:信息；
香农理论的核心是：在通信系统中采 2 提出了信息熵的概念:信息度量； 用适当的编码后能够实现高效率和高可 靠性的信息传输，并得出了信源编码定 理和信道编码定理。
60 年代， 信道编码技术 有了较 大发展，使它成为信息论的又一重要
分支。
1961年，香农的重要论文“双路 通信信道”开拓了多用户信息理论的
研究。
70 年代以后，多用户信息论成为
中心研究课题之一。
后来，随着通信规模的不断扩大，人们逐渐意识到
信息安全是通信系统正常运行的必要条件。于是，把密码
学也归类为信息论的分支。如今信息安全已是网络通信和
计算科学是对描述和变换信息的算法过程， 包括其理论、分析、设计、效率分析、实现 和应用的系统的研究，是整个计算机技术、 工程与应用的理论基础。从计算机角度讲， 计算科学的本质就是数据变换。 计算科学与数学的关系很密切，数学是计 算科学的主要基础，数学与电子科学构成 了我们今天计算机系统的基础，也构成了 计算科学的基础。但是，与数学相比，电 子技术基础地位的重要性不及数学。
自然 社会 思维
7 按照信息的应用部门
工 农 军 政 科 文 经 市 管 业 业 事 治 技 化 济 场 理
8 按照信息的来源
语 声 图 象 文 字 数 据 计 算
9
按照信息载体的性质
电 磁 语 声 图 象 文 字 光 学 生 物
10 按照携带信息的信号的性质
连续
半连续
离散
在众多的分类原则和方法中，最重 要的就是按照信息性质的分类。 即： 按照性质的不同可以把信息划分成
第１章 绪论
§1.1 信息的一般概念
§1.1 信息的一般概念
组成客观世界的三大基本要素： 物质 能量 信息
三要素中物质是基础，是实体。能量是物质运动的形式， E=mc2，物质可转换成能量，而能量又是改造客观世界的主 要动力。
一位美国科学家说过：“没有物质的世界是虚无 的世界；没有能源的世界是死寂的世界；没有信息 的世界是混乱的世界。”
就狭义而言，在通信中对信息的表达分为三个层 次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最 具体的层次。它是一个物理量，是一个载荷信 息的实体，可测量、可描述、可显示。如电信 号、光信号等。 消息：(或称为符号)是信息的数学表达层，它 虽不是一个物理量，但是可以定量地加以描述， 它是具体物理信号的进一步数学抽象。 信息：信息是信号与消息的更高表达层次。三 个层次中，信号最具体，信息最抽象。它们三 者之间的关系是哲学上的内涵与外延的关系。
电子商务系统中不可缺少的重要环节。
密码编码学是信息安全技术的核心，密码编码学的 主要任务是寻求产生安全性高的有效密码算法和协 议，以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息， 实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种 对立统一关系，才推动了密码学自身的发展。 香农在 1949 年发表的《保密通信的信息理论》论 文中，首先用信息论的观点对信息保密问题作了全 面的论述。
移的频率调制方法。
1939 年 ， 达 得 利 （ Homer Dudley）发明了带通声码器，指
出通信所需带宽至少同待传送消
息的带宽应该一样。声码器是最
早的语音数据压缩系统。这一时
期还诞生了无线电广播和电视广
播。
1928 年，哈特莱（ Hartley ）首先提
出了用对数度量信息的概念。 Shannon： Hartley的工作给Shannon很大
色彩
视觉
果香
苦药 知识 冷热
嗅觉
味觉 听觉 触觉
总之，信息处处存在，人的眼、耳、 鼻、舌、身都能感知信息。
那么信息究竟是什么呢？
1 2 3 4
信息是事物之间的差异
信息是物质和能量在时间和空间中 分布的不均匀性” 信息是负熵 信息是作用于人类感觉器官的东 西
5
6 7 8
信息就是情报 信息就是知识。 数学家认为“信息是使概率 分布发生改变的东西” 哲学家认为“信息是物质成 分的意识成分按完全特殊的 方式融合起来的产物”
可以说我们生活在信息的海洋之中，没有信息就没有世 界，当然也就没有我们人类社会。人类利用信息利用信息 的历史非常悠久，而且随着人类社会的发展而发展。到了 现代，信息的利用已经非常重要，以至于我们当今生活的 社会被称作信息社会。可见信息的重要。
花朵开放时的色彩是一种信息，它可以引来昆虫为其
授粉；
成熟的水果会产生香味，诱来动物，动物食后为其 传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息……。
本课程将介绍信息科学的基础理论和基本方 法，课程将基于一个通信系统的抽象数学模 型进行展开，课程的数学基础为概率论。整 个课程可分为基础理论和编码理论两部分组 成
信息
信源
编码
信号
信道
信号
解码
信息
信宿
干扰
信道：在物理线路上划分 的逻辑通道。
学习注意事项：
本课程以概率论为基础，数学推导较多，学习时 主要把注意力集中到概念的理解上，不过分追求数 学细节的推导。 学习时一定要从始至终注意基本概念的理解，不 断加深概念的把握。学习时注意理解各个概念的 “用处”，结合其他课程理解它的意义，而不要把 它完全当作数学课来学习，提倡独立思考，注重思 考在学习中的重要性。