11级-信息论基础 第1&第二章
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
信息论总结与复习
（3）稳态符号概率： （4）稳态信息熵：
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
p(0|00)=p(1|11)=0.8；p(0|01)=p(1|10)=0.6；
(2)联合熵：
H(XY)= -0.21log0.21 –0.14log0.14 –0.35log0.35 –0.12log0.12 –0.09log0.09–0.09log0.09 =2.3924 bit/符号
第一部分、信息论基础
1.2 信道的信息理论
(3)噪声熵：
由 和
H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5
（4）无噪有损信道：分组多对一（归并），其传输矩阵应具 有多行一列的分块对角化形式。
（5）对称信道：传输矩阵的各行都是一些相同元素的重排， 各列也是一些相同元素的重排。
第一部分、信息论基础
1.2 信道的信息理论
3、信道有关的信息熵：
（1）信源熵 (先验熵)：
（2）噪声熵 (散布度)：
（3）联合熵： （4）接收符号熵：
–0.12log0.4 –0.09log0.3–0.09log0.3
==（0.21+0.12，0.14+0.09，0.35+0.09） = （0.33, 0.23, 0.44）
H(Y)= -0.33log0.33 -0.23log0.23 -0.44log0.44
[例3]求对称信道 解：C =log4-H(0.2,0.3,0.2,0.3) =2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号； 的信道容量。
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
北邮-田宝玉-信息论基础-第一章
仙农在1948年指出 ：
“ 通信的基本问题是在一点精确地或近似地恢复 另一点所选择的消息。通常，这些消息是有含义 的，即它对于某系统指的是某些物理的或概念的 实体。这些通信的语义方面与通信问题无关，而
重要的方面是实际消息是从一个可能消息集合中
选择出的一条消息。”
可见，仙农在研究信息理论时，排除了语义 信息与语用信息的因素，先从语法信息入手，解 决当时最重要的通信工程一类的信息传递问题。 同时他还把信源看成具有输出的随机过程，所研 究的事物运动状态和变化方式的外在形式遵循某 种概率分布。因此仙农信息论或经典信息论所研 究的信息是语法信息中的概率信息。
信 息 论 即 仙 农 (Claude Edwood Shannon, 1916—2001 ) 信 息 论 ， 也 称 经 典信息论，是研究通信系统极限性能的理 论。从信息论产生到现在几十年来，随着 人们对信息的认识不断深化，对信息论的 研究日益广泛和深入，信息论的基本思想 和方法已经渗透到许多学科，在人类社会 已经进入信息时代的今天，信息理论在自 然科学和社会科学研究领域还会发挥更大 的作用。
第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？ （语义问题） 第三层：所接收的含义如何以所需要的方式有效地 影响行为？（效用问题）
• Weaver认为仙农的工作属于第一层，但他又证明 仙农的工作是交叉的，对第二、三层也有意义。
• 信息是认识主体（人、生物、机器） 所感受的和 所表达的事物运动的状态和运动状态变化的方式。
可见，信息收集组是根据所得到的消 息提取出语法信息，信息处理组是根据所 得到的语法信息提取出语义信息，而信息 分析组是根据所得到的语义信息提取出语 用信息。 可以看到，研究语义信息要以语法信 息为基础，研究语用信息要以语义信息和 语法信息为基础。三者之间，语法信息是 最简单、最基本的层次，语用信息则是最 复杂、最实用的层次。
北邮-田宝玉-信息论基础-第-章
R2
C2
因Y2与U1独立，所以
I (U ; Y2 ) I (U 2 ; Y2 ) I (U1; Y2 / U 2 ) (1 ) Ps 1 I (U 2 ; Y2 ) log(1 ) 2 2 Ps 2
H （X 2） 2bit, H (U ) 3bit, H （X 2 / U） 0bit,
（ I U ; X 2） 2bit
H （U / X 2） H （U） （ I U ; X 2） 1bit H (U / Y1 ) H (U ) I (U ; Y1 ) 2bit
0 1 1 2 3 U 4 5 6 7 1
1 1
1 1
1 1
Y1
p( y1 | x) p( y2 | y1 )dy1 p( y2 | x)
图11.12 退化的广播信道
X、 Y2 构成一个马氏链， Y1 、 由级联信道的性质可知， 或者说在 Y1已知的条件下 X 与Y2 无关。
定理11.2 通过退化广播信道X Y1 Y2 发送独立信息的 容量区域是满足下式的所有( R1, R2 )的封闭集合的凸包： (R1, R2 ) : 0 R2 I (U;Y2 )
Z2
2 N (0, 2 )
1
2 1
E( X 2 ) P S1 P S2 P s
X
Z 2 ' N (0, 22 12 )
Y1
E(U1 ) PS1 Ps
2
E(U22 ) PS 2 (1 )Ps
信息论第一章答案
《信息论基础》习题答案第一章信息与信息的度量-1 解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息1-2 解：该锁共可设个数值，开锁号码选取每一个值的概率都相同，所以-3 解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为-4 解：第二次发送无误收到，因此发、收信息量相等，均为第一次发出的信息量为第一次传送的信息量为两次发送信息量之差：-5 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-6 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-7 解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。
因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送（携带）的信息为-8 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。
-9 解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1 bit = (该信息量单位)或 1 (该信息量单位) = 2.33 bits同理， 1 nat = 0.62 (该信息量单位)或 1(该信息量单位) = 1.61 nats。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
香农和维纳关于“信息”的定义
1948年，美国科学家维纳（N.Wiener）在《控制论》一书中 关于“信息”的定义：
信息就是信息。 ，不是物质，也不是能量。 信息就是信息。
1948年，C.E.Shannon 在“通信的数学理论”一文中指出： 一文中指出：
“信息”就是消除不定性的东西。 就是消除不定性的东西。
理论 等 长 码 方法在数字通信原理中解决 编码方法 理论 变长码 霍夫曼编码 方 法 费 诺 编 码
信道编码： ： 可靠性编码， 可靠性编码，进行差错控制。 进行差错控制。 重点： ： 香农第二定理。 香农第二定理。
具体编码方法：奇偶校验码 汉明码 循环码 卷积码……
2）信道
核心问题： 信道容量是多少？（即最多能传输多少信息）
无噪无损 无噪有损 有噪无损 有噪有损
关心内容： ？ 关心内容： 信源经这些信道传输后获得多少信息量？ 信源经这些信道传输后获得多少信息量 版权所有©赵蓉
信息论基础的研究的基本问题：
3）编（译）码理论 信源编码： 信源编码： 香农第一定理。
不讨论通信系统的具体构成，只从理论上研究信息在 整个通信系统的传输过程。
教学安排
共32学时 32学时（ 学时（2学分） 学分） 考核方式： 考核方式：出勤 作业 期末考核
版权所有©赵蓉
教材
版权所有©赵蓉
主要参考书
《信息论-基础理论与应用》傅祖芸,电子工业出版社,2008 《信息论基础及应用》曲炜 等,清华大学出版社,2005 《信息理论基础》周荫清，北航出版社 2006 《信息论与编码》陈运等,电子工业出版社,2002 《工程信息论》田宝玉，北邮出版社，2004 《信息论基础教程》李亦农等，北邮出版社 2005 《Applied Coding and Information Theory for Engineers》 Richard B.Wells, Prentice-Hall,Inc.1999.
一般信息Байду номын сангаас创始人： 一般信息论创始人：香农和维纳
香农的贡献更大
版权所有©赵蓉
信息论基础的研究的基本问题：
1）信源和信宿
信源： 研究信息测度，含有多少信息量。
无记忆信源（符号间统计独立） 离 散 信 源 信源 有记忆信源（符号间相互依赖） 连续信源
信宿：从接收到的符号中能提取多少信息量。
研究信息测度、信道容量、信源和信道编码理论和信息率失真函数。
一般信息论（ 一般信息论（工程信息论） 工程信息论）
研究信息传输和处理问题，除香农信息论外还包括噪声理论，信号滤波 和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论。
广义信息论
是一门综合的新兴学科，至今尚没有严格的定义。概括地说：凡 是能用广义通信系统模型描述的过程和系统，都能用信息基本理论来 研究。 不仅包括一般信息论所研究的内容，还包括医学、生物学、遗传学 等有关信息的问题。
版权所有©赵蓉
一般信息论（ 一般信息论（工程信息论） 工程信息论）简介
研究内容： 研究内容：信息传输和处理问题。 理论构成： 理论构成：香农信息论
噪声理论 信号滤波和预测 统计检测和估值理论 调制理论 信息处理理论 保密理论
区别： 区别 ：
香农研究的是从信源到信宿的全过程，收发两端联合优化问题。 维纳研究的重点是接收端，如何在接收端把消息从干扰中提取出来。
信息
信息论
随机理论
研究 方法
研究 目标
提高通信系 统的有效性 和可靠性
版权所有©赵蓉
研究对象： 研究对象：信息
“信息”是信息论中最基本、最重要的概念。 信息的概念十分广泛。截止到1977年，有文章可查的，有出 处的关于信息的定义就有100多种。
信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是通信传输的内容； 信息就是数据； 信息是物质和能量在时间和空间分布的不均匀性； …… …… 数学家认为：信息是使概率分布发生改变的东西； 哲学家认为：信息是物质成分的意识成分按完全特殊的方式融合 起来的产物；
版权所有©赵蓉
与其他学科的联系
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质(参考)
版权所有©赵蓉
信息的性质（参考）
存在的普遍性： 存在的普遍性： 有序性： 有序性：信息可以用来消除系统的不确定性， 信息可以用来消除系统的不确定性，增加系统的有序性。 增加系统的有序性。 相对性： 相对性：同一个事物， 同一个事物，不同的观察者获得的信息量可能不同。 不同的观察者获得的信息量可能不同。 可度量性： 可度量性：可以定量描述， 可以定量描述，通常用信息量表示。 通常用信息量表示。 可扩充性： 可扩充性： 可存储、 可存储、传输与携带性： 传输与携带性： 可压缩性： 可压缩性： 可替代性： 可替代性： 可扩散性： 可扩散性： 可共享性： 可共享性： 时效性： 时效性：信息是有“寿命”的。
信息:抽象的，非物理性的。 消息：具体的，非物理性的。（不是信息本身） 信号：具体的，物理性的。（可在信道和自然界中传输）
版权所有©赵蓉
信息论研究的基本内容（ 信息论研究的基本内容（有3种解释） 种解释）
信息论基础（ 信息论基础（ Shannon信息论 Shannon信息论 狭义信息论） 狭义信息论）
版权所有©赵蓉
通信理论教研室 518
版权所有©赵蓉
信息论的发展
1952年Fano证明了Fano不等式， 不等式，给出shannon信道编码逆定理的证 明 1957年Wolfowitz，1961年 Fano，1968年 Gallager给出信道编码定 理的简介证明并描述了码率， 理的简介证明并描述了码率，码长和错误概率的关系 1956年，McMillan证明了Kraft不等式 Fano码，Huffman码, Rissanen算术编码， 算术编码，汉明码， 汉明码， 卷积码的概率 译码， 译码，Viterbi译码 …… 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究， 开拓了网络信息论的研究，目 前是非常活跃的研究领域。 前是非常活跃的研究领域。
版权所有©赵蓉
伟大的科学家——香农 (C.E. Shannon)
1916年4 30日出生于美国密歇根州的 1916 4月30 30 Petoskey,并且是爱迪生的远亲戚。 Petoskey 1936年毕业于密歇根大学并获得数学和电子 1936 工程学士学位。 1940 年获得麻省理工学院（ （MIT） MIT）数学博士 学位和电子工程硕士学位。 1941年到1972 1972年在贝尔实验室数学部工作； 1941 1972 1956年时他成为麻省理工学院客座教授； 1956 1958年成为终生教授。 1958 2001年2 24日逝世。 2001 2月24 24
版权所有©赵蓉
《信息论基础》的基本内容
1. 绪论 2. 信源和信源熵 3. 信道和信道容量 4. 信源编码 5. 信道编码 6. 信息率失真函数
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
1.1 信息的一般概念
信息论基础是信息科学的一部分，信息科学是以信息为研究对象 的科学。 研究 对象 研究 内容 信源 信道 编码
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
二、研究内容 主要研究信息传输、 主要研究信息传输、处理的一般规律。 处理的一般规律。 目的： 目的：建立统一的理论来评价各种通信系统。 建立统一的理论来评价各种通信系统。
信息传输过程 信息传输过程： 传输过程： 信息→ 信息→消息→ 消息→信号
信息论基础
吉林大学通信工程学院
通信工程系 赵蓉
信息论的重要性
信息论是信息科学和技术的基本理论,信息科 学大厦的地基; 没有信息论的基础，从事通信与信息领域的 研究和创新是不可能的事情; 信息论是高层次信息技术人才必不可少的基 础知识。
版权所有©赵蓉
课程定位
通信工程专业的学科基础课程 通信工程专业的学科基础课程 限选课 通信与电子信息类专业的标志性课程
版权所有©赵蓉
一、信息的一般概念 二、信息论研究的内容 三、信息论的发展 四、信息的性质
版权所有©赵蓉
信息论的发展
1885年凯尔文研究了一条电缆的极限传信速率。 1885 1924年奈奎斯特在研究影响电报传递速度的因素时, 证明了信号传输 1924 速率和带宽成正比。 1928年哈特莱开始用概率的观点来分析信息传输问题，提出信息量定 1928 义为可能消息量的对数。 1940维纳将随机过程和数理统计引入通信与控制系统，并且为信息论 1940 的进一步发展和拓展作了大量工作。 1948年 1948 Shannon 发表《 A Mathematical Theory of Communication》为 创立信息论作出了决定性的贡献; 经典信息论奠基。
版权所有©赵蓉
Shannon的贡献： 的贡献：
1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“保密通信的信息理论”，首先用信息论的观 点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信 息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论 （网络信息论）的研究；
香农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信 系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之 甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程， 不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的 信息就越多；