信息论讲义-绪论

第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。

重点：信息的基本概念。

难点：消息、信号、信息的区别和联系。

说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。

课时分配：2个课时。

板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。

不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。

信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。

研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。

它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。

与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。

它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。

1．1 信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。

随着研究的保深入与发展，信息论具有了较为宽广的内容。

信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。

1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。

这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。

指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。

这一成果于1948年以《通信的数学理论》(A mathematical theory of communication)为题公开发表。

这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

香农因此成为信息论的奠基人。

50年代信息论在学术界引起了巨大的反响。

1951年美国IRE成立了信息论组，并于1955年正式出版了信息论汇刊。

60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。

它把代数方法引入到纠错码的研究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。

其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。

信源编码的研究落后于信道编码。

香农1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。

到70年代，有关信息论的研究，从点与点问的单用户通信推广到多用户系统的研究。

1972年盖弗(Cover)发表了有关广播信道的研究．以后陆续有关十多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止、多用户信息论研究得不多，还有许多尚待解决的问题。

1．2 信息论研究的分类和基本概念任何一门科学都有它自己的基本概念，理解和掌握这些基本概念是学习这门科学的基础。

传统科学的基本概念是物质和能量，而信息论的最基本和最重要的概念就是信息。

信息既是信息论的出发点，也是它的归宿。

具体地说，信息论的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。

什么是信息？当今社会，“信息”一词，在各种场合都被广泛采用，但如同数学中的“集合”一词一样，要给它下一个严格的定义却异常之难。

即使是信息论的奠基人香农在其著名论文“通信的数学理论”中，也没有给信息下一个明确的定义。

香农论文发表之后，由于其方法新颖，引来许多专家学者对信息进行深入研究，研究中碰到的首要问题就是要给“信息”一词下一个明确的定义。

很多学者都给“信息”下过定义，流行的说法不下百种，而且对此还展开了一些重要的哲学争论，到现在为止还没有一个定论。

各种说法要么出发点不同，要么所站角度不一样，有些甚至带有较明显的学科倾向，但都在一定层面上对信息概念做了描述。

信息：一个既复杂又抽象的概念。

广义：消息、情报、知识把信息的形式、内容等全部包含在内技术术语：计算机处理(通信传输)的对象——数据、文字、记录指信息的具体表现形式（不考虑信息的具体内容）科学名词：统计数学、通信技术（用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。

）它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。

信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

在信息论和通信理论中经常会遇到信息、消息和信号这三个既有联系又有区别的概念：信息是事物运动状态或存在方式的不确定性的描述。

——香农信息的定义人们从观察得到的数据中获得信息。

信息是抽象的意识或知识，它是看不见、摸不到的。

人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。

消息是指包含有信息的语言、文字和图像等。

——感觉器官所感知我们每天从广播、报纸和电视中获得各种新闻及其他消息。

在通信中，消息指担负着传送信息任务的单个符号或符号序列。

这些符号包括字母、文字、数字和语言等。

消息是具体的，它载荷信息，但它不是物理性的。

信号是消息的物理体现。

——可测量为了在信道上传输消息就必须把消息加载（调制）到具有某种物理特征的信号上去。

信号是信息的载荷子或载体，是物理性的。

如电(光)信号.在通信系统中，实际传输的是信号，但本质内容的是信息。

信息包含在信号之中，信号是信息的载体。

通信的结果是消除或部分消除不确定性，从而获得信息。

信息的基本概念在于它的不确定性，已确定的事物都不含信息。

其特征有：○接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；○信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；○信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；○信息是可以量度的，信息量有多少的差别例气象预报：1/2,1/4,1/8,1/8()X p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦晴阴大雨小雨甲：()1/4,1/4,1/4,1/4Y p y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦晴阴大雨小雨乙：“甲地晴”比“乙地晴”的不确定性来的小。

由此可知某一事物状态出现的概率越小，其不确定性越大，反之，某一事物状态出现的概率接近于1，即预料中肯定会出现的事件，那它的不确定性就接近于零。

某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目和各状态出现的概率大小有关。

既然不确定性的大小能够度量，可见信息是可以测度的。

概率空间：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(),(),(,,)(11n i ni x p x p x p x x x x p X样本空间：某事物各种可能出现的不同状态。

先验概率p (x i )：就是选择符号x i 作为消息的概率。

对x i 的不确定性可表示为先验概率p (x i )的倒数的某一函数。

自信息： )(1log )(i i x P x I =互信息： )(1log )(1log );(j i i j i y x p x P y x I -=后验概率p (x i |y j )：接收端收到消息y j 后而发送端发的是x i 的概率香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。

⑴它是一个科学的定义，有明确的数学模型和定量计算。

⑵它与日常用语中的信息的含意是一致的。

例如，设某一事件x i 发生的概率等于1，即x i 是预料中一定会发生的必然事件，如果事件x i 果然发生了，收信者将不会得到任何信息(日常含义)，不存在任何不确定性。

因为p (x i ) = 1，所以 0)(1log )(==i i x p x I即自信息等于零。

反之如果x i 发生的概率很小，一旦x i 果然发生了，收信者就会觉得很意外和惊讶，获得的信息量很大。

因为p(x i ) ＜＜1，故得： )(1log )(i i x P x I ＞＞1⑶定文排除了对信息一词某些主观上的含意。

根据上述定义，同样一个消息对任何一个收信看来说，所得到的信息量（互信息）都是一样的。

因此，信息的概念是纯粹的形式化的概念。

但是，香农定义的信息有其局限性，存在一些缺陷。

首先，这个定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。

然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。

对某些情况来讲，是否存在这样一种模型还值得探讨。

其次，这个定义和度量没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。

这就与实际情况不完全一致。

信息是信息论研究的主要内容。

根据研究内容范围的大小，可对信息论进行分类：狭义信息论：也称经典信息论。

主要研究：信息的测度信道容量信源编码信道编码这部分内容是信息论的基础理论，又称香农信息理论。

一般信息论主要是研究信息传输和处理问题。

除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。

后一部分内容是以美国科学家维纳为代表。

广义信息论它不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域。

如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信的问题。

在本课程中，我们讨论的范围限于一般信息论之内。

1．3 一般通信系统模型各种通信系统如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的。

都是信息的传输系统。

图1－1示的模型可解释各种通信系统中的一些共性问题，对这些共性问题进行总结分析，会得到一些重要的基本概念。

通常，实际的信息传输系统中，事知给定的是图中橙色框出的部分，即发出信息的信源，接收信息的信宿和传递信息的物理媒质信道，其余中间环节都是由人来设计的。

信息传输性能的好坏，很大程度取决于这些中间环节设计的优劣。