信息论论文

摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。

人类每时每刻都在不停的接受信息，传播信息，以及利用信息。

从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。

而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。

信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。

关键字：平均自信息信道容量信源编码霍夫曼码Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes:the definition and measurement of information;the all kinds of discrete and continuous source of information entropy;channel capacity of memorial, memory of discrete and continuous channels;lossless source coding theorem.Key word: The average self-information Channel capacity Source Coding Huffman code目录一．绪论 (3)二．信息的度量 (4)三．平均互信息 (6)四．连续信道 (9)五．无失真信源编码 (10)六．结束语 (12)参考文献 (13)香农信息论的基本理论探究一．绪论信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。

后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。

使得信息论到现在形成了一套比较完整的理论体系。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农被称为是“信息论之父”。

人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。

这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。

信息不同于消息、信号、情报、知识等概念。

信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。

情报是军事学、文献学方面的术语。

情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。

消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。

所以信息也不同于消息。

香农对信息所作的科学的定义是在通信系统框架的基础上产生的。

在香农看来，在通信系统的传输过程当中，收信者在收到消息以前是不知道消息的具体内容的。

在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，它也无法判断是描述这种状态还是那种状态。

或者，由于干扰的存在，它也不能断定所得到的消息是否正确和可靠。

这样，收信者存在“不知”，“不确定性”。

那么通过消息的传递，收信者知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。

因此，信息传输之后，对于收信者来讲，减少了很多的不确定性和疑义度。

所以，通信过程是一种消除不确定性的过程。

不确定性的消除，就获得了信息。

如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分的不确定性，就获得了部分的信息；若原来的不确定性没有任何的消除，就没有获得任何信息；所以，香农所定义的信息是事物运动状态或存在方式的不确定性的描述。

以下我从信息论的几个主要基础理论来阐述下信息论。

二．信息的度量通过以上信息的定义的描述，信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。

这样才方便人们能够更好的认识和理解他，所以，香农在他的论文里面，对信息的度量给出了严格的数学定义。

平均自信息量也称为信息熵。

信息熵是从平均意义上来表征信源的总体信息测度的。

对于某特定的信源，它的信息熵是一个确定的数值。

不同的信源因为其概率分布不同，它的熵也不同。

信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。

这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q 个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。

这个定理为我们后面研究有噪信道编码定理提供了有力的依据。

离散平稳信源是一种非常重要的信源模型。

如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。

一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。

最简单的离散平稳信源就是二维离散平稳信源。

二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi ，…，满足其一维和二维概率分布与时间起点无关。

二维离散平稳信源的联合熵1211()()log()q qi j i j i j H X X P a a a a ===-∑∑此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X输出长度为2的序列的平均不确定性，或者说所含有的信息量。

可以用1122()H X X 作为二维离散平稳信源X 的信息熵的近视值。

除了平稳离散信源之外，还存在着非平稳离散信源。

在非平稳离散信源中有一类特殊的信源。

这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。

马尔可夫信源是一种非常重要的非平稳离散信源。

那么马尔可夫信源需要满足一下两个条件：（1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。

（2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。

马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。

第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。

一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是：121()lim ()N N H H X H X X X N ∞∞→∞== .三．平均互信息前一部分简要描述了一下离散信源的主要度量方式。

现在来讨论离散信道及其信道容量。

信道的任务是以信号方式传输信息和存储信息的。

我们知道信源输出的是携带着信息的消息。

消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。

并且认为噪声或干扰主要从信道中引入。

信道根据用户的多少，可以分为两端信道，多端信道。

根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。

根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。

根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。

为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：(|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ======传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。

我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。

如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。

但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。

表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。

即信道疑义度：,1(|)()log (|)X Y H X Y P xy P x y =∑这个信道的疑义度是由于干扰噪声引起的。

前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。

那么定义单符号信道的平均互信息量(;)()(|)I X Y H X H X Y =-平均互信息是表示了收到输出Y 的前，后关于X 的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。

平均互信息量具有一些基本的特征：第一点，非负性。

我们通过一个信道获得的平均信息量不会是负值。

也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。