神经网络期末报告资料

学习报告—— 基于信息论的神经网络模型

专业：计算数学 班级：数学二班 学号：152111033 姓名：刘楠楠基于信息论的神经网络模型

- 1 - 本报告主要分为两个部分，第一部分主要是对神经网络做一个整体的论述，阐述神经元的模型基理和特点，第二部分则是利用信息论的知识来研究神经元信号传递过程中，在有外界噪声的干扰下，如何保证信息最终能够达到最大输出。第三部分列举了一个拟合图像的算例，用于对比不同算法对噪声的敏感程度。

1 神经网络概述 1.1人工神经网络的概念 人工神经网络（Artificial Neural Networks，ANNs），是人脑或自然神经网络对信息感知与处理等智能行为的抽象和模拟，是一种分布式并行处理系统，它具有自组织、自学习、自适应和非线性动态处理的特性。可以实现人脑的概括、类比和推广能力，因而可以从大量数据中提取所需要的信息，通过联想记忆和推理等能力来获取所需要的数据。目前，已经开发和应用的神经网络有30多种，比较典型的有以下几种：感知器（Perceptron），多层感知器（MLP），BP前向网络，Hopfield网络和竞争型（Kohonen）神经网络。可以说人工神经网络就是模拟人思维的第二种方式。 1.2 人工神经网络的工作原理及特点 人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应 非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。人工神经网络首先要以一定的学习准则进行学习，然后才能工作,它反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别和过程控制。人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点： （1）高度的并行性 人工神经网络由许多相同的简单处理单元并列组合而成，虽然每个单元的结构和功能比较简单，但大量简单处理单元的并行行动，使其对信息的处理能力与效果惊人。 基于信息论的神经网络模型 - 2 - （2）高度的非线性全局作用 当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。 （3）良好的容错性与联想记忆能力 人工神经网络通过自身的网络结构能够实现对信息的记忆，所记忆的信息存储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布 式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、等模式信息处理工作：又宜于做模式分类、模式联想等模式识别工作。 （4）十分强的自适应、自学习功能 人工神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的自学习能力和对环境的自适应能力。 1.3人工神经元模型 作为NN的基本单元的神经元模型，它有三个基本要素： （1）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值来表示，权值为正表示激活，为负表示抑制。 （2）一个求和单元，用于求取各输入信号的加权和（线性组合）。 （3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0,1）或（-1,1）之间）。 此外还有一个阈值k，如图1所示 基于信息论的神经网络模型

- 3 - 输入信号

连接权求和激活函数输出

阈值()1x

2xpxkyk



ku

图1 基本神经元模型

1kw

2kw

kpw 图形中的各个作用可用数学式子表示：

1,,()pkkjjkkkkkkjuwxvnetuyv



式中12,,,pxxx为输入信号，12,,,kkkpwww为神经元的权值，ku为线性组合结果，k为阈值，()为激活函数，ky为神经元的输出。

2 基于信息论的神经网络模型 2.1信息论简介 信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴横断学科。信息论创立标志是1948年Claude Shannon(香农)发表论文“A Mathematical Theory of Communication”。在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。 1928年，哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量用它的可能值的个数的对数来表示。 信息的度量方式主要有以下几种： 基于信息论的神经网络模型 - 4 - 1.自信息：一个事件(消息)本身所包含的信息量，它是由事件的不确定性决定的。随机事件的自信息量()iIx是该事件发生概率()ipx的函数，并且应该满 足以下公理化条件：

（1）()iIx是()ipx的严格递减函数。即概率越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大。

（2）极限情况下当()0ipx时，()iIx；当()1ipx时，()0iIx。 （3）另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。

2.平均自信息（信息熵）：随机变量X的每一个可能取值的自信息()iIx的统计平均值定义为随机变量X的平均自信息量：

()[()]logKikkkKHxEIxPP 这里考虑离散随机变量X从-K取到+K间2K+1个可能值，kxx出现的概率为

(),01,1KkkkkkKPPxxPP ()Hx是一个系统的不确定性的度量

（1）当对某一k，1kP时，则取其他值的概率均为0，这时完全确定，即为0， （2）当取任何一个值得概率均相等时，不确定性最大，事实上，由柯西不等式

22()log()(log)KKKkkkkkKkKkKPPPP







等式成立的条件为，当且仅当 1212loglogloglogKKKKPPPPPPPP 时，等式成立，所以对于2K+1个可能值得随机变量来说

0()log(21)HxK 基于信息论的神经网络模型 - 5 - 3.联合熵、条件熵、平均互信息 若有两个随机变量x，y，它们的离散分布分别是,xyPP，二者的联合分布为xyP，则有联合熵和条件熵

,,(,)log,(|)log(,)()xyxyxyxyxyxyyPHxyPPHxyPHxyHyP 其中条件熵表示观测到输出y后输入x中剩余的不确定性大小，由于信息熵是观 测到y以前x中的不确定性，所以条件熵满足

0(|)()HxyHx 它们的二者之差就是x与y间的平均互信息，表示为

(,)()(|)IxyHxHxy (,)Hxy

(|)Hxy()Hx()Hy图2 互信息与条件熵的关系 由图2可知(,)Ixy有如下性质： （1）对称性：(,)(,)IxyIyx， （2）非负性：(,)0Ixy， （3）(,)()(|)()(|)IxyHyHyxHxHxy。 基于信息论的神经网络模型 - 6 - 4.连续信源的微分熵（差熵） 当x为连续变量时，设其分布密度为()fx，则可定义

()()log()hxfxfxdx 称为微分熵，它虽然已不能代表连续信源的平均不确定性，也不能代表连续信源输出的信息量，但依然满足可加性。当x为多维变量时，即用向量表示，()fx为

联合分布密度，则

()()log()hxfxfxdx 下面讨论最大微分熵问题： 求满足约束条件

()1fxdx 22()()xfxdx

的分布密度()fx，使得其微分熵达最大，其中为均值，2为方差。

根据拉格朗日乘数法可知，只有当积分

212()log()()()()fxfxfxxfxdx



为稳定时，微分熵达最大，即上述积分中的被积函数

212()log()()()()fxfxfxxfx

对()fx求导为零时，()hx最大，所以求导得 2121()log()xfx 对上式取自然对数，则其解为

2121()()xfxe

将其代入约束条件得

2111ln(2)2 22

12



所以

22()21()2xfxe





可见这是一个正态分布，此时随机变量x的微分熵为