第6章 神经网络——概念篇和实验篇

【例6.2】
训练神经网络建立分类模型，能够识别购买BMW5的顾客性别 是“男”还是“女”。
神经网络分类模型的输出设置
• 目标——建立输出为性别值的神经网络分类模型识别顾客的性别。 • 方法——
1）设计有一个输出层节点的体系结构，设置1和0分别为男顾客和女顾 客的理想输出。在不能清晰分类的情况下，使用检验集数据来帮助；
•
图1飞蠓的触角长和翼长
• 思路：作一直线将两类飞蠓分开 • 例如；取 A ＝（ 1.44 ， 2.10 ）和 B ＝ (1.10 ， 1.16) ， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中X表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
1. 相似性学习(例 子学习) 2. 基于命令学习
强化学习是一种边获得样例边学习的方式，在获得样例之后更新自己的模型
6.1.2 神经网络的输入和输出数据格式
1、神经网络输入格式
– 落在[0，1]闭区间内的数值类型(归一化后的数据)。 – 实际应用中，需要将分类数据变换为[0,1]区间的数值数据。 – 两种方法——
2018年6月26日星期二
6.2.1 反向传播（Back Propagation）
• 分类结果 ： (1.24 ， 1.80) ， (1.28 ， 1.84) 属于 Af 类； (1.40，2.04）属于 Apf类．
图2 分类直线图
•缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 • 哪一分类直线才是正确的呢？ • 因此如何来确定这个判别直线是一个值得研究的 问题．一般地讲，应该充分利用已知的数据信息 来确定判别直线．
表6.1 “账户类型”属性的分类-数值变换
2018年6月26日星期二
常见的数据归一化方法
2018年6月26日星期二
6.1.2 神经网络的输入和输出数据格式
2、神经网络输出格式
– 神经网络的输出结点表示为[0，1]区间内的连续值。 – 如果神经网络是分类模型，需要对输出进行变换。
2018年6月26日星期二
• 问：如果抓到三只新的蚊子，它们的触角长和 翼长分别为(l.24,1.80); (l.28，1.84)；（1.40， 2.04）．问它们应分别属于哪一个种类？ 解法一： • 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示． • 得到的结果见图1
【例6.3】
一个用于房屋估价的神经网络已经训练成功，该网络的输出数 据为0.18，需要根据该值还原房屋的真正的预估价格（房屋价 格范围限定在100到1000（单位：万元）之间）。
计算
• 问题——根据[0,1]区间内的神经网络输出的房屋预估价格和房屋 原始价格区间，计算房屋真正的预估价格。 • 解决方法——进行[0,1]区间数据归一化变换的逆变换。
第6章 神经网络
神经网络概述 神经网络训练 神经网络模型的优势和缺点
本章目标
• 了解神经网络基本概念
•
• •
了解神经网络的输入和输出数据的格式
了解激励函数 掌握反向传播学习方法
•
• •
了解自组织映射无指导聚类方法
学会应用Bp算法建立前馈神经网络 了解神经网络模型的优势和缺点
2018年6月26日星期二
所以，学习规则就是权值修正规则。
2.学习方法分类
从不同角度考虑，神经网络的学习方法有不同的
分类。表1列出了常见的几种分类情况。
神经网络学习
表1
外部影响
神经网络学习方法的常见分类
内部变化 算法性质 输入要求
1. 有监督学习 2. 强化学习 3. 无监督学习
1. 权值修正 1. 确定性学习 2. 拓扑变化 2. 随机性学习 3. 权值与拓扑 变化
2018年6月26日星期二
6.1.1神经网络模型
• 人脑神经网络： –人脑中约有140亿个神经细胞 –根据Stubbz的估计这些细胞被安排在约１０００ 个主要模块内，每个模块上有上百个神经网络， 每个网络约有１０万个神经细胞。 • 如果将多个神经元按某种的拓扑结构连接起来，就 构成了神经网络。 根据连接的拓扑结构不同，神经网络可分为四大类： 分层前向网络、反馈前向网络、互连前向网络、广 泛互连网络。
f ( x)
1 1 e x
式6.8
x
2018年6月26日星期二
图6.2
S形函数
6.2 神经网络训练
常用学习算法
• 反向传播学习算法（Backpropagation Learning，BP） • 多种改进的BP算法 • 基于随机搜索策略的智能优化算法，包括遗传算法、 免疫算法和粒子群算法、混沌算法等。
– 必须输出[0,1]之间的值； – 在充分活跃时，将输出一个接近1的值。
• 常见的激励函数
– Sigmoid函数、阶跃函数、准线性函数和双曲正切函数等。 – Sigmoid函数最常用，也称S形函数。
1.200 1.000 0.800 0.600 0.400 0.200 0.000 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
6.1 神经网络概述
神经网络（Neural Networks，NN）
人工神经网络（Artificial Neural Network，ANN），即神经网 络（Neural Network，NN） 由大量处理单元（神经元Neurons）互连而成的网络，是对 人脑的抽象、简化和模拟（即智能化），模仿人脑信息处理的 功能。 涉及神经科学、数学、统计学、计算机科学 的一门学科。
• 方法一：将[0,1]区间分为大小相等的间隔，将间隔点上的取值作 为分类类型数据的数值表示。 • 方法二：对输入数据进行二进制编码，增加输入结点，用两个或 多个输入节点表示一个输入属性。
2018年6月26日星期二
【例6.1】
某投资公司的客户数据集中“账户类型”属性为分类类型属性， 它有四种取值，分别为“基本账户”、“一般账户”、“临时 账户”和“专用账户”。若将“账户类型”属性作为神经网络 的输入数据，就必须进行数据变换，使之成为[0,1]区间的数值 数据。
基本原理－网络模型
• 反馈前向网络：输出层上存在一个反馈回路，将信号反 馈到输入层。而网络本身还是前向型的。 反馈的结果形成封闭环路，具有反馈的单元称为隐单元， 其输出称为内部输出。
y1 y2 yn
x1
x2
xn
基本原理－网络模型
• 互连前向网络：外部看还是一个前向网络，内部有很多 自组织网络在层内互连着。
2）设计有两个输出层节点的体系结构：节点1和节点2。男性和女性顾 客的正确输出组合分别设置为[1,0]和[0,1]。不能清晰分类的情况下，使 用检验集数据来帮助。
• 问题解决——当未知实例x给出一个不确定的输出值v时，使用在v 处或附近聚类的大多数检验集实例所属的类别来分类x。
2018年6月26日星期二
同一层内单元的相互连接使它们之间有彼此牵制作用。
y1 y2 yn
x1
x2
xn
基本原理－网络模型
• 广泛互连网络：所有计算单元之间都有连接，即网络 中任意两个神经元之间都可以或可能是可达的。如： Hopfield网络 、玻尔茨曼机模型
神经网络（Neural Networks，NN）
• • • • 神经元（Neurodes）
b1 Vn1 V11 Vh1
…
V1i bi Vni Vhi
隐含层LB
V
输入层LA
a1
…
k 1
ah
k ah
…
an
a
a
k n
基本BP网络的拓扑结构
神经网络学习
• 学习 ( 亦称训练 ) 是神经网络的最重要特征之一。神经 网络能够通过学习,改变其内部状态,使输入—输出呈现 出某种规律性。
• 网络学习一般是利用一组称为样本的数据,作为网络的
originalVa lue newValue (oldMax oldMin ) oldMin
• 结果——0.18*（1000-100）+100=262（万元）
2018年6月26日星期二
6.1.3 激励函数
• 隐层和输出层节点的输入和输出之间具有的函数关系。
• 满足两个要求的多种函数可以作为激励函数
变换
• 目标——对“账户类型”属性进行落在[0,1]区间的分类-数值变换。 方法——使用方法一和方法二进行数据变换。 • 结果——如表6.1所示
序号 分类类型属性值 [0,1]区间数值型属性值（方法一） [0,1]区间数值型属性值（方法二） 1 2 3 4 基本账户 一般账户 临时账户 专用账户 0 0.33 0.67 1 [0,0] [0,1] [1,0] [1,1]
• 如下的情形已经不能用分类直线的办法：
• 新思路： 将问题看作一个系统，飞蠓的数据作为 输入，飞蠓的类型作为输出，研究输入与输出的 关系。
clk
c
k j
k cq
W11
c1 Wp1 … W1j cj Wpj Wij Wi1
… …
W1q cq
输出层LC
Wiq Wpq
W V1p bp Vhp V np
输入 ( 和输出 ), 网络按照一定的训练规则 ( 又称学习规 则或学习算法)自动调节神经元之间的连接强度或拓扑 结构 , 当网络的实际输出满足期望的要求 , 或者趋于稳 定时,则认为学习成功。