《人工神经网络：模型、算法及应用》习题参考答案

习题2.1什么是感知机？感知机的基本结构是什么样的？解答：感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的一种人工神经网络。

它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。

感知机结构：2.2单层感知机与多层感知机之间的差异是什么？请举例说明。

解答：单层感知机与多层感知机的区别：1. 单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2. 单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。

2.3证明定理：样本集线性可分的充分必要条件是正实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合S⊂R n，是由R n中的k个点所组成的集合，即S={x1,x2,⋯,x k}。

定义S的凸壳为conv(S)为：conv(S)={x=∑λi x iki=1|∑λi=1,λi≥0,i=1,2,⋯,k ki=1}线性可分定义2：给定一个数据集T={(x1,y1),(x2,y2),⋯,(x n,y n)}其中x i∈X=R n , y i∈Y={+1,−1} , i=1,2,⋯,n ,如果存在在某个超平面S：w∙x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即y i=+1的实例i，有w∙x+b>0，对所有负实例点即y i=−1的实例i，有w∙x+b<0，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。

必要性：线性可分→凸壳不相交设数据集T中的正例点集为S+，S+的凸壳为conv(S+)，负实例点集为S−，S−的凸壳为conv(S−)，若T是线性可分的，则存在一个超平面：w ∙x +b =0能够将S +和S −完全分离。

假设对于所有的正例点x i ，有：w ∙x i +b =εi易知εi >0，i =1，2，⋯，|S +|。

若conv (S +)和conv (S −)相交，即存在某个元素s ，同时满足s ∈conv (S +)和s ∈conv (S −)。

对于conv (S +)中的元素s +有w ∙s +=w ∙∑λi x i k i=1=∑λi (εi −b )=k i=1∑λi εi −b ki=1因此w ∙s ++b =∑λi εi k i=1>0，同理对于S −中的元素s −有w ∙s −+b =∑λi εi k i=1<0，那么由于s ∈conv (S +)且s ∈conv (S −)则w ∙s ++b =∑λi εi k i=1>0且w ∙s −+b =∑λi εi k i=1<0明显推出矛盾，因此conv (S +)和conv (S −)必不相交。

从而推出必要性。

充分性：凸壳不相交→线性可分设数据集T 中的正例点集为S +，S +的凸壳为conv (S +)，负实例点集为S −，S −的凸壳为conv (S −)，且conv (S +)与conv (S −)不相交，定义两个点x 1，x 2的距离为：dist (x 1,x 2)=‖x 1−x 2‖2,√(x 1−x 2)(x 1−x 2)定义conv (S +)与conv (S −)的距离为：dist(conv (S +),conv (S −))=min ‖s +−s −‖,s +∈conv (S +),s −∈conv (S −)设x +∈conv (S +),x −∈conv (S −)且dist (x +,x −)=dist(conv (S +),conv (S −))。

则对于任意正例点x 有dist (x,x −)≥dist (x +,x −)。

同理，对于所有负例点有dist (x,x +)≥dist (x +,x −)。

存在超平面w ∙x +b =0其中w =x +−x −b =−x +∙x +−x −∙x −2则对于所有的正例点x （易知w ∙x ++b >0，因此若x +属于正例点，则令x ≠x ）w ∙x +b =(x +−x −)∙x −x +∙x +−x −∙x −2=x +∙x −x −∙x −x +∙x +−x −∙x −2 =‖x −−x ‖22−‖x +−x ‖222=dist (x,x −)2−dist (x,x +)22若dist (x,x −)≤dist (x,x +)，则dist (x,x −)≤dist (x,x +)≤dist (x −,x +)，那么dist (S +,S −)<dist (x +,x −)，推出矛盾。

因此对所有的正例点，w ∙x +b >0成立。

同理，对所有负例点，w ∙x +b <0成立。

至此，充分性证得。

2.4请设计一个感知机程序实现2.3节中介绍的逻辑“或”、逻辑“与”功能，并绘出判别界面。

代码：import numpy as npor_samples = [[0, 0, 0],[1, 0, 1],[0, 1, 1],[1, 1, 1]]and_samples = [[0, 0, 0],[1, 0, 0],[0, 1, 0],[1, 1, 1]]def perception(samples):#权重w = np.array([1,2])#偏置b = 0#学习率lr = 1#迭代10次for i in range(10):for j in range(4):x = np.array(samples[j][:2])#sgn函数if np.dot(w, x) + b > 0:y = 1else:y = 0#真实值t = np.array(samples[j][2])delta_b = lr * (t - y)delta_w = lr * (t - y) * x# 更新权重w = w + delta_wb = b + delta_bprint(f'weight[0]:{w[0]} weigt[1]:{w[1]} b:{b}') print('logical or:')perception(or_samples)print('logical and:')perception(and_samples)判别界面：2.5使用下面的训练集来训练一个感知机网络，其中初始偏置w=[0,0],b=0.5。

并试图判断样本x=(1,1)所属的类别。

类别1：x1=(0,1);x2=(−1,0);x3=(−1,1)类别2：x4=(0,2);x5=(2,0);x6=(1,2)代码：import numpy as npsamples = [[0, 1, 0],[-1, 0, 0],[-1, 1, 0],[0, 2, 1],[2, 0, 1],[1, 2, 1]]def perception(samples):#权重w = np.array([1,1])#偏置b = 0.5#学习率lr = 1#迭代10次for i in range(10):for j in range(4):x = np.array(samples[j][:2])#sgn函数if np.dot(w, x) + b > 0:y = 1else:y = 0#真实值t = np.array(samples[j][2])delta_b = lr * (t - y)delta_w = lr * (t - y) * x# 更新权重w = w + delta_wb = b + delta_breturn w,bdef predict(sample):if np.dot(w, sample) + b > 0:y = 1else:y = 0print(y)#训练感知机w,b = perception(samples)#预测样本sample = [1, 1]predict(sample)第三章多层前馈神经网络课后习题答案3.1 画出一个含有两个双隐含层，并且神经元总数为20的数据由左往右传播的前馈神经网络模型。

答：模型图如下。

3.2 什么是BP算法？什么是RBF算法？它们各自的特点是什么？答：BP神经网络的关键是BP算法，BP算法根据每次训练得到的结果与预想结果进行误差分析，进而修改权值和阈值，一步一步得到能输出和预想结果一致的模型。

BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了单层感知机不能解决的复杂问题。

RBF神经网络是一种三层前馈神经网络，它使用RBF（径向基函数）作为隐含层神经元的激活函数，而输出层则是对隐含层神经元输出的线性组合。

RBF神经网络的训练过程可以使用BP算法，因此可以将其纳入BP神经网络的范畴。

BP神经网络的隐含层神经元采用输入模式与权向量的内积作为激活函数的自变量，而激活函数采用的函数为非RBF。

各参数对BP神经网络的输出具有同等地位的影响，因此BP神经网络是对非线性映射的全局逼近。

RBF神经网络的隐含层节点采用输入模式与中心向量的距离（如欧式距离）作为函数的自变量，并使用RBF（如Gaussian函数）作为激活函数。

神经元的输入离RBF中心越远，神经元的激活程度就越低（高斯函数）。

BP神经网络可以有多个隐含层，但是RBF神经网络只有一个隐含层。

3.3 什么是泛化能力？通常如何评价一个网络模型的泛化能力？答：学习的目的是学到隐含在数据背后的规律，对于具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

简单地说，泛化能力是指学到的模型（网络）对未知数据的预测能力。

对于模型，不仅希望它对训练数据有很好的拟合，而且希望它在测试数据上也有很好的泛化能力。

通常使用以下指标来衡量模型的泛化能力。

准确度：预测正确的结果占总样本的百分比；精确率：在所有被预测为正的样本中实际为正的样本的概率；召回率：针对原样本而言，在实际为正的样本中被预测为正的概率；F1，ROC以及AUC等。

3.4 请设计一个简单的三层BP神经网络分类Sklearn中自带的鸢尾花数据集。

答：鸢尾花数据集一共有150个样本，分为3个类别，每个样本有4个特征。

针对该数据集，选取如下神经网络结构和激活函数。

3.5 请设计一个简单的三次RBF神经网络分类Sklearn中自带的鸢尾花数据集。

答：iris以鸢尾花的特征作为数据来源，数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。

每一个数据包含4个独立的属性，这些属性变量测量植物的花朵（比如萼片和花瓣的长度等）信息。

要求以iris数据为对象，来进行不可测信息（样本类别）的估计。

以每一类前30个数据作为学习样本，以后20个样本作为测试样本，对样3.6 对比BP神经网络和RBF神经网络在鸢尾花数据分类问题上的效果，并进行分析。