神经网络实验2
2023年秋江苏开放大学神经网络与深度学习形考二作业
2023年秋江苏开放大学神经网络与深度学习形考二作业试题列表单选题题型：单选题客观题分值5分难度：简单得分：51以下卷积运算的输出结果为A11 12<br>10 1115 16<br> 6 15C10 11<br>11 12D11 12<br>10 11学生答案：B老师点评：题型：单选题客观题分值5分难度：中等得分：52以下关于神经⽹络的训练过程，描述错误的是？A【mini-batch】从训练数据中随机选出⼀部分数据，这部分数据称为mini-batch，我们的⽬标是减少mini-batch损失函数的值。
【随机梯度下降】stochastic gradient descent：“随机”代表在梯度下降中随机初始⼀个学习率，并不断尝试多个值，寻求最好的结果C【计算梯度】为了减⼩mini-batch的损失函数，需要求出各个权重参数的梯度D【更新参数】梯度反⽅向表示损失函数的值减⼩最多的⽅向，将权重参数沿梯度反⽅向进⾏微⼩更新学生答案：B老师点评：题型：单选题客观题分值5分难度：一般得分：53多义现象可以被定义为在⽂本对象中⼀个单词或短语的多种含义共存。
下列哪⼀种⽅法可能是解决此问题的最好选择？A随机森林B以上所有⽅法卷积神经⽹络D强化学习学生答案：C老师点评：题型：单选题客观题分值5分难度：中等得分：54在⼀个神经⽹络⾥，知道每⼀个神经元的权重和偏差是最重要的⼀步。
如果以某种⽅法知道了神经元准确的权重和偏差，你就可以近似任何函数。
实现这个最佳的办法是什么？A以上都不正确B搜索所有权重和偏差的组合，直到得到最优值C随机赋值，祈祷它们是正确的赋予⼀个初始值，检查与最优值的差值，然后迭代更新权重学生答案：D题型：单选题客观题分值5分难度：一般得分：55以下场景中适合采⽤⼀对多结构RNN的是？A基于帧粒度的视频分类B⽣成图⽚说明C情感分析D机器翻译学生答案：B题型：单选题客观题分值5分难度：一般得分：56在典型CNN⽹络AlexNet中，原始图⽚是⼤⼩为227*227的三通道数据，经过96个⼤⼩为11*11的卷积核卷积后得到96个⼤⼩为55*55的特征图，若padding = 0 ，则卷积核的步⻓为多少？4B1C2D3学生答案：A老师点评：题型：单选题客观题分值5分难度：一般得分：57】在神经⽹络的学习中，权重的初始值特别重要，设定什么样的权重初始值，经常关系到神经⽹络的学习能否成功。
实验二、药品销售预测实验
实验二、药品销售预测实验一、实验目的1、了解利用神经网络处理实际问题的一般思路2、掌握MATLAB中常用神经网络函数二、实验内容1、数据预处理。
2、神经网络的MA TLAB实现三、实验步骤1、熟悉MATLAB开发环境2、输入参考程序3、设置断点，运行程序，观察运行结果四、参考程序下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。
程序实现：⏹production=[2056 2395 2600 2298 1634 1600 1873 1478 1900 1500 2046 1556];⏹gyhvector=(production-1478)/(2600-1478);⏹P=[0.5152 0.8173 1.0000 ;⏹0.8173 1.0000 0.7308;⏹ 1.0000 0.7308 0.1390;⏹0.7308 0.1390 0.1087;⏹0.1390 0.1087 0.3520;⏹0.1087 0.3520 0.0000;]';⏹T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761];⏹net=newff([0 1;0 1;0 1],[5,1],{'tansig','logsig'},'traingd');⏹net.trainParam.epochs=150;⏹net.trainParam.goal=0.01;⏹LP.lr=0.1;⏹net=train(net,P,T);⏹test=[0.0196 0.5062 0.0695;⏹0.3761 0.0196 0.5062;⏹0 0.3761 0.0196;⏹0.5152 0.8173 1.0000 ;⏹0.8173 1.0000 0.7308;⏹ 1.0000 0.7308 0.1390;⏹0.7308 0.1390 0.1087;⏹0.1390 0.1087 0.3520;⏹0.1087 0.3520 0.0000;⏹0.3520 0 0.3761;⏹0 0.3761 0.0196;⏹0.3761 0.0196 0.5062;]';⏹y=sim(net,test);⏹x=[1:12];⏹figure;⏹plot(x,gyhvector,'rs',x,y,'bo');⏹set(gca,'xtick',x);五、思考题1. 当goal=0.01和goal=0.0001的时候，给出结果图。
神经网络第2章神经网络控制的基本概念
正则化
正则化是一种防止模型过拟合 的技术，通过在损失函数中增 加惩罚项来约束模型复杂度。
常见的正则化方法包括L1正则 化、L2正则化和dropout等。
正则化可以帮助模型在训练过 程中更加关注数据的统计规律， 而不是单纯地记忆训练数据。
推荐系统
总结词
推荐系统是利用神经网络对用户的行为和兴趣进行分 析和预测，为其推荐相关内容或产品的系统。
详细描述
推荐系统是利用神经网络对用户的行为和兴趣进行分析 和预测，为其推荐相关内容或产品的过程。通过训练神 经网络，可以使其学习到用户的兴趣和行为模式，进而 实现个性化的推荐。在电子商务领域，推荐系统可以根 据用户的购物历史和浏览行为为其推荐相关商品或服务 ，提高用户的购买率和满意度。在新闻推荐领域，推荐 系统可以根据用户的阅读历史和兴趣为其推荐相关的新 闻文章或视频，提高用户的阅读体验和粘性。
早停法
早停法是一种防止模型过拟合的 技术，通过提前终止训练来避免
模型在验证集上的性能下降。
在训练过程中，当模型在验证集 上的性能开始下降时，就应该停
止训练，以避免过拟合。
早停法可以帮助节省计算资源和 时间，同时提高模型的泛化能力。
Dropout技术
Dropout是一种正则化技术，通过随 机关闭网络中的一部分神经元来防止 过拟合。
THANKS FOR WATCHING
感谢您的观看
Dropout可以帮助模型更加泛化地学 习数据分布，提高模型的鲁棒性和泛 化能力。
在训练过程中，每个神经元有一定的 概率被随机关闭，这样在每次前向传 播和反向传播时，网络的连接结构都 会有所不同。
神经网络学习笔记2-多层感知机，激活函数
神经⽹络学习笔记2-多层感知机，激活函数1多层感知机
定义：多层感知机是在单层神经⽹络上引⼊⼀个或多个隐藏层，即输⼊层，隐藏层，输出层
2多层感知机的激活函数：
如果没有激活函数，多层感知机会退化成单层
多层感知机的公式： 隐藏层 H=XW h+b h
输出层 O=HW0+b0=(XW h+b h)W0+b0=XW h W0+b0W0+b0
其中XW h W0相当于W，b0W0+b0相当于b，即WX+b的形式，与单层的同为⼀次函数，因此重新成为了单层
3激活函数的作⽤
（1）让多层感知机成为了真正的多层感知机，否则等于⼀层的感知机
（2）引⼊⾮线性，使⽹络逼近了任意的⾮线性函数,弥补了之前单层的缺陷
4激活函数的特质
(1) 连续可导（允许少数点不可导），便于数值优化的⽅法学习⽹络参数
(2）激活函数尽可能简单，提⾼计算效率
(3）激活函数的导函数的导函数的值域要在合适的区间，否则影响训练的稳定和效率
5 常见的激活函数
1 sigmod型
常见于早期的神经⽹络，RNN和⼆分类项⽬，值域处于0到1，可以⽤来输出⼆分类的概率
弊端:处于饱和区的函数⽆法再更新梯度，向前传播困难
2 tahn（双曲正切）
3 ReLu（修正线性单元）
最常⽤的神经⽹络激活函数，不存在饱和区，虽然再z=0上不可导，但不违背激活函数的特质（允许在少数点上不可导），⼴泛运⽤于卷积⽹络等。
人工神经网络实验报告
人工神经网络实验报告
本实验旨在探索人工神经网络在模式识别和分类任务中的应用效果。
实验设置包括构建神经网络模型、数据预处理、训练网络以及评估网
络性能等步骤。
首先，我们选择了一个经典的手写数字识别任务作为实验对象。
该
数据集包含了大量手写数字的灰度图片，我们的目标是通过构建人工
神经网络模型来实现对这些数字的自动识别。
数据预处理阶段包括了对输入特征的标准化处理、数据集的划分以
及对标签的独热编码等操作。
通过对原始数据进行预处理，可以更好
地训练神经网络模型，提高模型的泛化能力。
接着，我们构建了一个多层感知机神经网络模型，包括输入层、隐
藏层和输出层。
通过选择合适的激活函数、损失函数以及优化算法，
我们逐步训练网络，并不断调整模型参数，使得模型在训练集上达到
较高的准确率。
在模型训练完成后，我们对网络性能进行了评估。
通过在测试集上
进行预测，计算模型的准确率、精确率、召回率以及F1-score等指标，来全面评估人工神经网络在手写数字识别任务上的表现。
实验结果表明，我们构建的人工神经网络模型在手写数字识别任务
中表现出色，准确率高达95%以上，具有较高的识别准确性和泛化能力。
这进一步验证了人工神经网络在模式识别任务中的强大潜力，展
示了其在实际应用中的广阔前景。
总之，本次实验通过人工神经网络的构建和训练，成功实现了对手写数字的自动识别，为人工智能技术在图像识别领域的应用提供了有力支持。
希望通过本实验的研究，可以进一步推动人工神经网络技术的发展，为实现人工智能的智能化应用做出更大的贡献。
deeplearning tutorial (2) 原理简介+代码详解
deeplearning tutorial (2) 原理简介+代码详解【原创实用版】目录一、Deep Learning 简介二、Deep Learning 原理1.神经网络2.梯度下降3.反向传播三、Deep Learning 模型1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）四、Deep Learning 应用实例五、Deep Learning 代码详解1.TensorFlow 安装与使用2.神经网络构建与训练3.卷积神经网络（CNN）实例4.循环神经网络（RNN）实例5.生成对抗网络（GAN）实例正文一、Deep Learning 简介Deep Learning 是一种机器学习方法，其主要目标是让计算机模仿人脑的工作方式，通过多层次的抽象表示来理解和处理复杂的数据。
Deep Learning 在图像识别、语音识别、自然语言处理等领域取得了显著的成果，成为当前人工智能领域的研究热点。
二、Deep Learning 原理1.神经网络神经网络是 Deep Learning 的基本构成单元，它由多个神经元组成，每个神经元接收一组输入信号，根据权重和偏置计算输出信号，并将输出信号传递给其他神经元。
神经网络通过不断调整权重和偏置，使得模型能够逐渐逼近目标函数。
2.梯度下降梯度下降是一种优化算法，用于求解神经网络的权重和偏置。
梯度下降算法通过计算目标函数关于权重和偏置的梯度，不断更新权重和偏置，使得模型的预测误差逐渐减小。
3.反向传播反向传播是神经网络中计算梯度的一种方法。
在训练过程中，神经网络根据实际输出和预期输出的误差，按照梯度下降算法计算梯度，然后沿着梯度反向更新权重和偏置，使得模型的预测误差逐渐减小。
三、Deep Learning 模型1.卷积神经网络（CNN）卷积神经网络是一种特殊的神经网络，广泛应用于图像识别领域。
CNN 通过卷积层、池化层和全连接层等操作，对图像进行特征提取和分类，取得了在图像识别领域的突破性成果。
MATLAB神经网络（2）BP神经网络的非线性系统建模——非线性函数拟合
MATLAB神经⽹络（2）BP神经⽹络的⾮线性系统建模——⾮线性函数拟合2.1 案例背景在⼯程应⽤中经常会遇到⼀些复杂的⾮线性系统，这些系统状态⽅程复杂，难以⽤数学⽅法准确建模。
在这种情况下，可以建⽴BP神经⽹络表达这些⾮线性系统。
该⽅法把未知系统看成是⼀个⿊箱，⾸先⽤系统输⼊输出数据训练BP神经⽹络，使⽹络能够表达该未知函数，然后⽤训练好的BP神经⽹络预测系统输出。
本章拟合的⾮线性函数为y=x12+x22该函数的图形如下图所⽰。
t=-5:0.1:5;[x1,x2] =meshgrid(t);y=x1.^2+x2.^2;surfc(x1,x2,y);shading interpxlabel('x1');ylabel('x2');zlabel('y');title('⾮线性函数');2.2 模型建⽴神经⽹络结构：2-5-1从⾮线性函数中随机得到2000组输⼊输出数据，从中随机选择1900 组作为训练数据，⽤于⽹络训练，100组作为测试数据，⽤于测试⽹络的拟合性能。
2.3 MATLAB实现2.3.1 BP神经⽹络⼯具箱函数newffBP神经⽹络参数设置函数。
net=newff(P, T, S, TF, BTF, BLF, PF, IPF, OPF, DDF)P：输⼊数据矩阵；T：输出数据矩阵；S：隐含层节点数；TF：结点传递函数。
包括硬限幅传递函数hardlim、对称硬限幅传递函数hardlims、线性传递函数purelin、正切型传递函数tansig、对数型传递函数logsig；x=-5:0.1:5;subplot(2,6,[2,3]);y=hardlim(x);plot(x,y,'LineWidth',1.5);title('hardlim');subplot(2,6,[4,5]);y=hardlims(x);plot(x,y,'LineWidth',1.5);title('hardlims');subplot(2,6,[7,8]);y=purelin(x);plot(x,y,'LineWidth',1.5);title('purelin');subplot(2,6,[9,10]);y=tansig(x);plot(x,y,'LineWidth',1.5);title('tansig');subplot(2,6,[11,12]);y=logsig(x);plot(x,y,'LineWidth',1.5);title('logsig');BTF：训练函数。
卷积神经网络学习——第二部分：卷积神经网络训练的基本流程
卷积神经⽹络学习——第⼆部分：卷积神经⽹络训练的基本流程卷积神经⽹络学习——第⼆部分：卷积神经⽹络训练的基本流程import torchimport torchvisionimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Ffrom torch.autograd import Variablefrom torchvision import datasets, transforms# 步骤⼀：数据载⼊# pose()将各种预处理操作组合到⼀起# 2.transforms.ToTensor()将图⽚转换成 PyTorch 中处理的对象 Tensor.在转化的过程中 PyTorch ⾃动将图⽚标准化了，也就是说Tensor的范⽤是(0,1)之间# 3.transforms.Normalize()要传⼊两个参数:均值、⽅差，做的处理就是减均值，再除以⽅差。
将图⽚转化到了(-1,1)之间# 4.注意因为图⽚是灰度图，所以只有⼀个通道，如果是彩⾊图⽚，有三个通道，transforms.Normalize([a,b,c],[d,e,f])来表⽰每个通道对应的均值和⽅差。
data_tf = pose([transforms.ToTensor(),transforms.Normalize([0.5],[0.5])])# PyTorch 的内置函数 torchvision.datasets.MNIST 导⼊数据集# 这⾥存储的还是MNIST数据集的格式，但是不⼀样的是这个数据集当中的元素是以tensor格式存储的train_dataset = datasets.MNIST(root = '/Users/air/Desktop/【2020秋】数据科学基础/第三次作业',train = True,transform = data_tf,download = True)test_dataset = datasets.MNIST(root = '/Users/air/Desktop/【2020秋】数据科学基础/第三次作业',train = False,transform = data_tf)# 定义超参数BATCH_SIZE = 128 # 训练的包的⼤⼩，通过将训练包分为2的倍数以加快训练过程的⽅式LR = 1e-2 # 学习率，学习率太⼩会减慢训练效果，学习率太⾼会导致准确率降低EPOCHS = 5 # 定义循环次数，避免因为次数太多导致时间过长# torch.utils.data.DataLoader 建⽴⼀个数据迭代器，传⼊数据集和 batch size, 通过 shuffle=True 来表⽰每次迭代数据的时候是否将数据打乱。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是否能够解决线性不可分问题？
多训练几次，每次权值的结果是否一样？
隐层节点的个数对训练次数和结果有什么影响？（例如取2个、4个、7个…）
P=[1 -1;1 0; 2 1]'
第二步：输第三步：点击import键，导入P和T
第四步：创建网络
第五步：双击network，训练
第六步：查看训练结果
导出网络Export network1
在命令窗口键入network1.divideFcn='';
导入网络network1
例如：
第一步：三个样本，两维输入，写成（注意转置符号）
P=[1 -1;1 0; 2 1]'
输出结果为：
P =
1 1 2
-1 0 1
第二步：输入教师信号T
T=[1 0 1]
输出结果为
T =
1 0 1
第三步：点击import键，导入P和T
第四步：创建网络
注意选择hardlim为转移函数时，网络输出为1和0，选择Hardlims为转移函数时，网络输出为1和-1
二、实验内容
利用nntool，进行BP网络设计，解决以下异或问题，分析考察BP网络的功能。
三、实验步骤（与实验一的感知器训练类似）
(1)在命令窗口键入nntool
(2)在命令窗口给出样本的输入输出P，T，在nntool中将P，T导入，用new新建网络，对网络训练，观察。
例如：
第一步：三个样本，两维输入，写成（注意转置符号）
实验二感知器和BP网络设计初步
题目1利用nntool进行感知器设计
一、实验目的
初步掌握MATLAB环境下nntool方式实现感知器的设计。
二、实验内容
利用nntool，进行感知器设计，完成书中题目3.5，3.8。
三、实验步骤
(1)在命令窗口键入nntool
(2)在命令窗口给出样本的输入输出P，T，在nntool中将P，T导入，用new新建网络，对网络训练，观察。
第五步：双击network，出现以下界面
训练过程如下：
第六步：查看训练结果
第七步：预测
在命令窗口输入三个新的数据Pt
Pt=[1 1;1 0;-1 1]’
输出结果为
Pt =
1 1 -1
1 0 1
将其导入
进行预测
(3)完成题目3.5，3.8。
题目2利用nntool进行BP网络设计
一、实验目的
初步掌握MATLAB环境下nntool方式实现BP网络的设计，熟悉BP网络的功能。
重新训练
四、实验结果及分析（请回答以下问题）
题目1：解决异或问题，分析考察BP网络的功能。
（1）异或问题的表达
输入：
教师信号：
（2）分析神经网络的结构
输入节点的个数(思考与样本输入的维数的关系)：
隐层节点的个数：
输出层节点的个数(思考与样本输出的维数的关系)：
转移函数的选择：
学习算法：traingdx