改进粒子群算法对BP神经网络的优化
基于粒子群优化的BP神经网络

基于粒子群优化的BP神经网络【摘要】人工神经网络的优化学习是其研究中的一个重要课题。
将粒子群优化算法用于BP神经网络的学习,将粒子优化算法的全局搜索和BP神经网的局部搜索相结合,并设计一网络实例加以训练,达到了比较满意的效果。
【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络,具有很强的信息处理能力。
但是,由于BP算法的基本思想是最小二乘法,采用的是梯度搜索技术,难免存在收敛速度慢、局部极小等问题。
粒子群优化算法(Particle Swarm Optimaziton,简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法,源于对鸟群和鱼群群体运动行为的研究。
由于其容易理解,易于实现,不要求目标函数和约束条件是可微的,并能以较大概率求得全局最优解,目前已在许多优化问题中得到成功应用。
由于它具有并行计算的特点,而且可以提高计算速度。
因此,可以用粒子群优化算法来优化BP网络。
一、BP神经网络及其算法BP网络是一种具有三层或三层以上的单向传播的多层前馈网络,其拓扑结构如图1。
图1 拓扑结构图BP算法的执行步骤如下:(1)对各层权系数置一个较小Wij的非零随机数。
(2)输入一个样本X=(X1,X2,…,x n),以及对应期望输出) Y=(y1,y2,…,yn)。
(3)计算各层的输出。
对于第k 层第i个神经元的输出有:Uki=∑WijXk-1i,Xki=f(Uki)(一般为sigmoid 函数,即f(x)=1/(1-epx(-x))。
(4)求各层的学习误差dki。
对于输出层,有,k=m,dmi=Xmi(1-Xmi)(Xmi-Ymi)。
对于其他各层,有dxi=Xki(1-Xki)∑Wijdk+1i。
(5)修正权系数Wij。
Wij (t+1)=Wij-η•dki•Xk-1j。
改进粒子群优化BP神经网络短期负荷预测研究

改进粒子群优化BP神经网络短期负荷预测研究王瑞;周晨曦;逯静【摘要】为了提高短期电力负荷预测的准确性,提出了一种改进型粒子群优化BP 神经网络预测模型.在改进的粒子群每次迭代过程中求出种群平均适应度值,并将每一粒子适应度值与种群平均适应度值比较,当粒子适应度值劣于种群平均适应度值时,对其空间位置初始化处理,随机生成新的位置,当粒子适应度值优于或等于种群平均适应度时,保持位置不变,通过此种方式,保留了种群中优良粒子,在搜索空间不断缩小的后期拓展了搜索空间,保持了种群多样性,利用改进的粒子群算法优化BP神经网络的初始参数,再将训练样本训练BP神经网络求得最优参数.将此模型应用到河南省某地区短期电力负荷预测中,结果表明此种方法有效提高了预测精度.【期刊名称】《制造业自动化》【年(卷),期】2019(041)006【总页数】5页(P39-42,77)【关键词】负荷预测;粒子群优化;BP神经网络;适应度值【作者】王瑞;周晨曦;逯静【作者单位】河南理工大学电气工程与自动化学院,焦作 454000;河南理工大学电气工程与自动化学院,焦作 454000;河南理工大学计算机科学与技术学院,焦作454000【正文语种】中文【中图分类】TP180 引言BP神经网络有着较为良好的非线性映射能力、高度的自适应自学习能力、良好的泛化能力,以及容错能力的优点被应用于电力负荷预测中[1,2],同时也存在着容易陷入局部极小值、收敛速度慢的缺点,对BP神经网络的改进已经成为学者们研究的热点,比如调整自适应学习速率[3]、改进网络结构[4]、引入优化算法[5~7]等。
利用粒子群优化BP神经网络是一种较为常用的方法,利用粒子群优化BP神经网络,可以有效防止BP神经网络陷入局部最优,并加快其收敛速度。
基本粒子群算法寻优速度较快、效率高、算法简单,但也存在自身的缺陷,当算法迭代时,所有粒子都向当前自身最优解、邻域或群体最优解移动,种群搜索空间不断缩小,形成种群快速趋同效应,而此时的最优位置可能只是某一局部搜索空间里的最优位置,搜索陷入局部极值之中,导致早熟收敛,后期种群的多样性难以维持。
改进粒子群算法对BP神经网络的优化

改进粒子群算法对BP神经网络的优化
沈学利;张红岩;张纪锁
【期刊名称】《计算机系统应用》
【年(卷),期】2010(019)002
【摘要】介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法.该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型.结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力.【总页数】5页(P57-61)
【作者】沈学利;张红岩;张纪锁
【作者单位】辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105;辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105;辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105
【正文语种】中文
【相关文献】
1.一种基于改进粒子群算法优化BP神经网络的预测方法 [J], 钱兆楼
2.一种改进粒子群算法优化BP神经网络实现核素识别方法 [J], 刘议聪;朱泓光;宋永强
3.改进粒子群算法优化BP神经网络的粮食产量预测 [J], 李雪;顾沈明;年浩
4.改进自适应粒子群算法优化BP神经网络医院门诊量预测方法 [J], 张标标;吴俊
宏;马仕强;柯飚挺
5.基于改进粒子群算法优化BP神经网络的废水处理软测量模型 [J], 何丹;林来鹏;李小勇;牛国强;易晓辉;黄明智
因版权原因,仅展示原文概要,查看原文内容请购买。
基于改进粒子群算法的BP神经网络模型研究

算法上下波动幅度较大 , 多次出现水平不变. 改进
第 l期
姚 尔果 , : 于 改进 粒子 群算 法的 B 等 基 P神 经 网络模 型研 究
19 0
的 DS P O算法 不易 陷入 局部最 优 , 以进 行 全局 寻 可
优 , 找全局 最优点. 寻
平缓 , 拟合 性较好 . 真 结果 证 明 了 经改 进 的粒 子 仿
( )根 据 ( ) ( ) 5 , 6 5 3 , 4 ,( ) ( )式 不 断 的更 新
粒子位 置和速 度.
[ ] 徐晋. 2 一种前馈神经网络综合快速学 习算 法[ ] 内蒙古工 J.
业大学学报 , 0 3, 2( : 3 2 0 2 3) 22—26 3.
( )粒子 适应 度 函数 值 满 足 预 设精 度 或 迭 代 6
粒子 i 在搜 索位 置 上进化 的程度 , 表示 了粒子 的 目
其 中
…
() 为 第 粒子 在第 t 迭代 时对应 的 f) 个 次
函 数 值 it) = 厂 () 啦() () ( t , t, () ) t,. () 为 最优粒 子在第 ) 次迭 代时 对应 的 函数 值 () =mi ( t) t) n x() . f
持值为0时, 已经找到了最优值或者算法停滞. 粒子 改进 的惯性权 重 按 照下式 变化 :
( £+1 =C × ()a t+1 C E ( ,) ( ) ) t/ ( ), O 1 6
由图 3和 图 4可 以看 出 , P O算法 具有更 快 的收 DS 敛性 , 曲线基本 趋 于单 调 下 降状 态 , 其 而标 准 P O S
和较好 的拟 合性 能.
参考 文献 :
基于最具影响粒子群优化的BP神经网络训练

表为
w 。 k- 1, k ij
( 4) 第 k 层 第 j 个 神 经 元 的 输 入 定 义 为 xjk=Σwijk- 1, k yik- 1( i=0
ቤተ መጻሕፍቲ ባይዱ
到 Nk) , 输 出 定 义 为 yik=f( xjk) , 其 中 f(·) 为 隐 单 元 激 励 函 数 , 常
采 用 Sigmoid 函 数 , 即 f( x) =[1+exp( - x) ]-1。 输 入 单 元 一 般 采 用
摘 要: 系统地介绍了粒子群优化算法, 将粒子群优化算法用于 BP 神经网络的学习训练, 提出了一种改进的粒子群算法— ——最具 影响粒子 PSO 算法 BIPSO, 并利用复合适应度即均方误差和误差均匀度之和作为 BIPSO 训练神经网络的指标, 并对它与其他的神 经网络训练算法诸如 BP 算法、GA 算法、PSO 算法进行了比较。实验结果表明: BIPSO 性能优于其他算法, 更容易找到全局最优解, 具有更好的收敛性。 关键词: 粒子群优化算法; 神经网络; 学习算法; 最具影响粒子; 复合适应度 文章编号: 1002- 8331( 2007) 18- 0069- 03 文献标识码: A 中图分类号: TP301.6
BP 算法是最普遍的神经网络训练算法。但是, 研究证明,
基于梯度下降的 BP 算法依 赖 于 初 始 权 值 的 选 择 , 收 敛 速 度 缓 慢且容易陷入局部最优。BP 的上述缺陷尤其是局部优化特性 使其训练的神经网络的输出具有不一致性和不可预测性, 导致 模式分类的可靠性降低。GA 算法的并行搜索策略及全局优化 特 性 使 其 成 为 日 益 普 遍 的 神 经 网 络 训 练 算 法 。SextonL[3]通 过 实 验 证 明 , 与 BP 算 法 比 较 , 遗 传 算 法 训 练 的 神 经 网 络 在 提 高 分 类正确率的同时可以加快训练的收敛速度。但是, 遗传算法复 杂 的 遗 传 操 作 如 选 择 、复 制 、交 叉 、变 异 使 神 经 网 络 的 训 练 时 间 随问题的规模及复杂程度呈指数级增长。而且, 由于缺乏有效 的局部区域搜索机制, 算法在接近最优解时收敛缓慢甚至出现 收 敛 停 滞 现 象 [4]。
一种基于改进粒子群算法优化BP神经网络的预测方法

一种基于改进粒子群算法优化BP神经网络的预测方法钱兆楼【摘要】As a new kind of particle swarm optimization algorithm is presented with the principle of simple, fast convergence speed and the advantages of easy to implement and so on become the hot topic in the academic experts and scholars. This paper introduces the BP neural network and two kinds of prediction method of particle swarm optimization, is proposed based on improved particle swarm algorithm of the basic algorithm of BP neural network and the operation process.%粒子群优化算法作为一种新型的算法由于具有原理简单、收敛速度快且易于实现的优势等成为学术界的专家学者关注的热点问题.文介绍了BP神经网络和粒子群算法两种预测方法,提出了基于改进改进粒子群算法的BP神经网络的基本算法及操作流程.【期刊名称】《电子测试》【年(卷),期】2015(000)020【总页数】3页(P39-40,25)【关键词】BP神经网络优化;粒子群算法改进;方法【作者】钱兆楼【作者单位】淮安信息职业技术学院,江苏淮安,223003【正文语种】中文【中图分类】N93BP神经网络是指前馈神经网络中的误差逆传播学习算法,是目前应用范围最为广泛的人工神经网络,包括信息的前向输入和误差的反向输入两种算法。
其中信息的前向输入算法公式为netij=,Oij=fs(netij)=,其中net表示神经元总输入,N为神经元节点数。
基于粒子群优化的BP神经网络预测方法及其应用研究

维普资讯
第1 期
黄丽君 ,郭文 忠: 基于粒子群优化的 B P神经 网络预测方法及其应用研 究
3 3
神经元 的输 出; ()对权 值和 闽值 进行 修 改 ,从最 后 一层 向前 计算各 权值 和 阈值 对 总误差 的影 响 ( 度 ),据 此对各 2 梯 权 值和 阈值进 行修 改.
No 1 2 0 . . 0 8年
Ge e a . 8 n rI No 5
文章编号:0 87 2 (0 70 -0 20 10 -8620 )40 3 - 4
基于粒子群优 化 的 B P神经 网络预测方法及其应用研究
黄丽君 ,郭文忠 2
(. 1福建工程 学院经 济管理 系,福 建 福州 3 0 1 ; . 5 0 4 2福州大学 数学 与计算机科学 学院,福建 福州 3 0 0 ) 50 2
效提 高了预测的精度.
关键字 :经济预测 ;粒子群优化 ; P网络 B 中图分类号: T 13 F 2 P 8 ; 14 文献标识码: A
1 引 言
经济预测是对未来经济发展所做 出的科学判断或预见, 它是根据经济科学 自身的规律, 应用科学方法, 对经济过程及其各要素的变动趋势做 出的客观描述. 经济预测是各级领导和经济管理工作者制定政策,做
过的样本 ,但缺乏对新样本泛化的能力. 本文通过修正网络误差性能函数及误差性能调整率来提高网络的
泛化 能力 .
22基 本P o算 法 . S
基本P O S 算法中,粒子 的位置代表被优化问题在搜索空间中的潜在解. 所有的粒子都有一个 由被优化
的函数 决 定 的适 应值 ,每个 粒子 还 有一 个速 度 决定它们 飞翔 的方 向和距 离 ,粒 子 们追 随 当前 的最优粒 子在 解 空 间中搜 索. S P O初 始 化 为一群 随机 粒 子( 随机解 ) 后通 过迭 代 找到 最优 解.在 每一 次迭 代 中 ,粒 子通 ,然
基于改进粒子群算法的BP神经网络优化研究

信息技术与教育
基于 改 进 粒 子群 算法 的 B P神 经 网 络 优 化 研 究
粱 云 Hale Waihona Puke ( 公 安部 消 防 局
北京
1 0 0 0 5 4 )
摘 要 研 究 了基 于粒 子 群 算 法 的 B P神 经 网络 优 化 问题 , 将 改 进 的 粒子 群 优化 算 法 用 于 B P神 经 网络 的 学 习 训练, 并 与传 统 的 B P网 络进 行 了比较 。 结 果表 明 , 将 改进 粒子群 优 化 算 法 用 于 B P神 经 网络优 化 , 不仅 能 更快地 收 敛 于 最优 解 , 而且很 大程 度地 提 高 了结 果 的精 度 。 关键 词 神 经 网络 粒 子 群 算 法 优 化
1 . 1 B P神经 网络 原理 人 工神经 网络有 任意精 度逼 近未 知 函数 的能 力及派 生 出来 的一些 功能 , 使神 经网络 变得越来 越流行 。神经 网络 的优化 主要 是神 经网络权 重和 神经 网络拓 扑结构 的优 化 ,而 最主要 的是 神
个偏 置 。 l - 2粒 子群优 化算法 原理 粒 子 群优 化 算 法 是对 鸟群 觅 食过 程 中的 迁徙 和 聚 集 的模 拟 , 由简 单个 体组成 的群 落 以及 个体 之 间的互 动行 为模拟 搜索 全 局最优解 。 在P S O算 法 中, 每个优 化 问题 的解都是搜 索空 间中 的一只鸟 , 称之为 “ 粒子 ” 。 所 有的粒 子都有 …个 由被优 化的 函数 决 定的适 应值 ,每个 粒子 还有一 个速 度 决定它 们 飞翔的方 向和 距 离。 然 后粒 子们就追 随 当前 的最优 粒子在解 空间 中搜索 。 P S O
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
粒 子 群 优 化 算 法 (a t l S r Op i z - P ri e wa m t c mia t n P O 最初是 由 E e h r 士和 k n e y博士 i 。S ) o b r at博 end
于 19 5年提 出并成 功地 用于函数优化…,后来 又进 9
B P网络是一 种有效 的 自学习神经 网络 , 具有一些 独特 的性质 :信息 的分 布式存储和并行处理 ,具 有 自 组织、 自学 习能 力等 ,已经被广泛应 用于模式识 别、
n to l v r o e l tto si o e sow o v r e c d t e lc le te au so a iina o n y o e c met i a n n b t t l c n e g n e a o a xr me v e ft d t l h mi i h h n h l r o
因此 ,B 网络 的优化 改进 成为 了研究 的热 点之 P
行 了有效 的拓展 ,是 计 算智 能领 域 除蚁 群优 化 算法
( n oo yOpi z t n AC t9 的另外一种群 A t ln t C mia i , O) 11 o 2,
知识 工程、智能控 制等 方面。 尽管在诸 多应 用领 域取 得 了巨大的成功 ,然而仍存在着一些 问题 :() 习算 1学 法的收敛速 度慢 ;() 2 局部极 小问题 ;() P神经网络 3B
i p o e a tce s r p m i a o i utn o sy m r v d p ril wa m o t z t n sm l e u l .Th e u ts owst a e i r v d ag rtm a i i a e r s l h h tt mp o e lo i dutw ihso P nt oki po oe . h e dl sbsdo e w ih b t c: e t dt ajs e t fB e r s rp sd T enw mo e i ae n t e t r h o g w h g ajs ns frdt n Pa o tm b nn esu t eadc n et nw ihs f Pn t okad d t t o aio a B l rh yt igt rcu n o nc o e to ew r n u me t i l gi u h t r i g B
BP ag rt m , b t s mp o et ep e ii n o er s l a h e r i ga i t r al . o h l i u o i r v rc so ft e u t ndt ela n n b l yg e ty l a h h i K e w o ds pat l w an pt z t n; n ri ih ; e r ewo k ; a kp o a a o rt m ei ; pt z t n y r : ri es r lo i c i m ai o i e t weg t n u a n t r s b c r p g t n ai a l i h tc o i i m ai o
调整权值 的基础上 ,引入 粒子群算法的权值修 正 ,并且在 训练神经 网络权值的 同时优化其连接结构 , 删 除冗余连接 ,从而建立 了基 于粒子群算 法优化 的 B P网络新模 型 。结果表 明 ,改进 算法不仅 可以克 服传统 B P算法收敛速度慢和 易陷入局部权值 的局 限 ,而且很 大程 度地提 高了结果精度 和 B P网络 学
2 0 年 第 1 0 9卷 第 2 期
计 算 机 系 统 应 用
改进粒子群 算法对 B P神 经 网络 的优 化①
沈学利 张红岩 张纪锁 ( 宁工程技术大学 电子 与信 息工程学院 辽 宁 葫芦 岛 1 5 5 辽 0 ) 2 1
摘 要 : 介绍一种基 于改进 粒子群 算法优化 B P网络的权值调整综合方 法。该 算法在传统 B P算法的误 差反传
隐层 神经元的个数选取 目前 尚无理论上 的依据 ,只能 根据经验选取 。
体 智能算法(wam tlg n e S)1 S 算 法属 S r I el e c , I3 n i t。P O
于进化算法 的一种 ,和遗 传算法相似 ,它也是从随机
解出发 ,通过迭代寻找最 优解 ,通过适 应度来评价解 的品质。但是 它比遗传算 法规则更为 简单 ,没有遗传 算法的 “ 交叉”Cr s o e )和 “ ( o svr 变异 ” Mua in ( t t )操 o 作。 它通过追 随当前搜 索到的最优 值来寻找全局最优。
习能力。 关键 词 : 粒子群算法 ;惯性权值 ;神 经网络 ;B P算法 ;优化
I pr v d Pa tce S r m o e r i l wa m Optm i a i n g r t i z to Al o ihm
SHEN Xue Li ZHANG ng Ya , — , Ho — n ZHANG iS o J— u
(c o l f l t nc n fr t nE gn e n , io igT c ncl ies y Huu a 2 5 C ia S h o e r i dI omai n ie r g La nn e h i v ri , ld o1 5 0 , hn ) oE co a n o i a Un t 1