样本处理及极限学习机
极限梯度提升模型的训练-概述说明以及解释
极限梯度提升模型的训练-概述说明以及解释1.引言1.1 概述概述极限梯度提升模型（Extreme Gradient Boosting, XGBoost）是一种基于梯度提升决策树（Gradient Boosting Decision Tree, GBDT）算法的机器学习模型。
它在许多数据科学竞赛和实际应用中都表现出了出色的性能。
XGBoost模型的主要优势在于它具备高可扩展性、高效性和准确性。
通过在训练过程中采用了多种技术手段，XGBoost能够有效地处理高维特征和大规模数据集，并且在模型精度方面具有较强的竞争力。
本文将详细介绍极限梯度提升模型的训练方法和原理。
首先，我们将介绍梯度提升决策树算法的基本原理，包括梯度下降和决策树的概念。
然后，我们将阐述XGBoost模型的训练过程，包括损失函数的定义、模型的初始化和迭代优化算法。
最后，我们将探讨极限梯度提升模型在实际应用中的一些典型领域，如金融风控、推荐系统和医疗诊断等。
通过本文的阅读，读者将能够深入了解极限梯度提升模型的训练方法和原理，掌握XGBoost模型在实际应用中的优势和不足，并能够运用该模型解决实际问题。
希望本文能对机器学习和数据科学领域的研究者和从业者提供有益的参考和指导。
1.2 文章结构文章结构：本文主要包括引言、正文和结论三个部分。
引言部分主要是对本篇文章的概述，介绍了极限梯度提升模型的训练这一主题的背景和意义。
其中，概述部分会简要介绍极限梯度提升模型，包括其基本原理和训练过程。
文章结构部分将会列出本文的章节结构，并对各章节的内容进行简要说明。
正文部分主要分为三个章节：极限梯度提升模型的基本原理、极限梯度提升模型的训练过程和极限梯度提升模型的应用领域。
其中，极限梯度提升模型的基本原理章节将详细介绍该模型的基本概念、工作原理和数学原理等内容。
极限梯度提升模型的训练过程章节将详细说明该模型的训练方法和步骤，包括特征选择、参数设置、模型调优等方面的内容。
基于极限学习机的单木枝叶点云分类
基于极限学习机的单木枝叶点云分类章又文; 邢艳秋【期刊名称】《《安徽农业科学》》【年(卷),期】2019(047)005【总页数】5页(P237-240,246)【关键词】激光点云; 枝叶点云分类; 空间特征; 色彩特征; 随机森林; 极限学习机【作者】章又文; 邢艳秋【作者单位】东北林业大学森林作业与环境研究中心黑龙江哈尔滨150040【正文语种】中文【中图分类】S126在林业测量中，三维激光雷达能够准确、快速地提取树木表面三维信息，因此被广泛运用在林木的垂直结构[1-2]、叶面积指数提取[3-4]以及单木三维建模可视化[5-6]中。
林木枝叶分类识别的研究是林木参数提取及三维重建的重要内容。
Li等[7]利用单木树叶与枝干点云的法向分布特征的不同，采用法线差分算子进行单木枝叶点云的分类识别，以达到分割树叶点云的目的，从而减小了枝干点云对叶面积密度提取精度的影响。
LU等[8]直接利用林木样方点云数据，作径向半球点云切片计算有效叶面积指数。
王洪蜀等[9]将激光雷达设备与CCD相机同步采集林木样方数据，利用监督学习将CCD相机拍摄的彩色影像中的枝叶分类，再将枝叶中的像素信息赋给点云数据，从而达到枝叶点云分类识别的效果。
上述文献中，在冠层部分的叶面积信息提取上，没有综合利用局部枝叶点云的形状、法向分布、反射强度等特征研究枝叶点云的分类识别。
喻垚慎等[10]利用点云的局部切平面分布特征，融合多种空间结构特征分离枝干与树叶点云，然而细小的枝干与树叶点云数据冗杂在一起，空间特征不突出。
颜色是区分枝干与树叶的重要自然属性，在枝干与树叶的空间结构特征的基础上，增加色彩特征进行研究，能够使分类更为准确。
三维点云数据信息量大，因此在分类算法的选择上，笔者采用极限学习机(extreme learning machine，ELM)来进行枝叶点云的分类识别。
2004年有研究人员提出，ELM算法主要应用于回归以及分类问题当中。
基于p阶Welsch损失的鲁棒极限学习机
文章编号：1006-3080(2020)02-0243-07DOI: 10.14135/ki.1006-3080.20181209001基于p 阶Welsch 损失的鲁棒极限学习机陈剑挺， 叶贞成， 程 辉（华东理工大学化工过程先进控制和优化技术教育部重点实验室，上海 200237）摘要：针对极限学习机（ELM ）异常值敏感的问题，提出了一种基于p 阶Welsch 损失的鲁棒极限学习机。
使用p 阶Welsch 损失代替常规ELM 的均方误差损失，提高算法的鲁棒性；在目标函数中引入l 1范数正则项，降低ELM 网络模型的复杂度，增强模型的稳定性；采用快速迭代阈值收缩算法（FISTA ）极小化目标函数，提升计算效率。
对人工合成数据集和部分UCI 回归数据集进行仿真，实验结果表明本文方法在鲁棒性、稳定性和训练时间上都具有很好的性能。
关键词：p 阶Welsch 损失；极限学习机；鲁棒性；FISTA 中图分类号：TP18文献标志码：A极限学习机(ELM)[1]是一种机器学习算法，一种有监督的单隐层前馈神经网络（SLFN ）。
它通过随机生成输入权重和偏置的方式将输入映射到高维隐层空间，具有训练速度快、泛化精度高的特点，并且该算法已被证明具有通用逼近能力[2]，因此，ELM 已被广泛应用于回归、分类等问题之中，如风电预测[3]、故障检测[4]、醋酸精馏软测量[5]、图像识别[6]等。
针对该算法输入权重不能改变的缺点，近些年开发了一些新的技术对ELM 算法进行改进[7-8]，但都是基于最小二乘法（Least Square ，LS ）来求解ELM 的输出权重矩阵。
最小二乘法的目标是学习未知的映射（线性或非线性），使得模型输出和标签值之间的均方误差（Mean Square Error ，MSE ）最小化。
在均方误差损失中所有数据样本所占的权重都相同，因此当数据中有异常值存在时，最小二乘法为了达到极小化残差平方和的目标，必须迁就异常值，这往往会导致参数估计存在较大的偏差[9]。
基于极限学习机的爆破参数综合优选
基于极限学习机的爆破参数综合优选陈昌民;张钦礼;姜志良【摘要】为了合理选择川口钨矿变更采矿方法后采场的回采爆破参数,运用传统经验公式计算出爆破参数取值范围,根据极限学习机(ELM)理论,以矿岩容重、弹性模量、抗压强度等6个因素作为输入因子,以排距、孔底距、炸药单耗3个指标作为输出因子,并利用国内应用较成功的上向扇形中深孔崩矿的7个矿山情况为学习、训练样本,建立矿山回采爆破参数优化预测模型.综合经验公式和预测模型的结果,确定采区爆破参数:炮孔排距为1.3m,孔底距为1.8m,炸药单耗为0.5 kg/t.优选爆破参数适应本采区工程条件,爆破效果好,震动影响小.【期刊名称】《现代矿业》【年(卷),期】2015(000)004【总页数】4页(P14-16,30)【关键词】爆破参数;极限学习机;预测模型【作者】陈昌民;张钦礼;姜志良【作者单位】衡阳远景钨业有限责任公司;中南大学资源与安全工程学院;中南大学资源与安全工程学院【正文语种】中文地下矿山开采中，合理的回采爆破设计能减少大块率、降低爆破作业扰动并尽可能减少炮孔数量以降低爆破成本。
合理的回采爆破参数是矿山高效、安全生产的保证[1]。
川口钨矿利用分段空场嗣后充填法回采61#～63#勘探线既存空区附近高品位矿体，以弥补矿山精矿产量的不足，由于采矿方法的变更以及矿体开采工程条件的制约，需对本采区进行新的回采爆破设计。
川口钨矿杨林坳钨矿床工业类型为石英细脉带型黑钨—白钨矿床，按照矿石围岩及矿物组合的不同，矿石类型分为砂岩型矿石和板岩型矿石，受风化和断裂、层理等构造的影响，矿石稳定性相对较差[2]。
而本采区61#～63#勘探线高品位矿体属于矿区内特殊的花岗斑岩岩脉，岩石致密坚硬，稳固性好。
围岩为板岩，稳固性较好，但存在片理结构，易形成巷道围岩层状垮落。
因此，将采矿方法变更为分段空场嗣后充填法，采用中深孔回采爆破时，需充分考虑周围巷道以及采空区的稳定性问题。
为利用已有工程，节省采切工程量，并且尽量回收老采空区周围矿体，61#～62#区段主要回采水平为320 m分段，另布置310 m底部结构分段、330 m上部空区底柱回收分段和350 m回风、充填水平；垂直走向布置3个采场，宽度分别为14.5，13和13 m，分段高度分别为10，11和10 m。
基于深度核极限学习的入侵检测研究
兰州交通大学工程硕士学位论文摘要入侵检测系统是网络安全防护的一个重要环节，其性能的好坏直接关系着网络的正常运行。
随着互联网技术的不断发展，网络拓补结构越来越复杂，随之产生的入侵数据特征也愈加复杂，网络环境更加复杂多变，给入侵检测系统带来了巨大的挑战。
因此，研究高效处理海量的入侵数据，适应复杂多变的网络环境的入侵检测方法至关重要。
深度学习理论的提出弥补了传统入侵检测方法在高维特征处理上的不足，其强大的特征学习能力比传统的方法更适合处理海量多源异构的入侵数据。
现有的深度学习入侵检测方法仍然存在对小样本攻击类别识别率低，训练效率低以及无法根据实时网络环境进行在线更新参数的缺陷。
本文从这三个问题出发，展开了以下研究：（1）首先使用核极限学习机KELM改进DBN的BP分类器，提出基于DBN-KELM 的混合深度学习入侵检测方法。
该方法将DBN作为特征提取器，将KELM作为分类器，结合了DBN提取抽象特征和KELM快速学习且分类性能好的优势。
实验中使用NSL-KDD部分数据集进行了验证，将DBN-KELM算法与DBN和DBN-ELM进行了对比，使用分类准确率、精确度、召回率、F分数和误报率5个指标进行了全面评价，结果表明，DBN-KELM算法具有更好的检测性能。
（2）针对DBN-KELM在训练数据分布不平衡时引起KELM在分类时偏向于训练数据中含量较多的攻击样本类别，对小样本攻击类别的检测率不高的问题，使用样本加权后的极限学习机WKELM对DBN-KELM算法进行改进，提出了基于DBN-WKELM 的混合深度学习入侵检测方法。
训练过程中对每一条训练样本进行了加权，解决了KELM分类时偏向于出现频率高的样本的缺陷。
实验中在前5个评价指标的基础上引入Gmean评价检测的平衡度。
实验结果表明，DBN-WKELM在尽可能低的牺牲大样本攻击类别检测率的情况下获得了小样本类别检测率的提高，在6个指标下均显现出了优势。
（3）针对网络环境的复杂多变，DBN-WKELM入侵检测方法无法根据实时的网络数据更新权重参数的缺陷，使用WOS-KELM分类器进行了改进，提出了DBN-WOS-KELM的入侵检测方法，该方法能够根据新的训练数据更新分类器输出权重，已参与训练过的历史数据无需再次参与训练，随着训练批次增加，检测效果越来越好。
基于极限学习机的非平稳下击暴流风速预测
基于极限学习机的非平稳下击暴流风速预测钟旺;李春祥【摘要】分别运用经验模态分解(empirical mode decomposition, EMD)法和快速集合经验模态分解(fast ensemble empirical mode decomposition, FEEMD)法将非平稳下击暴流风速分解为一系列稳态序列集, 即固有模态分量. 建立极限学习机(extreme learning machines, ELM)风速预测模型(EMD-ELM)和快速EMD-ELM(FEEMD-ELM),分别对分解后的非平稳脉动风速训练集和测试集进行预测. 同时,将EMD和FEEMD与基于粒子群优化(particle swarm optimization, PSO)最小二乘支持向量机(least squares support vector machine, LSSVM)进行混合, 形成EMD-PSO-LSSVM和FEEMD-PSO-LSSVM混合模型算法. 通过比较这4种预测算法的结果发现, 基于EMD-ELM和FEEMD-ELM的非平稳下击暴流风速预测模型更为准确高效,其中FEEMD-ELM模型预测最佳.%Using the empirical mode decomposition (EMD) and fast ensemble empiri-cal mode decomposition (FEEMD), respectively, a nonstationary downburst wind velocity sample can be decomposed into a series of stationary sequence sets, namely, intrinsic mode functions. Extreme learning machines based on EMD and FEEMD, referred to as the EMD-ELM and FEEMD-ELM, are proposed to forecast the training and testing sets, both partitioned to stationary sequence sets. Meanwhile, combining EMD and FEEMD with a least squares support vector machine (SVM) based on particle swarm optimization, EMD-PSO-LSSVM and FEEMD-PSO-LSSVM algorithms are obtained. Comparison of these four prediction algorithms shows thatEMD-ELM and FEEMD-ELM are more accurate and efficient in predicting nonstationary downburst wind velocity, while FEEMD-ELM is the best.【期刊名称】《上海大学学报（自然科学版）》【年(卷),期】2018(024)003【总页数】10页(P446-455)【关键词】极限学习机;下击暴流;非平稳风速预测;经验模态分解;最小二乘支持向量机【作者】钟旺;李春祥【作者单位】上海大学土木工程系,上海200444;上海大学土木工程系,上海200444【正文语种】中文【中图分类】TU311非平稳脉动风速是一种具有非线性和非平稳性的特殊序列信号,其中的非平稳下击暴流风速是强非平稳过程.尽管极限学习机(extreme learning machine,ELM)能够较好地拟合风速的非线性部分,但风速非平稳部分将对预测效果造成较大的影响,因此降低风速非平稳性就显得尤为重要[1].降低非平稳性的主要方法有小波变换和经验模态分解(empirical mode decomposition,EMD).EMD将复杂非平稳性信号分解成不同频率段的信号,从而降低序列的非平稳性;集合经验模态分解(ensemble empirical mode decomposition,EEMD)将白噪声序列加入到原始序列,这样尽可能地得到数据信号的真实形态,然后再对数据信号进行EMD分解;快速集合经验模态分解(fast ensemble EMD,FEEMD)是EEMD的快速实现形式.目前,预测模型主要有时间序列模型、人工神经网络(artif i cial neural network,ANN)模型、支持向量机(support vector machine,SVM)模型和最近的ELM.ELM是Huang等[2-3]于2004年提出的一种性能优良的新型单隐层前馈神经网络(single-hidden layer feed forward neural networks,SLFNs),其基本思想是训练前设置合适的隐层节点数,在执行过程中只需要输入权值和为隐层偏置随机赋值,整个过程无需迭代,一次性产生唯一的最优解.与ANN相比,ELM显著提高了网络的泛化能力和学习速度,具有强非线性拟合能力.因此,当前国内外研究人员非常重视极限学习机的发展.鉴于ELM优势,本工作试图建立基于ELM的非平稳下击暴流风速预测算法.将EMD和FEEMD与基于粒子群优化(particle swarm optimization,PSO)的最小二乘支持向量机(least squares support vector machines,LSSVM)进行混合,形成EMD-PSO-LSSVM和FEEMD-PSO-LSSVM混合模型算法.1 非平稳下击暴流脉动风速的分解1.1 经验模态分解法EMD是Huang等[4]于1998年提出的数据处理方法,将非平稳信号按不同尺度的波动或趋势逐级分解成若干个固有模态分量(intrinsic mode function,IMF).每个IMF需满足2个条件:①数据集的极值点个数与穿0点个数相等或至多相差一个;②在任一点,由所有极大值点所形成包络和由所有极小值点所形成包络的均值等于0. 设U(t)为待分解的非平稳风速样本,先找出其所有极大、极小值,接着使用3次样条函数拟合出上、下极值包络线,计算出上、下包络线的平均值m1(t).于是,去除均值后的第1分量为第1次筛分所得分量h1(t)通常并不满足IMF的要求,故将h1(t)作为新的待筛分序列,再进行k次筛分,直到h1k(t)满足IMF的要求为止.于是,把h1k(t)当作IMF1,记为c1(t)=h1k(t).第1个IMF1[c1(t)]包含了非平稳风速U(t)的最短周期分量,将c1(t)从U(t)中分离后的余量为但是,r1(t)仍然包含较长周期分量,再将r1(t)作为新的待筛分序列,筛分得第2个IMF2[c2(t)];继续进行这样的筛分过程,直到余量变得很小为止.最终余量为那么,非平稳风速U(t)被分解成IMFs之和再加上最终余量:1.2 快速集合经验模态分解法EMD常常出现模态混叠现象,造成IMF物理意义上的缺失.为此,Huang[5]通过将白噪声加入待分解信号提出了EEMD.当将在整个时-频空间分布一致的零均值白噪声加到待分解信号时,不同时间尺度信号将自动分布到合适的参考尺度上,经多次平均噪声将相互抵消,集成均值结果.与EMD相同,EEMD将非平稳风速U(t)分解成IMFs之和再加上最终余量rn(t),即式(4).而FEEMD则是EEMD的快速实现方式,其原理与EEMD相同[6].2 下击暴流脉动风速智能预测模型2.1 基于粒子群优化最小二乘SVM的风速预测Suykens[7]用误差的二次平方来代替SVM的不敏感损失函数,将不等式约束转变为等式约束,进而将求解二次规划问题转化成求解如下的线性方程组,即形成LSSVM:式中,ω为权向量,b为偏置项,C为惩罚参数,ei∈R为误差,ei∈Rl×l为误差向量.为解决式(5)的优化问题,构造Lagrange函数:对式(6)求偏导,并根据最优化理论中的KKT(Karush-Kuhn-Tucher)条件,得到如下方程组:设α =(α1,α2,···,αl)T,Q=(1,1,···,1)T,Y=(Y1,Y2,···,Yl)T,I 为单位矩阵. 联立求解方程组,消去ω和ei,则式(7)的解为于是得到LSSVM的回归模型:式中,K为核函数矩阵,其元素k(xi,xj)=ψ(xi)ψ(xj).本工作采用径向基(radial basis function,RBF)核函数,其表达式为采用PSO算法对LSSVM中的核参数进行优化,形成基于粒子群优化的最小二乘SVM(PSO-LSSVM).2.2 基于极限学习机的风速预测ELM是一种快速的单隐层前馈神经网络训练算法[8].针对训练数据样本(x,t),隐含层节点数为L、激发函数为g(x)的ELM模型输出函数表达式为式中,β =[βi1,βi2,···,βin]T 为第 i隐层节点和输出节点间的连接权向量;ω=[ωi1,ωi2,···,ωin]T为连接第i隐层节点和输入节点的权重;bi为第i隐层节点的偏置;tj为第j个节点的输出值,ωixj为ωi和xj的内积.激发函数g(x)可以为Sigmoid,Sine或Hardlim等.式(11)的矩阵表达式可表示为式中,H=式中,H为隐层输出矩阵,其第i列表示为第i个隐层节点对应于输入x1,x2,···,xN的第i个隐层神经元的输出向量.运用式(12),将数据样本集映射到隐含层的特征空间中.设E(W)为ELM网络输出值与实际值之间的误差平方和,问题的求解转化为求解最优权值W=(ω,b,β),使E(W)最小:式中,εj=(εj1,εj2,···,εjm)T 是第 j 个样本的误差.当激发函数无限可微时,并不需要将网络参数全部进行调整,输入连接权值ω和隐含层节点偏置b在训练时可以随机选择.当隐含层节点数目足够多时,输入权随机取值,ELM可逼近任何连续函数.为使ELM具有较好的泛化能力,通常使L≪N.因此,连接隐层和输出节点的权值β可通过求解线性方程组Hβ=T的最小二乘解获得,其解为式中,H+为输出矩阵H的Moore-Penrose广义逆矩阵.至此,基于ELM风速预测算法的步骤如下:(1)随机赋值隐层节点和输入节点的权重ωi、隐层节点偏置bi(i=1,2,···,L);(2)计算隐含层输出矩阵H=(3)通过求解线性方程组(13)的最小二乘解计算输出层权重β.图1给出了基于ELM和PSO-LSSVM的非平稳下击暴流风速预测算法流程.图1 基于ELM和PSO-LSSVM的非平稳下击暴流风速预测算法流程Fig.1 Flowchart of ELM and PSO-LSSVM based on non-stationary downburst wind velocity prediction algorithms3 风速智能预测算法的数值验证3.1 非平稳下击暴流风速模拟下击暴流为雷暴天气中强烈的下沉气流猛烈撞击地面,并由撞击点向四周沿地表传播的极具突发性和破坏性的一种高强风[9].运用时变自回归滑动平均模型(auto-regressive moving average model,TARMA)[10-12]模拟m维非平稳脉动风速的表达式为式中,U(t)为非平稳随机过程向量,Ai(t)为回归系数矩阵,B(t)为时变滑动回归系数矩阵,p为自回归阶数,q为滑动回归阶数,X(t)是方差为1、正态分布的白噪声序列. TARMA模型p=4,q=1,模拟点位于沿下击暴流移动方向且距离下击暴流雷暴中心3 500 m处.下击暴流的平均风速模型采用Oseguera和Bowles模型;竖向分布模型采用Vicroy模型,其中竖向分布风速中最大风速Vmax=80 m/s,所处高度Zmax=67 m;风速场中某高度处径向最大风速Vr,max=47 m/s,与下击暴流中心水平距离rmax=1000 m,径向长度比例系数Rr=700 m.雷暴强度随时间变化的函数为下击暴流平移速度V0=8 m/s.当运用TARMA模型模拟时,上限截止频率为2πrad,N=211,Δω =同时,考虑下击暴流自身移动,模拟时间间隔Δt=0.5 s,模拟时长为1 000 s,共2 000个样本点.图2给出了运用TARMA模型模拟出的高度在20 m处的非平稳下击暴流脉动风速结果.图2 运用TARMA模型模拟出的高度在20 m处的非平稳下击暴流脉动风速Fig.2 Non-stationary downburst f l uctuating wind velocity at 20 m height simulated by TARMA3.2 预测算法数值验证ELM模型的隐层节点L=20,激发函数为Sigmoid;PSO-LSSVM采用RBF核函数,模型核参数2σ2∈[0.01,100],q=3,惩罚参数c∈[0.1,1 000].将非平稳下击暴流脉动风速的分解模型和预测模型两两组合,产生组合预测模型:EMD-ELM,EMD-PSO-LSSVM,FEEMD-ELM和FEEMD-PSO-LSSVM.运用TARMA模型模拟出的1 000 s非平稳下击暴流脉动风速样本是以0.5 s为时间单位,则样本中有2 000个风速点.取前1 000个风速点(500 s)构成训练集,后1 000个风速点(500 s)作为测试集.对1 000 s非平稳下击暴流脉动风速分别进行EMD和FEEMD分解,得到如图3所示的结果,其中的Signal为原始(模拟)非平稳风速,imf 1～8为分解后的固有模态函数,res为筛分后余量很小的剩余分量.在FEEMD分解时,白噪声方差α取为0.25,噪声组的数值取为100.当α取为0,噪声组数值取为1时,FEEMD就转化为EMD.将IMFs进行相空间重构,选取时间延迟τ=1,嵌入维数m=10,于是产生的训练集为990个10维向量,测试集为1 000个10维向量.使用上述4种组合预测模型对该非平稳下击暴流脉动风速样本进行预测,将各个IMF分量的预测结果进行叠加,得到非平稳下击暴流脉动风速的预测结果.图3 非平稳下击暴流脉动风速的分解Fig.3 Decompositions of the non-stationary downburst f l uctuating wind velocity图4 基于ELM和PSO-LSSVM的预测风速与模拟风速比较Fig.4 Comparisons of predicted wind velocity using ELM and PSO-LSSVM with the simulated wind velocity图5 基于ELM和PSO-LSSVM预测风速与模拟风速自相关函数的对比Fig.5 Auto-correlation function comparisons of predicted wind velocity using ELM and PSO-LSSVM with the simulated wind velocity图6 基于ELM和PSO-LSSVM预测风速与模拟风速功率谱函数的对比Fig.6 Power spectral function comparisons of predicted wind velocity using ELM and PSOLSSVM with the simulated wind velocity运用EMD-ELM,EMD-PSO-LSSVM,FEEMD-ELM和FEEMD-PSO-LSSVM预测模型对非平稳下击暴流脉动风速进行预测.图4～6分别给出了预测与模拟的非平稳下击暴流风速、自相关函数以及功率谱函数.由图4～6可知,在非平稳风速、自相关函数和功率谱3个方面,4种预测模型的预测结果均与TARMA模型的模拟值(原始值)较好地吻合,其中FEEMD-ELM的吻合度最高.4 风速智能预测算法的预测性能根据训练集和测试集,分别计算了预测风速与模拟风速的平均绝对误差(mean absolute error,MAE)、均方根误差(root mean square error,RMSE)和相关系数(R),以比较这4种组合预测模型的预测精度.表1给出了4种预测模型对训练集和测试(预测)集的预测性能指标.由表1可以看出,无论是对训练集还是测试集,使用FEEMD分解的各IMF分量来进行预测,其精度均高于EMD;采用ELM预测模型进行预测的效果优于PSO-LSSVM.显然,采用FEEMD-ELM的预测精度是4种预测模型中最好的.综上所述,EMD-ELM和FEEMD-ELM是非平稳下击暴流风速预测的高精度算法.表1 训练集和测试集的预测性能指标Table 1 Prediction performance indexes for training and testing sets预测模型训练集测试集MAE RMSE R MAE RMSE R EMD-ELM 0.688 1 1.201 1 0.997 3 0.561 7 0.937 4 0.997 7 FEEMD-ELM 0.528 6 0.532 3 0.998 8 0.453 4 0.399 0 0.999 0 EMD-PSO-LSSVM 0.701 6 1.476 5 0.996 9 0.770 1 1.536 1 0.996 0 FEEMD-PSO-LSSVM 0.540 8 0.633 5 0.998 6 0.608 9 0.991 5 0.998 0表1中,平均误差为目标值(原始样本数据),^yn为预测值,N为预测样本数;均方根误差RMSE=相关系数R=5 风速智能预测算法的计算速度通过比较计算时间可以发现,运用EMD对非平稳下击暴流脉动风速进行分解的耗时较短;由于EEMD需要向信号中添加白噪声平滑脉冲干扰,因此耗时相对较长;FEEMD则有效改善了EEMD耗时较长的缺点,显著提高了EEMD的分解速度.不过,相对于预测的耗时,脉动风速分解的耗时是可以忽略的.更为重要的是,ELM预测模型的计算耗时约为28 s,而PSO-LSSVM预测模型的计算耗时则约为821 s,PSO-LSSVM耗时约为ELM的30倍.可见,EMD-ELM和FEEMD-ELM是非平稳下击暴流风速预测的高速算法.6 结束语经训练集和测试集非平稳下击暴流脉动风速时间序列、自相关函数和功率谱模拟值与预测值以及预测性能指标的比较后发现,对于EMD-ELM和FEEMD-ELM算法,训练集和测试集的预测精度均高于EMD-PSO-LSSVM和FEEMD-PSO-LSSVM 算法.相对于PSO-LSSVM算法,ELM预测算法的参数选取更容易、简单,在训练过程中不需要调整输入权值和偏置,训练速度显著提高;而且,该算法只需设定合适的隐层节点和激发函数便可以获得唯一的最优解,故EMD-ELM和FEEMD-ELM是非平稳下击暴流风速预测的高精度、高计算速度的算法,其中FEEMD-ELM是更为优秀的算法.参考文献:[1]张翌晖,王贺,胡志坚.基于集合经验模态分解和改进极限学习机的短期风速组合预测[J].电力系统保护与控制,2014,42(10):29-34.[2]HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//Proceedings of International Joint Conference on Neural Networks.2004:985-990.[3]WANG D,HUANG G B.Protein sequence classif i cation using extreme learning machine[C]//Proceedings of International Joint Conference on Neural Networks.2005:1406-1411.[4]HUANG N E,SHEN Z,LONG S R.The empirical mode decomposition andHilbert spectrum for nonlinear and non-stationary time seriesanalysis[J].Proc Roy Soc,1998,454(17):903-905.[5]WU Z,HUANG N E.Ensemble empirical mode decomposition:a noise-assisted data analysis method[J].Advances in Adaptive DataAnalysis,2009,1(1):1-41.[6]WANG Y H,YEH C H.On the computational complexity of the empirical mode decomposition algorithm[J].Physica A,2014,1:159-167.[7]SUYKENS J A K,VAN DEWALLE J.Least squares support vector machine classif i ers[J].Neural Processing Letters,1999,9:293-300.[8]HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:theory and application[J].Neurocomputing,2006,70(1/2/3):489-501.[9]李锦华,吴春鹏,陈水生.下击暴流非平稳脉动风速数值模拟[J].振动与冲击,2014,33(14):54-60.[10]LI J H,LI C X,HE L,et al.Extended modulating functions for simulation of wind velocities with weak and strong nonstationarity[J].Renewable Energy,2015,5:384-397.[11]何亮.基于时变ARMA的非平稳风速模拟与预测[D].上海:上海大学,2015.[12]李春祥,迟恩楠,何亮,等.基于时变ARMA和EMD-PSO-LSSVM算法的非平稳下击暴流风速预测[J].振动与冲击,2016,35(17):33-38.。
基于极限学习机快速分类的人体跌倒检测方法
IMU采集人体腿部运动特征数据，并进行姿态解算;采用ELM 对人体运动特征的
、
和姿态进行分类，判断人
体是否处于跌倒状态；根据机器学 价指标对ELM参数进行优化，
佳数。进行了人体运动状态测量实验,结果表
明，ELM方法能够对IMU测量和处理数据进行准l 地分类。当隐含层结点为1 000时,ELM检测方法跌倒检测的准确率
测并 必要的救助
重要。
年来，中外学者通 同的
测跌倒行
，
一的成果。孙子文等⑶采用
速度和倾角阈
测人
发生跌倒 ，
易受到外界环境干扰，其阈值的 往往
依靠个人， 造 大的检测
差。L
⑷和Khan等&5］采用基 学的跌倒检测
，
通过分析跌倒 地板的冲击状况,如跌倒 生
的 与地板的振动特征等，判
跌倒；由 生
活中其他物体干扰
第19卷第20期2019年7月 1671 —1815(2019)020-0258-07
科学技术与工程
Science Technology and Engineering
Vol. 19 No. 20 Jul. 2019 @ 2019 Sci. Tech. Engra，
引用格式:王晓雷，李栋豪，郑晓婉，等•基于极限学习机快速分类的人体跌倒检测方法& J] •科学技术与工程％ 2019% 19(20)： 258-264 Wang Xiaolei, Li Donghae, Zheng Xiaowan, et al. Human fall detection method based on ELM rapid classibcatCn & J] • Science Technology and Engineering, 2019, 19(20) : 258-264
加权极限学习机在行人检测中的研究和应用
加权极限学习机在行人检测中的研究和应用刘倩; 李策; 杨峰; 刘立波; 邓箴【期刊名称】《《计算机工程与设计》》【年(卷),期】2019(040)008【总页数】6页(P2366-2371)【关键词】加权极限学习机; 自适应增强; 信息熵; 相似性原理; 行人检测【作者】刘倩; 李策; 杨峰; 刘立波; 邓箴【作者单位】中国矿业大学(北京)机电与信息工程学院北京100083; 宁夏大学信息工程学院宁夏银川750001【正文语种】中文【中图分类】TP391.40 引言人体检测是智能监控、人体行为检测和分析的重要前提。
本文研究的内容是基于统计学习的静态图像中行人目标的快速检测。
基于统计学习行人检测方法[1,2]首先计算训练样本的静态特征，然后将其输入到分类器中进行训练，得到该特征下行人的训练模型。
最后利用滑动窗口搜索策略，使用分类器在测试样本图像的特征金子塔中进行搜索识别。
在分类器的选择方面，基于统计学习的行人检测方法中常使用支持向量机[3]、AdaBoost[4]、神经网络[5]和随机森林[6]等。
这些分类器在行人检测中都表现出良好的识别性能。
随着卷积神经网络[7-9]的提出，对神经网络的研究进入了空前的高度。
极限学习机(extreme learning machine，ELM)作为单隐层前馈神经网络(single-hidden-layer feed-forward neural network，SLFN)的特殊形式，受到机器学习各个领域的高度关注。
ELM仅需随机产生隐层输入权值矩阵和隐元偏置两个参数，并且在算法执行中不需要对其进行调整优化，输出权值根据Moore-Penrose广义逆方法计算得出唯一最优解，其运算求解速度远超神经网络算法。
ELM不但可以解决函数估计[10]、决策判断[11]、数据降维[12,13]等经典问题，还可以处理诸如视觉自适应判断[14]等新型问题。
并且，研究者提出ELM和深度学习具有相同的理论结构[15]，并且在某些领域二者之间相互配合得到令人满意的效果[16,17]，比如利用卷积神经网络获取目标特征，ELM快速分类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这周工作：
一、样本的处理
1. 噪声的处理：
裁剪时将噪声去除
2. 归一化
将0-9 10个样本集每个样本集共52个样本合计520个训练样本
每一个样本为 19x19像素 50x50mm的正方格
3. 设立标签
4. 测试样本
预留0-9每个26个样本合计260个样本测试，样本只做裁剪处理
二、了解极限学习机
1.人工神经网络
它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从
而达到处理信息的目的。
2.神经元（节点、处理单元）
示意图：
x1~xn为输入向量X∈Rn的各个分量；w1~wn为神经元各个突触的权值
b为偏置；t为神经元输出
数学表示 t=f(W·X+b)；f为‘神经元’的激励函数。f通常为R→R的非线
性函数。
W·X表示向量W和X的内积
由此可见神经元的功能：将得到的输入变量与输入权重的内积加上偏置的和通过
非线性的激励函数，得到一个标准的输出响应。
3.单隐藏层反馈神经网络
极限学习机是从单隐藏层反馈神经网络发展而来
单隐藏层反馈神经网络特点：
1可以直接从训练样本中拟合出复杂的映射函数
2 可以为大量难以用传统分类参数技术处理的自然或者人工现象提供模
型
3 缺少快速的学习方法
n-L-m结构的单隐藏层反馈神经网络：
输入层：与外界取得联系
隐藏层：与外界没有联系
输出层：向外界反馈信息
在标准的单隐藏层神经网络中，一般的输入层的激励函数均设为g(x)=x的
线性函数。输出层第K个神经元的响应可以表示为
y[k]=[g(W1·X+b1)g(W2·X+b2)……g(wL·X+bL)]·βk+b2[k],k=1……,m
其中Wi∈Rn,i=1……L表示隐藏层第i个神经元的输入权重，简称输入权重
βk∈RL,k=1……m表示输出层第K个神经元的输入权重，简称输出权重
单隐藏层反馈神经元可由如下式紧凑表示：
y=h(x)β+b
s
其中y∈Rm是神经网络输出层所有神经元的响应，简称输出向量：
h(x)= [g(W1·X+b1)g(W2·X+b2)……g(wL·X+bL)]是神经网络层所有神经元对输入
向量x的响应，简称隐藏层响应向量。
β=[βT1 βT2 ……βTm]T是神经网络所有输出权重排列而成的矩阵简称输出权重
矩阵
bi为隐藏层第i个神经元的偏置，bs∈Rm为整个输出层偏置所排列的向量；
T表示矩阵的转置
由上可以看出神经网络实际上建立了一个映射函数f:x→y
理论上来说,神经网络可以通过改变神经元的输入权重来表示任意一个映射的函
数。
在机器学习中，损失函数C表示数学模型f（x）与真实观察t的测度
神经网络的学习过程就可以表示为，在训练样本集中寻找使C最小的Wi bi β
和bs
误差反向传递法：
输入 训练样本集 ，损失函数的容许误差值ε
输出 Wi bi β和bs
步骤：
1.随机生成Wi bi β和bs
2.根据公式计算C
3 while C> ε do
1)计算梯度
2)根据链式求导法则更新Wi bi β和bs
3）向前传播
4）重新计算C
4.end
缺点：当数据过大时，迭代更新时间过长。
5. 极限学习机（训练速度快 训练误差小 泛化性更好）
通过黄教授的两个理论可知：
只要激励函数f ：R→R满足在任意区间上无限可微，那么Wi bi 可以从Rn和R
空间的任何区间内根据任意连续的概率分布随机生成，也就是说单隐藏层反馈神
经网络无需再对Wi bi 进行调整；又因为理论2，我们发现偏置也不再那么重要。
那么我们只剩下β需要确定。
令神经网络的输出等于样本标签得
Y=Hβ
当隐藏神经元个数L等于样本个数N时,即L=N时，β=H-1Y
但是大多数情况下 L<
极限学习机的流程：
输入：训练样本集 隐藏神经元个数L 激励函数f（·）
输出：权重β
1.根据公式生成 Wi bi i=1…….L;
2.根据公式计算H
3.根据公式计算β
即构建出了一个单隐藏层反馈神经网络。那么我们对于一个未知标签的样本就可
以通过神经网络推测出它的标签。
参考文献：[1]甘露.极限学习机的研究与应用[D]西安科技电子大学.2014
[2]杨戈.基于极限学习机的脱机手写体汉字研究[D].东北大学信息科学与工程
学院.2012
[3]刘聪，张新英.集成极限学习机在数字识别中的应用[A]中原工学院信息商务
学院.2016