深度极限学习机的研究与应用

太原理工大学硕士研究生学位论文

摘要 ......................................................................................................................................... I ABSTRACT ............................................................................................................................ I II 目录 ........................................................................................................................................ VII 第1章绪论. (1)

1.1 课题研究背景及意义 (1)

1.2 国内外研究现状 (2)

1.3 本文主要研究内容 (3)

第2章极限学习机 (7)

2.1引言 (7)

2.2人工神经网络 (7)

2.2.1神经网络的结构 (8)

2.2.2单隐含层前馈神经网络 (9)

2.3极限学习机 (11)

2.3.1极限学习机理论 (12)

2.3.2极限学习机算法 (13)

2.4本章小结 (14)

第3章深度极限学习机 (15)

3.1引言 (15)

3.2深度神经网络 (15)

3.2.1卷积神经网络 (16)

3.2.2深度信念网络 (17)

3.2.3自编码器 (19)

3.3深度极限学习机 (20)

3.4 本章小结 (22)

第4章基于深度极限学习机的多模态融合技术 (23)

4.1引言 (23)

4.2多模态深度学习 (24)

VII

太原理工大学硕士研究生学位论文

4.2.1同构数据 (24)

4.2.2异构数据 (25)

4.3机器抓取 (28)

4.4问题描述 (29)

4.5 基于深度极限学习机的多模态融合算法 (30)

4.6 实验结果及分析 (35)

4.6.1 Cornell grasping 数据库 (35)

4.6.2 实验结果 (36)

4.6.3 参数灵敏度实验 (39)

4.7 本章小结 (41)

第5章基于深度极限学习机的时间序列预测 (43)

5.1 引言 (43)

5.2 时间序列预测 (44)

5.3 问题描述 (45)

5.4 时间序列预测模型 (46)

5.4.1 训练样本提取 (47)

5.4.2 DELM模型推导 (48)

5.5公开数据集介绍 (49)

5.6 实验结果及分析 (49)

5.6.1 单步预测 (50)

5.6.2 多步预测 (52)

5.7 本章小结 (55)

第6章总结 (57)

参考文献 (59)

致谢 (63)

攻读学位期间发表的学术论文目录 (65)

VIII

太原理工大学硕士研究生学位论文

图索引

图2-1 神经元示意图 ........................................................................................................ 8 图2-2 单层前馈神经网络 ................................................................................................ 8 图2-3 多层前馈神经网络 ................................................................................................ 9 图2-4 递归神经网络结构 ................................................................................................ 9 图2-5 单隐含层前馈神经网络模型图 .......................................................................... 10 图3-1 典型的卷积神经网络结构 .................................................................................. 16 图3-2 深度信念网络结构图 .......................................................................................... 17 图3-3 堆栈自编码结构图 .............................................................................................. 19 图3-4 DELM-AE 的逐层训练机制 ................................................................................ 21 图4-1 同构多模态数据融合模型 .................................................................................. 25 图4-2 异构多模态数据融合模型 .................................................................................. 26 图4-3 多模态深度融合模型 .......................................................................................... 26 图4-4 多模态卷积神经网络 .......................................................................................... 27 图4-5 跨模态特征表达 .................................................................................................. 28 图4-6 识别和判断每一个候选抓取点的过程示意图 .................................................. 29 图4-7 一种简单地浅层融合方法 .................................................................................. 30 图4-8 多模态深度融合模型 .......................................................................................... 31 图4-9 DELM 表达学习过程详解 .................................................................................. 34 图4-10 ELM 决策过程 ................................................................................................... 35 图4-11 康奈尔数据集中部分物体候选抓取点 ............................................................ 36 图4-12 不同隐含层节点下不同方法的识别准确率 .................................................... 38 图4-13 候选抓取点识别实例 ........................................................................................ 39 图4-14 MM-DELM 模型对参数n h 和λ的敏感度 ....................................................... 39 图4-15 h n 子空间内MM-DELM 的测试准确率 .......................................................... 40 图4-16 子空间内MM-DELM 的测试准确率 .......................................................... 41 图5-1 局部预测模型 ...................................................................................................... 45 图5-2 基于DELM 的时间序列预测流程 .. (47)

太原理工大学硕士研究生学位论文

图5-3 基于DELM的局部预测模型 (48)

图5-4 五组时间序列预测结果图 (52)

图5-5 各种相似性度量法在多步预测中的对比图 (53)

图5-6 各种局部预测模型在多步预测中的对比图 (55)

太原理工大学硕士研究生学位论文

表索引

表2-1极限学习机的算法流程 (14)

表3-1 对比散度算法流程 (18)

表4-1 基于MM-DELM的机器抓取识别 (32)

表4-2 康奈尔抓取数据集的识别结果 (37)

表4-3 不同模态特征的识别准确率 (37)

表5-1 预测模型输入输出关系 (45)

表5-2 时间序列局部建模预测算法 (46)

表5-3 实验数据集划分 (49)

表5-4 五个数据集的单步预测结果 (50)

表5-5 局部预测模型多步预测结果 (54)

太原理工大学硕士研究生学位论文

第1章绪论

1.1 课题研究背景及意义

机器学习是一种研究事物客观规律的数据驱动的研究方法，可以挖掘数据中的抽象信息并为数据中的内在联系建立模型。机器学习已成为大数据时代数据分析的主要研究方法，其成果被应用于各种各样的实际任务中，已成为数据挖掘、模式识别等领域的主流研究方法。

人工神经网络是一种常见的机器学习算法，可以自主学习数据的特征表达，从而避免了人工选取过程，尤其是多层神经网络，多隐含层结构有助于提取数据中抽象的特征，一直以来受到人们的广泛关注。然而多层神经网络的学习曾经困扰学者长达30多年，从上个世纪50年代感知机模型的出现直到80年代反向传播算法（Back Propagation，BP)的提出才使得多层神经网络的学习成为可能。然而，近几年随着深度神经网络(Deep Neural Network，DNN)，即多隐含层神经网络的兴起，人们发现BP算法也存在着明显的缺陷使其在当今大数据时代难以立足：

(1) BP算法需要迭代更新权重和偏置，在整个神经网络的规模非常庞大的情况下，需要更新的元素过多，计算复杂度过大，计算效率低下；

(2) 在BP算法中，误差梯度从网络高层传递到底层，呈逐层递减趋势。当神经网络的层数较多时，梯度传递到低层时通常已经变得非常小，不足以更新网络底层的权值和偏置，因此BP算法难以满足深度神经网络的要求。

近年来，极限学习机(Extreme Learning Machine，ELM)作为一类新兴的机器学习方法，渐渐走进人们的视线，鉴于其学习速率快、泛化性能好、不易陷入局部最优等优势，被越来越多的应用于实际任务中。与传统BP算法相比，极限学习机具有明显的优势。

在BP算法中需要设置合适的学习率以及防止过度训练的停止准则，而且算法需要迭代调整网络中大量的权值参数，不仅时间损耗过大，而且容易陷入局部最优；而ELM 只需要设置网络的隐层节点个数，在学习过程中随机选定输入权重和隐含层偏置，通过求解隐含层输出矩阵的Moore-Penrose广义逆来确定输出权重，节省了大量的训练时间。

因此，ELM以其灵活性、快速的学习速度以及计算效率，被广泛地用于各种分类和回归问题，但传统的极限学习机仅仅适用于单隐层前馈神经网络，它的浅层结构使其