基于机器学习的蓝藻预测预警方法研究
基于物联网技术的太湖蓝藻水华预警平台
ｔｅＩｔ ｅ ｏ ｈｎｓ（ｏ ）ｔ ｈ ｏ ｇ ｏｅｔｂｉ ａ ａ ｓ ｉ ｉ ｅ ｏｋｗｔ ｒｅｌ ｅ ｔ ｃｕｅ ｎ ｈｓｓｃ ｒ ｈ ｎｅ ｔ ｆ ｉｇ ＩＴ ｅ ｎ ｌ ｙｔ ｓ ｌｈａｄｔ ｔ ｎｍ ｓ ｏ ｎｔ ｒ ｉ ｔ ｅ － ｙｒ ｒ ｔｒ，ａｄｔｕ ｅｕｅ ｎ ｒ Ｔ ｃ ｏ ａ ｓ ａｒ ｓｎ ｗ ｈｈ ａ ｓｕ ｄ ｄｔ ｃｎ ｎ ｉ ．Ｗｉ ｐｏｅ ｔｅａ ａｐｏｃ ｆ ａ ｒ ｕ ｉ ａａ ｅ ｒ，ｔ ｈ ｏ ｇ ｆ ｒｌｓ Ｓｎｏ ｅ ｏｋ（ Ｎ ａａ ｏｔ ｕｔ ｉ ｙ ｔ ｉ ｒｖｄｒ ｒ ｖ ｐ ｒａｈｏ ｗ ｔ ａ ｔ ｐｒｍ ｔ ｓ ｅ ｎｌ ｏ ｅｅｓ ｅｓｒ ｔ ｒ ＷＳ ） ｈｍ ｅｉｌ ｅ ｑｌ ｙ ｅ ｃ ｏ ｙ Ｗｉ Ｎ ｗ
Ｋｅ ｏ ｄ ：Ｔ ｉｕ Ｌ ｋ ；ｂｕ － ｅ ｎ ａ ａ ｌｏ ；Ｉｔ ｅ ｏ ｈ ｇ （ ｏ ） ｏｅ ａｔ ｌ ｏｍ ｙ ｗ ｒ ｓ ａｈ ａ ｅ ｌｅｇ ｅ ｌ ｅｂｏ ｍ ｎｅ ｔ ｆ ｉ ｓ １Ｔ ；ｆ ｃ ｓ ｐａ ｒ ｒ ｇ ｕ ｒ Ｔ ｎ ｒ ｔ ｆ
第３ １卷第 １ ０期
２１ ０ １年 １ ０月
计算机应 用
Ｊ ｕ ｎ ｌ ｆＣ ｍｐ ｔ ｒＡｐ ｌ ａ ｉｎ ｏ ｒ ａ ｏ ｕ ｅ ｐ ｉ ｔ ｓ ｏ ｃ ｏ
Ｖ １３ ． ０ ｏ ． １ Ｎｏ １
环太湖蓝藻图像智能识别系统设计与应用
环太湖蓝藻图像智能识别系统设计与应用目录1. 内容综述 (2)1.1 背景介绍 (3)1.2 研究动机与意义 (4)1.3 系统目标和功能 (5)2. 相关研究综述 (5)2.1 蓝藻污染现状和危害 (7)2.2 蓝藻图像识别技术发展 (8)2.3 深度学习在蓝藻识别中的应用 (10)3. 系统设计 (10)3.1 系统框架 (11)3.2 图像采集与预处理 (12)3.2.1 图像采集方式 (13)3.2.2 图像预处理流程 (14)3.3 图像特征提取 (16)3.3.1 传统特征提取方法 (17)3.3.2 深度学习特征提取网络 (18)3.4 分类模型训练与评估 (19)3.4.1 模型选择与训练策略 (21)3.4.2 性能指标及其评估方法 (22)3.5 系统部署与接口设计 (23)4. 实验验证与结果分析 (24)4.1 数据集构建与标注 (24)4.2 模型训练与测试结果 (26)4.3 性能对比分析 (27)4.4 系统运行效果评估 (28)5. 讨论与展望 (30)5.1 系统局限性与改进方向 (31)5.2 未来应用前景 (32)1. 内容综述随着全球气候变化和工农业活动的加剧，蓝藻水华现象在湖泊、河流等水域中愈发频繁，对水资源质量和生态安全构成了严重威胁。
蓝藻毒素具有高毒性和生物蓄积性，一旦进入人体，可能引发一系列健康问题，如腹泻、肝损伤等，且其危害具有长期性和隐蔽性。
因此，及时、准确地监测和识别蓝藻水华现象，对于预防和控制蓝藻毒素中毒事件具有重要意义。
近年来，图像识别技术在多个领域取得了显著进展，尤其在计算机视觉、模式识别等方面展现出了强大的能力。
将图像识别技术应用于蓝藻水华监测，不仅可以提高监测效率，还能降低人力成本，为蓝藻水华的预警和治理提供有力支持。
目前，已有多种图像识别算法被应用于蓝藻水华的检测与识别中，包括支持向量机以及迁移学习等。
然而，现有的蓝藻图像识别研究仍存在一些不足之处。
基于机器学习的海上目标识别与跟踪研究
基于机器学习的海上目标识别与跟踪研究摘要：海上目标识别与跟踪是一项具有重要意义的技术，可以应用于海洋航行安全、边防安全等领域。
本文主要研究基于机器学习的海上目标识别与跟踪技术，并提出了一种基于卷积神经网络（CNN）的方法。
通过训练大量的海上目标图像样本数据，利用CNN模型实现对不同类型海上目标的自动识别和跟踪。
实验结果表明，该方法具有较高的准确性和鲁棒性，为海上目标识别与跟踪提供了一种有效的解决方案。
1. 引言海洋是人类社会中重要的资源之一，海上航行活动以及海洋边防安全对于国家的发展和安全具有重要意义。
因此，海上目标的准确识别与跟踪成为保障海洋安全的关键技术。
传统的海上目标识别与跟踪方法通常依赖于人工制定规则，需要人工提取特征和进行分类判别，效率低且受限于人的主观因素。
而基于机器学习的方法可以通过大量的样本数据进行训练，自动学习目标特征，提高识别和跟踪效果。
本文将基于机器学习的方法应用于海上目标识别与跟踪，提出了一种基于卷积神经网络（CNN）的方法。
2. 方法2.1 数据集采集与预处理为了构建有效的机器学习模型，需要采集包含不同类型海上目标的数据集。
可以通过传感器、卫星图像或者其他可靠的数据源收集数据。
接着对采集到的数据进行预处理，包括去噪、图像增强、裁剪等操作，以提高模型的训练和识别性能。
2.2 卷积神经网络（CNN）卷积神经网络是一种深度学习的模型，具有良好的图像特征提取能力。
在海上目标识别与跟踪中，可以利用CNN模型学习目标的特征表示。
通过多个卷积层和池化层的组合，可以有效地提取图像的局部特征和全局特征，并进行分类和识别。
2.3 训练与优化在训练阶段，将准备好的数据集划分为训练集和验证集，利用训练集进行模型的训练，使用验证集进行模型的评估和调整。
选择适当的损失函数和优化算法，如交叉熵损失和随机梯度下降法（SGD），来优化模型的参数，提高模型的性能。
3. 实验与结果分析本文使用了一个包含海上舰船、渔船和救生筏的数据集进行实验。
基于机器学习的船舶航行状态预测技术研究
基于机器学习的船舶航行状态预测技术研究近年来，随着人类使用船只进行交通、贸易等活动的不断增加，海洋事故频繁发生，并且常常会造成严重的人员伤亡和财产损失。
为了提高船只安全，保障船员和货物的安全，船舶的航行状态预测日益受到关注。
船舶航行状态预测是指通过对船舶运行相关数据的分析和处理，预测船舶未来的运行状态，包括位置、速度、方向和转向可能等。
这项技术应用广泛，包括海洋交通安全、海事管理、海上救援等领域，其重要性不言而喻。
近年来，在人工智能技术的发展下，机器学习逐渐成为船舶航行状态预测中的一项重要技术。
机器学习技术利用统计学方法分析和处理大量数据，并通过不断地学习和优化算法来发掘数据之间的内在关系和规律，从而预测未来的数据状态。
机器学习在航行状态预测中的应用主要通过以下步骤实现：1. 数据采集：收集各种船舶运行相关数据，包括GPS数据、气象数据、潮汐数据、海洋环境数据、船体姿态数据等。
采集到的数据需要经过预处理和清洗，以确保其质量和准确性。
2. 特征提取：将收集到的数据进行特征提取，提取出与船舶状态相关的特征变量。
特征提取需要根据不同的研究目标和应用场景进行选择，包括频域分析、时域分析、小波分析等方法。
3. 模型训练：将提取出的特征变量输入到机器学习模型中进行训练。
目前，常用的机器学习算法包括神经网络、支持向量机、决策树等。
训练模型需要使用既有数据进行，即历史数据，以便能预测未来的数据状态。
4. 预测结果输出：根据训练模型，处理输入数据后，模型会输出一个预测结果。
这个结果通常是一个实时的船舶运行状态预测，例如船舶未来位置、轨迹走向、船速、航向等。
船舶航行状态预测技术的应用对于提高海洋安全具有重要意义。
通过利用机器学习技术实现的船舶运行状态预测模型，可以为相关人员提供及时的海运信息，并且帮助相关管理部门制定有效的海运安全管理和应急救援预案。
此外，这项技术的发展也有利于促进航运业的生产效率和经济效益。
但是，在机器学习的应用过程中，仍然存在一些挑战和瓶颈。
基于机器学习的空间数据预测模型研究
基于机器学习的空间数据预测模型研究在当今数字化和信息化的时代，空间数据的重要性日益凸显。
从城市规划到环境保护，从交通运输到资源管理，各个领域都依赖于对空间数据的准确分析和预测。
机器学习作为一种强大的数据分析工具，为空间数据的预测提供了新的思路和方法。
空间数据具有独特的特征，如空间自相关性、异质性和多维性等。
这些特征使得传统的统计方法在处理空间数据时面临诸多挑战。
例如，空间自相关性意味着相邻位置的数据往往具有相似性，如果不考虑这种相关性，可能会导致预测结果的偏差。
而机器学习方法能够自动捕捉这些复杂的特征，从而提高预测的准确性。
在众多机器学习算法中，决策树、随机森林和支持向量机等在空间数据预测中得到了广泛应用。
决策树通过对数据的逐步分割和分类，能够生成易于理解的决策规则。
随机森林则是在多个决策树的基础上进行集成，进一步提高了预测的稳定性和准确性。
支持向量机则擅长处理高维数据和非线性关系，对于复杂的空间数据模式具有良好的适应性。
然而，要将机器学习应用于空间数据预测，并非简单地选择一种算法并将数据输入即可。
首先，需要对空间数据进行预处理，包括数据清洗、特征工程和归一化等操作。
数据清洗旨在去除噪声和异常值，确保数据的质量。
特征工程则是从原始数据中提取有意义的特征，以提高模型的学习能力。
归一化则是将数据缩放到相同的尺度，避免因量纲差异导致的模型偏差。
在模型训练过程中，超参数的调整是一个关键环节。
不同的超参数组合会对模型的性能产生显著影响。
例如，在随机森林中，树的数量、最大深度等超参数的选择需要根据具体数据和问题进行优化。
通常，可以采用交叉验证等技术来寻找最优的超参数组合。
此外，模型评估也是不可或缺的步骤。
常用的评估指标包括均方误差、平均绝对误差和决定系数等。
通过比较不同模型在相同数据集上的评估指标，可以选择性能最优的模型。
同时，还需要对模型的泛化能力进行评估，即模型在新的、未见过的数据上的预测能力。
为了提高空间数据预测模型的性能，还可以采用多种技术手段。
用高光谱影像反演蓝藻的方法
用高光谱影像反演蓝藻的方法高光谱影像反演蓝藻的方法是通过分析高光谱图像中的光谱信息，识别出蓝藻的分布情况。
以下是一种常用的方法：1.数据采集：首先，需要使用高光谱遥感仪器获取高光谱影像数据。
这些数据通常包含几十个或者几百个连续的波段，每个波段都代表了不同的光谱信息。
高光谱遥感仪器可以通过不同波段范围内的反射光谱来获取地面物体的特征信息。
2.数据预处理：采集到的高光谱影像数据不可避免地会包含噪声和其他不相关的信息。
因此，在进行反演蓝藻分布之前，需要对数据进行预处理。
常见的预处理方法包括辐射校正、大气校正和大气折射校正等。
这些预处理步骤都是为了去除影像中不相关的信息，保留蓝藻的特征。
3.特征提取和选择：在预处理之后，需要从高光谱影像数据中提取与蓝藻相关的特征。
这可以通过在每个波段上计算不同的光谱指数来实现，例如归一化植被指数（NDVI）和叶绿素指数（CI）。
这些指数可以提供与蓝藻含量相关的信息。
4.模型建立：在特征提取和选择之后，需要使用基于机器学习或统计学的方法来建立一个模型，用于将提取的特征与蓝藻含量之间建立关联。
常用的模型包括支持向量机（SVM）、随机森林（RF）和人工神经网络（ANN）等。
这些模型可以通过训练样本来学习如何根据提取的特征来反演蓝藻含量。
5.反演结果评价：在模型建立之后，需要对反演结果进行评价。
这可以通过与地面实测数据进行对比来实现。
例如，可以与采集到的水质监测数据进行对比，以验证模型的准确性和可靠性。
6.反演蓝藻分布：根据建立的模型和输入的高光谱影像数据，可以计算出整个区域内蓝藻的分布情况。
这些结果可以以图像或者栅格形式显示，以便于进一步的分析和研究。
需要注意的是，高光谱影像反演蓝藻的方法可以根据具体的研究目的和数据条件进行调整和改进。
此外，由于高光谱遥感数据的复杂性和处理过程的技术难度，反演蓝藻分布的结果可能会受到多种因素的干扰，因此在使用反演结果时需要谨慎分析和解释。
机器学习技术在车辆故障预测和预警中的应用案例和方法
机器学习技术在车辆故障预测和预警中的应用案例和方法随着汽车行业的持续发展和智能化进程的加速推进，车辆故障预测和预警成为了保障安全驾驶和延长车辆寿命的重要技术之一。
在这个领域，机器学习技术的应用越来越受到业界的关注和使用。
本文将介绍机器学习技术在车辆故障预测和预警中的应用案例和方法。
一、机器学习在车辆故障预测中的应用案例1. 故障诊断和报警系统机器学习技术可以通过对车辆传感器和系统数据的分析，实现故障诊断和报警。
例如，利用机器学习算法对车辆的引擎温度、发动机转速和油压等参数进行监测和分析，当参数异常超过设定阈值时，系统可以及时发出报警信号，提醒驾驶员检查并采取必要措施。
这种机器学习应用可以大大提高车辆的安全性和可靠性。
2. 故障预测和维护规划机器学习技术可以通过对车辆历史数据的学习和建模，预测未来可能发生的故障，并制定相应的维护计划。
例如，利用机器学习算法对车辆的驾驶习惯、路况和气候等因素进行分析，可以预测哪些部件容易在未来出现故障，从而提前做好相关备件的准备，并制定出最佳的维护方案，避免因故障导致的意外事故和停车维修时间的增加。
3. 驾驶行为监测和评估机器学习技术可以通过对车辆驾驶行为的监测和评估，提供驾驶员潜在故障的预警和改进建议。
例如，利用机器学习算法对车辆的加速度、刹车力度和转弯角度等数据进行分析，可以评估驾驶员的驾驶行为是否存在危险潜在，并给出相应的预警和改进建议，以提高驾驶安全性和驾驶效率。
二、机器学习在车辆故障预测中的方法1. 监督学习监督学习是一种常用的机器学习方法，在车辆故障预测中也得到了广泛应用。
它通过使用已知故障样本和正常样本的特征数据来训练模型，从而实现对未知样本的预测。
常见的监督学习算法包括支持向量机（SVM）、决策树和随机森林等。
这些算法可以利用传感器数据和故障历史数据等来构建故障预测模型，并对车辆的未来故障进行预测。
2. 非监督学习非监督学习是另一种常用的机器学习方法，它主要用于对数据进行聚类和异常检测。
基于机器学习的电力系统故障预警与安全评估方法研究
基于机器学习的电力系统故障预警与安全评估方法研究近年来，随着电力系统规模的不断扩大和负荷的不断增加，电力系统故障事故频发，给社会经济发展带来了严重的影响。
因此，基于机器学习的电力系统故障预警与安全评估方法的研究变得尤为重要。
本文将探讨电力系统故障预警与安全评估方法的研究现状和发展趋势。
首先，为了提高电力系统故障预警的准确性，研究者们采用了各种机器学习算法。
其中，神经网络是最常用的算法之一。
神经网络可以通过学习大量历史数据来自动发现电力系统故障的模式和规律，并做出相应的预警。
此外，决策树、支持向量机等算法也被广泛应用于电力系统的故障预警中。
这些机器学习算法可以帮助电力系统运行人员及时发现潜在的故障隐患，采取相应的措施，防止故障扩大。
其次，电力系统的安全评估是电力系统管理的一项重要任务。
通过对电力系统的安全状况进行评估，可以提前发现潜在的安全风险，并采取相应的措施进行处理。
机器学习技术在电力系统安全评估中的应用也日益增多。
例如，可以利用聚类算法对电力系统的历史数据进行分析和挖掘，识别出可能导致系统故障和事故的因素，并提出相应的安全措施。
此外，支持向量机和遗传算法等方法也可以用于电力系统的安全评估中，以提高评估的准确性和效率。
此外，为了进一步提高电力系统故障预警与安全评估的效果，一些研究者还提出了基于多源数据的方法。
由于电力系统包含着大量的数据，如电压、电流、功率等指标数据，利用这些数据进行综合分析可以更准确地预测故障和评估安全性。
例如，可以结合传感器数据、天气数据和设备状态数据等多源数据，构建一个综合的电力系统故障预警模型。
这种模型可以通过学习不同数据之间的关系和规律，提高故障预测的准确性。
此外，随着人工智能技术的发展，将机器学习算法与其他人工智能技术相结合也成为了研究的热点。
例如，可以通过将机器学习算法与自然语言处理算法相结合，实现对电力系统运行状态的语义分析和理解，进一步提高故障预警和安全评估的效果。
基于BP神经网络的藻类水华预测模型研究
基于BP神经网络的藻类水华预测模型研究张克鑫，陆开宏（宁波大学，应用海洋生物技术教育部重点实验室，浙江宁波 315211）摘要：以宁波大学校内池塘2009年3月至10月间30周的监测数据为基础，运用BP人工神经网络方法构建预测模型，探求颤藻生物量与总氮、总磷、透明度等6项环境因子之间的关系，选出最佳预测模型，并对模型进行敏感度分析。
结果显示：（1）BP神经网络模型对颤藻生物量预测值与实测值之间拟合程度良好，相关系数达到了0.984，说明BP神经网络模型可以用于水体中藻类水华的短期预测。
（2）通过对构建的BP神经网络模型进行敏感度分析，阐明了宁波大学校内池塘藻类水华的主要驱动因素，并指出控制水体的PH值是宁波大学校内池塘藻类水华防治工作的重点。
关键词：BP神经网络；藻华水体；预测模型；颤藻生物量Predicting Model of Algal Blooms Based on BP Neural NetworkZHANG Ke-xin,LU Kai-hong,ZHU Jin-yong,LIU Xia-song,XIE Li-feng（Ministry of Education Key Laboratory of Applied Marine Biotechnology，Ningbo University，315211，Ningbo，Zhejiang，China）Abstract: According to the 30 weeks of monitored data from March to October in 2009 in the School pond of Ningbo University,we constructed a predicting model to deal with the relation between the density of Oscillatoria and 6 environmental factors such as total nitrogen,total phosphorus,secchi depth,etc with the back propagation artifical neutral network method.We selected the best predicting model,and sensitivity analysis was performed to the model.The results showed that the forecasted value of the density of Oscillatoria according to the BP neural network predicting model had a better fit with actual value of the density of Oscillatoria,and the correlation coefficient achieved 0.984,it indicated the BP neural network predicting model can be used for short-term forecast of the algal blooms; and through carried on sensitivity analysis to the constructed BP neural network predicting model,it clarified the main driver factor of algal blooms in the School pond of Ningbo University,and the result showed that controlling PH value would be important to prevent and control the algal blooms in the School pond of Ningbo University.Key words: BP neural network; algal bloom; predicting model; the density of Oscillatoria中图分类号：X824 文献标识码：A文章编号：1 研究对象及方法1.1 宁波大学校内池塘概况宁波大学校内池塘是一个小型藻华水体，该水体富营养化严重，多年发生蓝藻水华，优势藻类主要为蓝藻门的微囊藻属（Microcystis sp.）、色球藻属（Chroococcus sp.）和颤藻属（Oscillatoria sp.）等的一些常见种类。
机器学习算法在河流水质预测中的使用方法
机器学习算法在河流水质预测中的使用方法引言：随着人类活动的不断增加，许多河流的水质问题变得愈发严重。
在过去，人们通常使用传统的环境监测方法进行水质检测，然而这些方法往往耗时且费力。
如今，随着机器学习算法的发展，人们能够借助这些算法来更快速、准确地预测河流水质。
本文将探讨机器学习算法在河流水质预测中的使用方法。
一、机器学习概述机器学习是一种通过让计算机学习和改进经验而不需要明确编程的方法。
它的核心理念是通过训练数据来构建模型，然后使用该模型进行预测或决策。
机器学习算法可以应用于各个领域，包括环境科学领域。
二、数据收集和预处理在进行水质预测之前，首先需要收集相关的数据。
这些数据可以包括水质指标、水文数据以及气象数据等。
数据的准确性和全面性对于机器学习算法的训练和预测至关重要。
在收集到数据后，还需要对数据进行预处理。
预处理的目的是清洗数据、处理缺失值和异常值，并进行特征选择。
清洗数据可以去除重复值和错误的数据记录，以保证数据的准确性。
处理缺失值可以使用插补方法来填充缺失值。
异常值则需要通过统计学方法或者领域知识进行处理。
特征选择是选择对水质预测具有重要影响的特征。
三、特征工程特征工程是对原始数据进行变换和组合，以便更好地表示数据。
通过特征工程，我们可以将原始数据转化为机器学习算法可以理解的形式。
一些常见的特征工程方法包括归一化、标准化、离散化和特征构建等。
归一化和标准化可以将不同范围的特征值统一到一个范围内，以避免某些特征对模型训练的影响过大。
离散化可以将连续特征转化为离散特征，以适应某些机器学习算法的需求。
特征构建可以通过对原始特征进行组合和衍生，得到更具代表性和表达能力的特征。
四、机器学习算法选择与训练在进行水质预测之前，需要选择适合的机器学习算法。
常见的机器学习算法包括线性回归、决策树、支持向量机和深度学习等。
选择算法需要考虑数据的性质、预测的需求以及算法的优劣势等因素。
选择好算法后，需要将数据集划分为训练集和测试集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2(Precision Recall)
F1 = Precision+ Recall
11
4 预测效果和影响因素
12
很好
一般
很差
13
4.1 LSTM模型效果评估
◼ NSE的分布
(a)Density Function
0.0 0.5 1.0 0 1 2 3
0.394
(b)Distribution Function 满意(0.65)：54.3% 较好(0.80)：18.8% 很好(0.90)：2.6%
-0.5
0.0
0.5
NSE
1.0
※ 大量模型可达很好预测效果 14
4.2 预测效果的影响因素
◼ 第一次随机森林模型
➢ 预测变量：离散化的NSE(0.394)
High(77.4%) ; Low(22.6%)
➢ 输入变量：
变量名称 TEM PO4 TIN CHL TP
变量类型 因子 因子 因子 因子 因子
123456
1(138)、4(145)、10(145)、20(153)、30(152)、40(148)、60(103)、80(106)
◼ 边界条件天数
5(227)、10(227)、20(226)、40(225)、60(185)
9
3.2 模型输出结果
◼ 模型输出与分析对象
✓ 1090个LSTM模型，每个模型有15组(实际值 vs 预测值，预测2, 4, 6, …, 30天)Chla浓度输出 ✓ 占用1.58 G存储空间，Train文件夹 1.27 G + Test文件夹 0.31 G，各有1006个csv文件 ✓ 每个Train文件夹中csv文件的Chla输出：2877行 × 15组 (30列)，共8600多万个数据 ✓ 每个Test文件夹中csv文件的Chla输出：693行 × 15组 (30列)，共2000多万个数据
➢ LSTM：保证短期记忆能力的条件下，时滞步长可达1000
➢ 技术关键：Constant Error Backpropagation
( ) ft = Wf ht−1, xt + bf
(1)
( ) it = Wi ht−1, xt + bi
(2)
( ) ( ) Ct = tanh WC ht−1, xt + bC 3
数据
自动监测
常规监测
频次 高(秒、小时、天) 低(周、月)
数据量 大(M、 G)
小(K)
自相关
强
弱、无
4
2 一种思路： “水质模型-机器学习”
5
2.1 如何解决传统方法失效问题
➢ 回归方法：Βιβλιοθήκη 线性、非线性➢ 一般机器学习方法：高维度
➢ 普通递归神经网络：误差爆炸或消失→无法解决长时依赖问题(最多10步)
yi − y
2
RMSE =
( ) T
t =1
yt − yˆt
2
n
MAPE = 1
T
T yt − yˆt y t =1
t
◼ 预警
过拟合：比较训练样本和检验样本的NSE
Accuracy =
TP + TN
TP + FP + FN + TN
Precision = TP TP + FP
Recall = TP TP + FN
CHL Latent
PO4 TIN PreDay Border
◼ 结果：因子重要度
150 ▼ ▼ (a)LSTM因子重要度
100
▼▼
50
0
▼▼▼▼▼
0.25
(b)RF错误概率
0.20
0.15
0.10
3.9%
0.05
0.00
15
4.2 预测效果的影响因素
-0.5 0 0.5 1
无有
TEM PO4 TIN
水质模型 → 湖泊系统 次生大数据 → 观测大数据
7
3 案例介绍
8
3.1 LSTM模型
◼ 输入(4类9个)
(1)水温：TEM (2)生物量：CHL、CHC (3)磷：{TP、TPN}、PO4 (4)氮：{TN、TNN}、TIN
0.10
0.20
0.30
输入变量个数的出现频率
0.00
◼ 模型结构：隐层个数
16
4.2 预测效果的影响因素
◼ 第二次随机森林模型
➢ 预测变量：NSE(>0.394)
◼ 回答哪些问题?
➢ 模型效果：能否满足CHL的预测与预警效果 ➢ 预测与预警效果的影响因素：哪些是重要的? → 指导未来自动监测 ➢ # 预警效果对阈值的稳健性：80 μg/L 、100 μg/L?
10
3.3 模型评价指标
◼ 预测
NSE = 1−
( ) n
i =1
yi − yˆi
2
( ) n
i =1
基于机器学习的 蓝藻预测预警方法研究
1
1 大数据时代： 水质预测预警的机遇与挑战
2
1.1 水质管理进入大数据时代
◼ 水质管理大数据(Big or Intensive Data)的来源
✓ 手动监测数据的时空累积和开放获取 ✓ 自动监测站的建立和自动监测数据的开放获取 ✓ 遥感解译 ✓ 高精度水质模型的输出结果
变量水平 2个：Y、N 2个：Y、N 2个：Y、N 3个：CHL、CHC、NCH 3个：TP、TPN、NTP
TN
因子
3个：TN、TNN、NTN
隐层个数 数值
8个：1、4、10、20、 30、40、60、80
边界天数 数值 5个：5、10、20、40、60
预测天数 数值
15个：2~30的偶数
TEM TP TN
Ct = ft Ct−1 + it Ct
(4)
( ) ot = Wo ht−1, xt + bo
(5)
ht = ot tanh (Ct )
(6)
6
2.2 如何解决自动监测数据匮乏的问题
➢ 数据-模型融合的3种方式
➢ 在自动监测时间序列缺乏的条件下，通过能够准确描述湖泊系统动态的高度非 线性动力学模型(可靠的水质模型)，获取次生大数据
…
◼ 水质管理：预测和预警
➢ 预测：水质指标(未来时刻)的浓度值 ➢ 预警：水质指标未来时刻的达标(超过特定阈值)状况
◼ 蓝藻的预测和预警
➢ 富营养化和藻类水华：危害严重，形势严峻 ➢ 大数据时代(长时间连续观测数据)：如何进行有效的预测预警
3
1.2 自动监测数据→预测和预警：机遇和挑战
◆ 自动监测数据 VS 常规监测数据
TNN & TPN
P
N
B
NTP TP TPN NTN TN TNN CHC CHL NCH
➢ 包含TEM则NSE均较高，模型均为High ➢ 包含CHL或CHC则NSE均较高，模型均为High ➢ 包含TPN或TNN模型可以为Low ➢ 但当TPN或TNN与TEM或CHL(CHC)同时作为
输入变量时，模型均为High