4-时间序列互信息算法
基于LSTM的短期风向预测
电力系统Electric System2020年第24期2020 No.24电力系统装备Electric Power System Equipment风能是一种可持续利用且低污染、储量丰富的能源，风能的高效利用一直以来是科研和工程研究领域一直关注的问题。
其中，风电机组偏航系统调节是一种提高风电发电效率的重要方法。
目前，风场常使用实时风向信息对偏航系统调节进行指导，由于风向的不确定性以及其他不利因素，这种调节滞后风向变化，并不能真正做到对于风向变化的实时的偏航系统调节，从而降低了风电机组发电效率。
为了解决这一问题，本文提出使用长短时记忆网络（LSTM ）实现对风向的预测，为实现偏航系统高效调节提供参考信息。
风向建模一般采用统计模型和数据驱动模型。
统计学模型一般通过统计处理批量数据来探索历史风向和当前时刻风向的关系。
李莉等[1]提出了一种基于流体力学流场预计算的风速风向预测模型，但预测模型没有良好的时间序列处理能力。
丁藤等[2]提出的改进自回归滑动平均-广义自回归条件异方差模型只能对风速（风向）进行短期甚至超短期预测。
孙驷洲等[3]提出一种基于混沌高斯局部吸引点量子粒子群优化最小二乘支持向量机（LSSVM ）的短期风电功率预测模型，但其耗时长，不利于短期风功率及风向预测。
Kavasseri R G 等[4]提出了一种部分自回归滑动平均模型，能够在存在相关性的情况下节俭地捕捉时间序列。
数据驱动包括机器学习与深度学习2种建模方法，可以有效地解决风向建模问题。
郭振海等[5]提出一种基于BP 神经网络的混合风速预测方法，并利用季节指数调整消除实际风速数据集的季节效应。
刘辉等[6]提出了一种结合变分模态分解，奇异谱分析，LSTM 网络和极限学习机的风速多步预测模型，有效的挖掘了时间序列中含有的时间信息。
G.J.O 等[7]提出了一种结合互信息、小波变换、进化粒子群优化和自适应神经模糊推理系统的短期风力发电预测方法，实现了预测精度和计算时间之间的平衡。
时间序列分析及相空间重构讲解
多变量时间序列的相空间重构
X(n)=(x(n),x(n-τ1 ),…x(n-(m1-1)τ1, ,y(n),y(n-τ2 ),…y(n-(m2-1)τ2)
重构后时间序列的维数为m1+m2
多变量时间序列预测
设时刻T的状态向量为
X(T)=(x(T),x(T-τ1 ),…x(T-(m1-1)τ1, ,y(T),y(T-τ2 ),…y(T-(m2-1)τ2)
时间序列的定义
按照时间的顺序把事件变化发展的过程 记录下来就构成了一个时间序列。对时 间序列进行观察、研究，找寻它变化发 展的规律，预测它将来的走势就是时间 序列分析。
时间序列例1
德国业余天文学家施瓦尔发现太阳黑子的活动具有11年左右的周期
时间序列例2
上证指数
相空间重构
如果把一个时间序列看成是由一个确定性 的非线性动力系统产生的,要考虑的是以 下反问题:如何由时间序列来恢复并刻划 原动力系统?
c122
y(T
) y(T
2)
c2 m2m2
y(T
(m2
1)
2)2
设X(T)的K个最近邻点为X(T1),…X(TK)
如果系统是确定的，则当X(T)靠近X(Ti)时， X(T+1)应靠近X(Ti+1)
以最小二乘估计参数
c0 , c110 ,cm2 2m2
即求系数
c0
,
c110
,
c2 m2m2
使得
K
2
局部平均预测法 局部线性预测法 局部多项式预测法 全域预测法 神经网络 小波网络 遗传算法
局部平均预测法
设时刻T的状态向量为
X(T)=(x(T),x(T-τ),…x(T-(m-1)τ))
时间序列算法预测的步骤
时间序列算法预测的步骤时间序列算法预测是一种基于历史数据的预测方法，它可以帮助我们预测未来的趋势和变化，为未来的决策提供依据。
下面，我们将详细介绍时间序列算法预测的步骤。
第一步，数据准备。
这一步的目的是收集并整理所需的历史数据。
数据的完整性和准确性对预测的结果有着决定性的影响。
我们需要考虑以下几个方面：数据来源，时间跨度，数据频率，数据的格式和完整性。
第二步，数据可视化。
为了更好地了解数据的性质和特点，我们需要将数据进行可视化处理。
这一步通常包括绘制时间序列折线图、柱状图、散点图等。
通过可视化，我们可以看出数据的趋势、周期、季节性、噪声等信息。
第三步，数据预处理。
在进行预测之前，我们需要对数据进行预处理，以提高预测的准确性。
常用的预处理方法有去趋势、差分、对数变换等。
去趋势是将数据趋势部分移除，以消除非周期性因素的影响。
差分是对数据的一阶或二阶差分进行计算，以去除数据的季节性变化。
对数变换则可以用来压缩数据的变化范围，使数据更稳定、更适合预测。
第四步，模型选择。
选择合适的时间序列模型是预测的关键。
根据数据的特点，我们可以选择不同的预测模型。
常用的模型包括ARIMA模型、ARMAX模型、SARIMA模型等。
选择合适的模型需要考虑数据的性质、预测精度和预测时间等因素。
第五步，模型训练。
在进行模型训练之前，我们要对数据进行分割，将数据分成训练集和测试集。
训练集用于模型参数的估计，测试集用于验证模型的预测精度。
在训练过程中，我们通过最大似然估计等方法对模型的参数进行估计。
第六步，模型评估。
模型的评估可以通过预测误差进行。
常用的预测误差有平均绝对误差（MAE）、均方误差（MSE）、平均绝对百分误差（MAPE）等。
通过模型评估，我们可以了解模型的预测精度和误差水平。
第七步，模型预测。
在对模型进行评估之后，我们可以使用模型进行预测。
预测结果应该跟实际值进行比较，以验证预测模型的可靠性和准确性。
综上所述，时间序列算法预测的步骤包括数据准备、数据可视化、数据预处理、模型选择、模型训练、模型评估和模型预测。
互信息算法分类
互信息算法是一种用于分类的统计方法，它通过计算两个随机变量之间的信息含量来评估它们之间的相关性。
在分类问题中，互信息算法可以帮助我们找到特征之间的关联性，从而帮助我们选择更好的特征，提高分类器的性能。
互信息算法的基本思想是通过计算两个随机变量之间的互信息来衡量它们之间的相关性。
具体来说，假设有两个随机变量X和Y，它们的联合概率分布为P(X, Y)，则互信息定义为它们之间的信息量之差，即：H(X) + H(Y) - H(X, Y)其中H(X)和H(Y)分别是X和Y的信息量，H(X, Y)是X和Y的联合信息量。
当两个随机变量完全不相关时，它们的互信息为零；当它们完全相关时，它们的互信息趋向于无穷大。
在分类问题中，我们可以将互信息算法应用于特征选择和分类器设计。
首先，我们需要对数据进行特征提取，得到一组特征向量。
然后，我们可以使用互信息算法来计算这些特征向量之间的相关性。
通过比较不同特征之间的互信息值，我们可以选择相关性更强、更具有代表性的特征进行分类。
在选择特征之后，我们可以使用分类器进行分类。
常见的分类器包括决策树、支持向量机、神经网络等。
在应用互信息算法时，我们可以根据特征之间的相关性来调整分类器的参数，例如调整决策树的分裂标准、支持向量机的核函数等。
通过这种方式，我们可以提高分类器的性能，减少误分类和漏分类的情况。
除了特征选择和分类器设计之外，互信息算法还可以用于评估分类器的性能。
通过比较不同分类器在不同特征集下的互信息值，我们可以选择具有更高相关性的特征集，从而提高分类器的准确性和泛化能力。
此外，我们还可以使用互信息值来评估不同样本集之间的相似性，从而选择更适合的数据集进行训练和测试。
总之，互信息算法是一种非常有用的统计方法，它可以帮助我们选择更好的特征、设计更好的分类器以及评估分类器的性能。
通过合理应用互信息算法，我们可以提高分类器的准确性和泛化能力，从而更好地解决实际问题。
统计学原理 时间序列 知识点公式汇总
最小平方法
季节变动分析
折线图
散点图
3年↑资料
同期平均法
1、列表横：月/季，纵：年
2、∑各年同月/季及各年同月/季平均数
3、∑同年各月/季及同年各月/季平均数
4、求季节比率（季节指数）
S.I.=同月（季）平均数/全期各月平均数*100%
月资料，∑季节比例=1200%
累计增长量=报告期水平－某一固定时期（基期）水平
累计增长量=∑逐期增长量
年距增长量=报告期发展水平－上年同期发展水平
平均增长量
平均增长量=∑逐期增长量/逐期增长量个数
=累计增长量/（动态数列项数－1）
时间序列速度指标分析
发展速度
发展速度=报告期水平/基期水平
定基发展速度（总速度）=报告期水平/基期水平
时点
连续时点
连续变动时点
（日日登记）
简单算术平均
非连续变动时点
（有变动才登记）
加权算术平均
间断时点
间隔相等
首末折半法
本期平均数=
（期初+期末）/2
间隔不等
先两两平均
后加权平均
相对数
和
平均数
分别计算分子、分母的序时平均数，后加以对比得
增长量
增长量=报告期水平－基期水平
逐期增长量=报告期水平－前一期水平
时间序列的种类
绝对数
总量指标
时期：可加性、连续不断的登记而成、时期越长其指标数值越大
时点：不可加性、一定时点登记一次
相对数
比例关系、速度、结构不可加
平均数
反应一般水平
时间序列的编制原则
时期长短一致、总体范围一致、指标的经济内容一致、计算口径一致
机器学习中的时间序列算法分析
机器学习中的时间序列算法分析随着各种智能设备和物联网的不断普及，大量的时间序列数据呈现出爆炸式增长的趋势。
时间序列数据是指随着时间而变化的数据，例如气温、人口数量、股票价格、交通流量等。
对于这些数据的分析和预测是实现智能化和精细化管理的关键。
机器学习中的时间序列算法是一种可行的解决方案，它通过对过去的数据进行学习和分析，在未来的预测中提供参考。
一、时间序列算法的基本原理在机器学习中，时间序列算法是一种监督学习方法，其基本原理是利用历史数据，通过学习和建模，预测未来的趋势和变化。
时间序列算法的处理对象是序列数据，其特点是时间维度是关键的，一个数据点的值与前后数据点形成的前后关系是重要的。
时间序列算法的过程一般包括以下几个步骤：数据采集：从各种数据源采集时间序列数据，包括传感器、设备、网络等。
数据预处理：对采集的原始数据进行预处理和清洗，包括缺失值的填充、异常点的剔除、数据平滑等。
特征提取：从预处理后的数据中提取有意义的特征，包括均值、方差、周期性、趋势性等。
建模训练：根据特征提取的结果，选取合适的模型进行训练，包括ARIMA模型、LSTM模型等。
预测分析：利用训练好的模型对未来的数据进行预测，并对预测结果进行分析和评估。
二、时间序列算法的常见模型1. ARIMA模型ARIMA模型，即自回归移动平均模型，是一种经典的时间序列预测模型，它主要包括三个部分：自回归过程、差分过程和移动平均过程。
ARIMA模型的主要作用是对数据的平稳性进行测试、对时间序列数据进行差分运算、并通过ARIMA（p，d，q）的方法进行预测。
ARIMA模型的核心是AR和MA模型，其中AR（p）代表自回归模型，MA（q）代表移动平均模型。
AR模型利用过去的值来预测未来的值，而MA模型利用过去的预测误差来预测未来的值。
ARIMA模型在时间序列预测和分析中有着广泛的应用。
2. LSTM模型LSTM模型，即长短期记忆网络模型，是一种神经网络模型，它通过对序列数据的状态进行记忆，实现了对长期依赖性的建模。
时间序列分类算法
时间序列分类算法
时间序列分类是指将时间序列数据分为不同的类别或标签。
以下是几种常用的时间序列分类算法：
1.K-近邻算法（K-NN）：这是一种无参数算法，通过计算样本之间的距离来对样本进行分类。
KNN算法通过选取与当前样本距离最近的K个样本的多数投票来预测该样本的分类。
该算法适用于简单分类问题，但对于大规模数据集会面临计算时间和空间方面的问题。
2.支持向量机（SVM）：SVM尝试找到一个分隔面来将两个不同的类分开。
通常使用核技巧来处理非线性分类任务。
该算法适用于复杂分类问题和数据集较小时的问题。
3.决策树：决策树通过从样本数据中学习规则来判断分类。
学习过程基于信息熵等度量标准运作。
每个决策树节点考虑一个属性，并将样本分成子集，树的分支根据属性值来分配。
分类树是最常见的决策树。
4.随机森林：随机森林是一种基于决策树构建的集成学习算法。
在随机森林分类器中，许多决策树构成了一个固定大小的森林。
其随机性来自于每个子树使用的样本和属性数量，属性被随机选择。
5.神经网络模型：神经网络模型是一种非常灵活和可扩展的模型，因其设计灵活性和能够在大数据集上进行训练而受到广泛关注。
在时间序列分类任务中，循环神经网络（RNNs）和卷积神经网络（CNNs）是最常用的神经网络模型之一。
RNNs可以对序列数据建模，而CNNs可以对时间序列进行滚动卷积操作，以捕捉局部模式和全局模式。
这些算法可用于分类各种时间序列数据，如股票、气象、心电图等数据。
选择哪个算法最适用于特定任务取决于数据集的特点和应用场景。
时间序列生成的方法
时间序列生成的方法时间序列生成方法一、介绍时间序列是指按照时间顺序排列的一组观测值或数据点。
时间序列分析是对这些数据进行模型建立、预测和分析的一种方法。
时间序列生成方法是指通过一定的技术手段，根据已有的时间序列数据，生成新的时间序列数据。
二、随机游走模型随机游走模型是最简单的时间序列生成方法之一。
它假设未来的观测值与当前观测值相等，即未来的变化是随机的。
随机游走模型的数学表达式为：X(t) = X(t-1) + ε(t)，其中X(t)表示时刻t的观测值，ε(t)表示时刻t的白噪声。
三、自回归模型自回归模型是一种常用的时间序列生成方法。
它假设未来的观测值与过去的观测值相关，可以通过线性组合来表示。
自回归模型的数学表达式为：X(t) = φ(1)X(t-1) + φ(2)X(t-2) + ... + φ(p)X(t-p) + ε(t)，其中X(t)表示时刻t的观测值，φ(1)、φ(2)、...、φ(p)为自回归系数，ε(t)为时刻t的白噪声。
四、移动平均模型移动平均模型是另一种常用的时间序列生成方法。
它假设未来的观测值与过去的白噪声相关，可以通过线性组合来表示。
移动平均模型的数学表达式为：X(t) = ε(t) + θ(1)ε(t-1) + θ(2)ε(t-2) + ... + θ(q)ε(t-q)，其中X(t)表示时刻t的观测值，ε(t)为时刻t的白噪声，θ(1)、θ(2)、...、θ(q)为移动平均系数。
五、ARMA模型ARMA模型是自回归模型和移动平均模型的组合，是一种更为复杂的时间序列生成方法。
ARMA模型的数学表达式为：X(t) = φ(1)X(t-1) + φ(2)X(t-2) + ... + φ(p)X(t-p) + ε(t) + θ(1)ε(t-1) + θ(2)ε(t-2) + ... + θ(q)ε(t-q)，其中X(t)表示时刻t的观测值，φ(1)、φ(2)、...、φ(p)为自回归系数，ε(t)为时刻t 的白噪声，θ(1)、θ(2)、...、θ(q)为移动平均系数。