数据采集与处理讲解

1数据的采集与处理1.1数据的采集施工监控中需对影响施工及控制精度的数据进行收集，主要包括环境参数和结构参数，前者又主要是指风速风向数据；后者主要指结构容重、弹模等数据。

施工监控需进行收集的数据如表1-1所示。

1.1.2数据采集方法基于港珠澳大桥特殊的地理位置，采用远程数据采集系统，与传统的数据采集系统相比，具有不受地理环境、气候、时间的影响等优势。

而借助无线传输手段的远程数据采集系统，更具有工程造价和人力资源成本低，传输数据不受地域的影响，可靠性高，免维护等优点。

远程无线数据采集系统的整体结构如图1-2所示。

1-2 远程无线数据采集系统组成结构图1.2数据的处理与评估在数据分析之前, 数据处理要能有效地从监测数据中寻找出异常值, 必须对监测数据进行可靠性检验, 剔除粗差的影响, 以保证监测数据的准确、可靠。

我们拟采用的是最常用的μ检验法来判别系统误差; 用“3σ准则”剔除粗差; 采用了“五点二次中心平滑”法对观测数据进行平滑修正。

同时, 在数据处理之后, 采用关联分析技术寻找某一测点的最佳关联点, (为保证系统评判的可靠性, 某一测点的关联点宜选用2 个以上)。

我们选用3 个关联测点, 如果异常测值的关联测点有2 个以上发生异常, 且异常方向一致, 则认为测值异常是由结构变化引起, 否则, 认为异常是由监测系统异常引起。

出现异常时, 经过判定, 自动提醒用户检查监测系统或者相应的结构(根据测点所在位置), 及时查明情况, 并采取一些必要的应急措施, 同时对测值做标注, 形成报表, 进行评估。

1.2.1系统误差的判别判别原则: 异常值检验方法是建立在随机样本观测值遵从正态分布和小概率原理的基础之上的。

根据观测值的正态分布特征性, 出现大偏差观测值的概率是很小的。

当测值较少时, 在正常情况下, 根据小概率原理, 它们是不会出现的, 一旦出现则表明有异常值。

依统计学原理: 偏差处于2 倍标准差或3 倍标准差范围内的数据为正常值, 之外的则判定为异常。

事实上标准差σ多数情况下是求知的, 通常用样本值计算的标准差S 来替代。

桥梁健康监测资料的数据量特别大, 一般都为大样本, 所以我们用μ检验。

在分析中, 我们将所得的数据分成两组Y1 、Y2,并设()1211,1Y N u δ, ()2222,2Y N u δ择统计量为:'y y U -=(1)式中12y y 、—两组样本的平均值: 21n 、n —两组样本的子样数:21S S 、 —两组样本的方差。

若'2a U U ≥ (2)则存在系统误差。

否则, 不存在系统误差。

1.2.2 粗差点的剔除在观测次数充分多的前提下, 其测值的跳动特征描述如下式:()112j j j j d y y y +-=-+ (3)式中j y (j=1,2,3,4,……,n- 1)是一系列观测值。

由n 个观测值1,2...n y y y 可得n - 2 个d, 当n 足够大时, 可按“3σ准则”进行检验, 舍弃异常值。

首先, 计算机跳动统计子样的平均值d 和均方差σ:122n jj d d n ===-∑(4)δ=(5)进一步计算出各个观测值跳动偏差的绝对值与均方的比 值: j j d dq δ-=(6)当j q >3, 认为此值异常。

舍弃异常值后, 再作二次多项式五点中心移动平滑, 以实测值与平滑值之差作为跳动统计量, 再进行检验。

1.2.3观测数据修正该系统采用的是“五点二次多项式中心移动平滑”即观测数据为:0,1,2,1,,1,2,2,1,............i i i i i m m m y y y y y y y y y y --++--()22i y m m ≤≤-平滑修正值为:()()22111121735i i i i i i Y y y y y y -+-+=-++++⎡⎤⎣⎦ (7) 端点的平滑修正值为:()001214131935335Y y y y y y =+--+ (8) ()1012141913126535Y y y y y y =+++- (9)()141211561213935m m m m m m Y y y y y y -----=-++++ (10)()4121135393135m m m m m m Y y y y y y ----=--++ ( 11)式中0Y 为第一点的平滑修正值; 1Y 为第二点的平滑修正值; 1m Y -为倒数第二点的平滑修正值; m Y 为倒数第一点的平滑修正值。

依次类推, 这组观测数据可全部进行平滑修正。

经过预处理后, 通过剔除含系统误差的异常值和粗差点, 并对余下的数据进行平滑处理, 去除了数据曲线中的毛刺数据,使得数据曲线能够较为真实地反映现场情况, 也为将来进行关联分析、模态分析、专家评估等系统提供可靠的基础数据。

1.2.4数据的关联分析利用关联度分析法对监测点进行相关性分析是一种简便而效的方法。

通过测点之间关联度计算, 可有效地确定测点的关联程度, 从而找出关联程度最高的测点, 利用所建立的关联模型, 可起到监测数据相互校验的目的。

同一截面的相邻部位的各测点之间有一定的相关性, 离参点近的测点, 其相关程度一般较高, 所以, 在选择相关点时, 一般先考虑邻近点。

且一般同类观测量的相关程度高于其他类型观测量。

所以, 应选择邻近的同类型测点作为相关检验测点。

设原始数据序列为:()()(){}001,2......k k n χχ== ( 12)设原始数据序列中,0,1χχ分别为参考序列与比较序列, 即(){}001,2......k k n χχ== ( 13)(){}1,2......i i k k n χχ== ()1,2,...,i n = ( 14)则斜率关联度法计算公式为公式(15- 19 )。

对于某一工程部的所有监测点, 通过关联度的计算, 可确定相关性较好的子集。

()()101111jin k j i r n k k χχχχσσ-==∆∆+-∑ （15）jχσ= （16） ()11nj j k k n χχ==∑ (17)i χσ= (18)()11ni i k k n χχ==∑ (19)对于关联系数较大的测点, 可以根据两个测点的观测值建关联模型。

根据安全监测的特点, 采用了一种简单的多项模型:2012y a a a χχε=+++ (20)式中, 0,1,2a a a 为系数; ε为随机误差。

上式中的系数, 上式中的系数0,1,2a a a 可用最小二乘法求得其估计值。

1.3监控模型的建立大跨径桥梁的变形是受各种荷载影响所致，而作用于桥梁上的荷载主要有桥梁的自重、风力、车流量、温度的变化、产生的应力等．在这些因素的作用下，桥梁变形和位移．在桥梁的变形分析中，通常认为桥梁的水平位移主要由风力、车流量、温度作用引起．桥梁的水平位移可分为沿桥梁中轴线方向和与桥梁中轴线垂直方向两种。

对于桥梁的变形监测的分析，常用的方法主要有回归分析法、卡尔曼滤波法、RBF 神经网络法、小波分析法和系统论方法等。

1.3.1卡尔曼滤波模型当不考虑具有确定性输入时离散线性系统的卡尔曼滤波模型的状态方程和观测方程为:11,1,1111k k k k k k kk k k k X X L B X +++++++=Φ+ΓΩ⎧⎨=+∆⎩ (1) 其中:k X 和k L 分别为k t 时刻的状态向量和观测向量: 1,k k +Φ为k t 时刻至1k t +时刻的 状态转移矩阵; 1k B +为1k t +时刻的观测矩阵;k Ω和k ∆分别为k t 时刻的动态噪声和观测噪声。

所谓离散线性系统的状态估计，12,,...,,k L L L 就是利用观测向量，根据其数学模型求定第j t 时 刻 状 态 向 量j X 的最佳估值。

通常把所得的估计量 记 为()X j k 。

它可分为三种情况：当j k =称()X j k 为最佳滤波值并把()X j k 的求定过程称为卡尔曼滤波； 当j k >称()X j k 为最 佳 预 测 值 并 把()X j k 的 过 程 称 为 预 测 或 外 推； 当j k < 称()X j k 为最 佳 预 测 值 并 把()X j k 的过程称为平滑或内插。

系统的随机模型如下:()()()()()()()()()()()()()(),000,000cov cov ,cov ,0000var 0cov 0cov ,0k k k j ijk j ijk j x x k k E E D k D k E X u X X D X X δδΩ∆⎧Ω=⎪∆=⎪⎪ΩΩ=⎪⎪∆∆=⎪⎪⎨Ω∆=⎪==⎪⎪=⎪⎪Ω=⎪∆=⎪⎩（2）式中：()k E Ω为k Ω的数学期望；()k E ∆ 为k ∆的数学期望；()cov ,k j ΩΩ为k Ω与j Ω 的协方差；()D k Ω为D Ω的方差；()cov ,k j ∆∆为k ∆与j ∆的协方差；()0E X 为0X 的 数学期望；()0var X 为0X 的 方 差；()0cov ,k X Ω 为0X 与k Ω的协方差；()0cov ,k X ∆为0X 与k ∆的协方差。

当j k =时1ij δ=，当j k ≠时0ij δ=。

由状态方程观测方程和随机模型以根据逐次平差法推出如下的卡尔曼滤波递推方程：()()()()[]()111k k k x k k x X k k X k k J L B X k k D k k I J B D k k ⎧=-+--⎡⎤⎪⎣⎦⎨=--⎪⎩(3) 其中：()()()()()()()(),1,1,11,1,1111111111k k T Tx k k x k k k k k k T Tk x k k x k X k k X k k D k k D k k D k J D k k B B D k k B D k ---+Ω+-∆⎧-=Φ--⎪⎪-=Φ--Φ+Γ-Γ⎨⎪⎡⎤=--+⎪⎣⎦⎩（4） 利用卡尔曼滤波对桥的变形进行分析和预测具有较高的精度，但卡尔曼递推开始的参数值是关系到此方法成败的关键参数，如何确定目前还没有统一的办法。

1.3.2 RBF 神经网络模型在大型桥梁结构健康监测系统中, 出现不可靠数据的测试点往往是单个或几个测试点,这些测试点在工作异常到恢复工作正常期间的数据都是属于不可靠数据, 而在同一时间段, 其他测试点的数据都是正常数据, 如果放弃这一段数据,势必影响桥梁结构健康监测系统对于桥梁在该时间段的评价; 如果保持这一段数据, 其中的不可靠数据对桥梁结构健康监测系统的评价也是不可靠的。

基于这一前提,先找出异常测试点与其他测试点之间的关联关系, 然后建立异常测试点与其最关联点之间的神经网络模型, 利用RBF 神经网络强大的函数逼近能力, 建立二者之间函数关系, 即可利用关联测试点正常的数据去恢复异常测试点的不可靠数据。