轨道不平顺随机过程的数值模拟_张立伟
多任务学习

第43卷 第7期2020年7月计 算 机 学 报CHINESEJOURNALOFCOMPUTERSVol.43No.7July2020 收稿日期:2018 04 16;在线发布日期:2019 04 17.本课题得到国家重点研发计划项目(2016YFC0303703 03)、中国石油大学(北京)年度前瞻导向及培育项目(2462018QZDX02)资助.张 钰,博士研究生,主要研究方向为机器学习.E mail:623242954@qq.com.刘建伟,博士,副研究员,主要研究方向为机器学习、模式识别与智能系统、复杂系统的分析、预测与控制、算法分析与设计.左 信,教授,主要从事油田生产、管道运输和石油化工过程的测量、控制与优化方面的理论研究和工业应用工作,目前主要研究领域为先进控制理论与应用、安全保护控制系统和深海油田自动化.多任务学习张 钰 刘建伟 左 信(中国石油大学(北京)自动化系 北京 102249)摘 要 随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降.因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大.同时,单一任务的独立学习往往忽略了来自其它任务的经验信息,致使训练冗余重复和学习资源的浪费,也限制了其性能的提升.为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视.与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系.这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的.在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分,之后对它们的特点进行了逐一描述.然后,本文按照数据的处理模式和任务关系的建模过程不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法.其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段.与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的.紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系.最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点.关键词 多任务学习;信息迁移;任务相似性;贝叶斯生成式模型多任务学习;判别式多任务学习;深度多任务学习中图法分类号TP18 犇犗犐号10.11897/SP.J.1016.2020.01340犛狌狉狏犲狔狅犳犕狌犾狋犻 犜犪狊犽犔犲犪狉狀犻狀犵ZHANGYu LIUJian Wei ZUOXin(犇犲狆犪狉狋犿犲狀狋狅犳犃狌狋狅犿犪狋犻狅狀,犆犺犻狀犪犝狀犻狏犲狉狊犻狋狔狅犳犘犲狋狉狅犾犲狌犿,犅犲犻犼犻狀犵 102249)犃犫狊狋狉犪犮狋 Withthedevelopmentofartificialintelligencetechnologysuchasimageprocessingandspeechrecognition,manylearningmethods,especiallythoseusingdeeplearningframeworks,haveachievedexcellentperformanceandgreatlyimprovedaccuracyandspeed,buttheproblemsarealsoobvious,iftheselearningmethodswanttoachieveastablelearningeffect,theyoftenneedtousealargenumberoflabeleddatatotrainadequately.Otherwise,therewillbeanunder fittingsituationwhichwillleadtothedeclineoflearningperformance.Therefore,withtheincreaseoftaskcomplexityanddatascale,higherrequirementsareputforwardforthequantityandqualityofmanuallabelingdata,resultingintheincreaseoflabelingcostanddifficulty.Atthesametime,theindependentlearningofsingletaskoftenignorestheexperienceinformationfromothertasks,whichleadstoredundanttrainingandwasteoflearningresources,andalsolimitstheimprovementofitsperformance.Inordertoalleviatetheseproblems,themulti tasklearningmethod,whichbelongstothecategoryoftransferlearning,hasgraduallyattractedtheattentionofresearchers.Unlikesingle tasklearning,whichonlyusessampleinformationofasingletask,multi tasklearningassumesthatthereisacertainsimilaritybetweenthedatadistributionofdifferenttasks.Onthisbasis,therelationshipbetweentasksisestablishedthroughjointtrainingandoptimization.Thistrainingmodefullypromotesinformationexchangebetweentasksandachievesthegoalofmutuallearning.Especiallyundertheconditionthatthesamplesizeofeachtaskislimited,eachtaskcangetsomeinspirationfromothertasks.Withthehelpofinformationtransferinthelearningprocess,thedataofothertaskscanbeindirectlyutilized.Thus,thedependenceonalargenumberoflabeleddataisalleviated,andthegoalofimprovingtheperformanceoftasklearningisalsoachieved.Underthisbackground,thispaperfirstintroducestheconceptofrelatedtasks,anddescribestheircharacteristicsonebyoneafterclassifyingthetypesofrelatedtasksaccordingtotheirfunctions.Then,accordingtothedataprocessingmodeandtaskrelationshipmodelingprocess,thecurrentmainstreamalgorithmsaredividedintotwocategories:structuredmulti tasklearningalgorithmanddeepmulti tasklearningalgorithm.Thestructuredmulti tasklearningalgorithmadoptslinearmodel,whichcandirectlyassumethestructureofthedataandexpressthetaskrelationshipwiththeoriginalannotationfeatures.Atthesametime,itcanbesubdividedintotwodifferentstructuresbasedontasklevelandfeaturelevelaccordingtothedifferentlearningobjects.Eachstructurehastwoimplementationmeans:discriminantmethodandgenerativemethod.Differentfromthemodelingprocessofstructuredmulti tasklearningalgorithm,deepmulti tasklearningalgorithmusesthedeepinformationabstractedbymulti layerfeaturestodescribethetaskrelationship,andachievesthegoalofinformationsharingbyprocessingtheparametersinthespecificnetworklayer.Then,takingtwokindsofalgorithmsasthemainline,thispaperanalyzedthestructuralassumptions,implementationapproaches,advantagesanddisadvantagesofdifferentmodelingmethodsandtherelationshipbetweenthemindetail.Finally,thispapersummarizesthecriteriaforidentifyingthesimilarityandcompactnessbetweentasks,andtheeffectivenessandintrinsiccausesofmulti taskmechanismarealsoanalyzed,thenthecharacteristicsofmulti taskinformationmigrationareexpoundedfromtheperspectivesofinductivebiasanddynamicsolution.犓犲狔狑狅狉犱狊 multi tasklearning;informationtransfer;similarityoftasks;Bayesiangenerativemodelofmulti tasklearning;discriminantapproachofmulti tasklearning;deepmulti tasklearningviadeepneuralnetwork1 多任务学习背景多任务学习(MultitaskLearning,MTL)是同时考虑多个相关任务的学习过程,目的是利用任务间的内在关系来提高单个任务学习的泛化性能.1994年,Caruana提出了多任务学习的概念[1]:多任务学习是一种归纳迁移机制,基本目标是提高泛化性能.多任务学习通过同时训练多个相关任务,学习到任务之间的一些共享表示,并进一步地挖掘训练信号中的特定域信息来提高每个任务泛化能力,在数据挖掘、计算机视觉、语音识别、生物医疗、社交网络等领域有着广泛的现实应用.多任务学习的出发点是在解决新问题时利用14317期张 钰等:多任务学习的知识会习惯地受到已有相关问题的启发,借助于以往的经验可以提高学习效果.以往单任务学习(Single tasklearning)是指每次只学习一个分类任务,并且只使用对应任务本身的数据集,在单任务学习中经常假定训练样本之间是独立并且同分布的.但是现实世界中存在很多相关的数据集,例如,在遥感图像处理问题中,每组图像数据都是在特定的地理位置收集的,此时数据源来自于同一设备不同视角,存在高度相关性,但是并不为每个感测任务设计单独的分类器,而是希望在任务之间共享数据,以提高整体感知性能[2 4].因此在很多情况下,虽然任务数据采集的来源和分布是相似的,即可能存在共同的归纳偏置,但是由于学习的目的不完全相同,不能简单地将它们合并为一个任务,此时可以将它们看作是由多个相关的任务组成,选择多个任务联合学习,从而获得一些潜在信息以提高各自任务的学习效果.而且,对于一些训练样本个数少且特征维数高的任务,单任务学习出现秩亏并且有过拟合的风险,通过在一定结构的共享空间之内并行学习,当前任务可以接收其它辅助任务传入的特征信息,这样在交互过程中间接增加了单个任务样本空间的大小,另外多任务之间平均了各自的噪声差异,得到了更一般的表示模型,这样其它任务可以为相关的特征提供额外的参考信息,可以有效降低单个任务过拟合和泛化能力差的风险.多任务学习虽然是一种迁移学习方法,但是不同于其它种类迁移学习,多任务学习并不注重源领域和未知领域的知识迁移,它主要利用域之间相似的知识信息,提升特定任务的学习效果,注重领域知识的共享性.两者特点的不同决定了学习过程的差别,迁移学习的目的是通过从源任务中转移知识来提升目标任务中的性能,而多任务学习则试图同时学习目标任务和源任务.从这个层面上来说,其它迁移学习方法应该侧重于归纳转移,而多任务学习侧重于共享.1 1 多任务的类型分类1.1.1 相关任务的分类多任务学习有很多形式,联合学习(jointlearning)、自主学习(learningtolearn)和带有辅助任务的学习(learningwithauxiliarytask)等都可以称为多任务学习.联合学习又称为对称多任务学习,试图同时执行所有任务以便提高单个任务的学习性能,由于时间、地点、设备、人工标注差异或其它变化因素,各个任务数据的统计特性可能有所不同,但是任务之间肯定存在高度相似,联合学习多个分类任务有助于减少任务之间概率分布差异,因此,在这个意义上,联合学习认为模型是对称的,不区分主任务和辅助任务.一般的多任务应用都是指对称多任务学习,出发点是将几个类似的学习任务同时进行训练,通过任务之间的特征信息迁移共同地提升所有任务的学习效率,本文中绝大部分算法也都是针对对称多任务学习,彼此没有主次之分.自主学习又称为非对称多任务学习,目标是利用源任务的信息来改进某些目标任务的学习性能,通常在源任务被学习后使用[5],和迁移学习不同的是,自主学习仍是建立在共同学习基础上,并不强调源域和目标域分布的差异性,如果分布相似性条件不成立,使用非对称多任务学习是不合理的,只能考虑迁移学习.针对辅助任务的用处不同,又可以将多任务学习划分为输入变输出逆多任务学习,对抗性多任务学习,辅助任务提供注意力特征的多任务学习和附加预测性辅助任务的多任务学习.1.1.2 将输入变输出的逆多任务学习一般在有监督的学习任务中,输入和输出之间有很明显的区分,观测值是输入,要预测的值是输出,也称为监督信号.有监督的学习模式中,任务利用训练集的样例学习相关特征表示用于测试集的预测,而在无监督学习中并没有监督信号,因此解决的办法是将特征同时作为输入和输出,利用不同的无监督样例的特征信息为彼此提供监督信号,此时允许测试样例的特征作为输入,将其它样例上的特征作为输出,进而达到不同的学习效果,最大地发挥这些特征的作用.借鉴无监督学习的模式,文献[6]提出在有监督的多任务学习中如果存在比作为输入更有价值的特征时,可以使用其它任务上的样例的特征作为监督信号,学习目标任务训练集上其它的输入特征到这部分特征的映射关系,学习映射关系的过程可以作为辅助任务.这些特征可以提供监督信号的根本原因是当特征中存在噪声时,附加的辅助输出中的噪声往往比附加的辅助输入中的噪声小.1.1.3 对抗性多任务学习对抗性多任务学习借鉴了生成对抗网络中的观点,该观点最初是由Ganin等人[7 8]在解决无监督域适应学习问题时提出的,文献[9]将它用在了有监督的RNN多任务学习中.受到生成对抗网络中生成式模型的启发,引入对抗任务是为了加强学习任务间不变性表示的能力.在标准的多任务学习中为了2431计 算 机 学 报2020年最大限度地提高主要任务和次要任务的分类精度,学习表示的过程是共享的.不同于标准的多任务学习,对抗性多任务学习要得到的是对主要任务有利而与次要任务对抗的表示.文献[9]提出的多任务学习框架不断利用辅助任务包含的相反信息,消除主要任务的噪声,从而学习到接近底层数据真实表示的特征.图1 对抗性任务具有两个任务的对抗性网络如图1所示.它由三个子网络组成,包括主要任务输出子网络,次要任务输出子网络以及主次任务共同的输入网络,其中两个子网络是独立的,输入层提取任务间共享表示.次要任务在反向传播过程中经过一个反转层将梯度方向反转,弱化了对抗任务的分类精度,目的是学习次要任务的对抗表示,所以对主任务有损害且无关的域依赖信息将从表示中清除.通过共同学习一个辅助任务域和主要任务域的不变表示,对抗性任务可以发现目标任务最本质的特征,训练完成后将对抗性任务的输出子网删除,最终经过对抗学习过程之后,主任务学习的是去除无关信息的特征表示,鲁棒性增加,进而学习效果得到提升.更一般的,如果学习分类任务,各个任务彼此之间也可以看作是一种特殊的对抗任务,因为每个任务中含有直接影响分类结果的判别特征,需要最大程度地区别出各个分类的差异性.1.1.4 辅助任务提供注意力特征的多任务学习这里的辅助任务可以称为提示性任务,是一种为监督学习增加信息的方式.文献[6]首先提出了这个概念,作者列举使用图像学习转向任务中检测路标的问题,转向问题本身不着重于路标检测,因为路标图像只占整个图像很小的一部分,但是自动驾驶问题中路标的检测是必要的,如果采用单任务学习,难以让这部分特征作为有效的输入,于是引入这些路标图像检测作为辅助任务,通过与转向任务学习相同的共享结构,在共享结构中添加上关于路标的特征.此后,文献[10]将提示性任务用于带有生僻字检测的命名体识别系统,利用上下文提示信息作为辅助任务进行特征放大,为生僻词提供线索,避免了一些词语的词性标签对于词句的语义标注和外部词汇表的依赖性.可以看到,在单任务学习过程中,一些显著特征对学习结果的影响较大,一些不常用特征往往被忽略,但是这类特征对于任务的某些功能是必要的,在一般的多任务学习中,这部分不常用的特征可以通过辅助任务单独引入,在共同学习过程中将其放大,平衡显著特征带来的学习不充分问题.此类在目标任务中需要单独放大的特征一般称为需要注意力集中的特征.1.1.5 附加预测性辅助任务的多任务学习在线学习问题中包含很多对于主任务学习有价值的特征,但是有些特征不能作为输入,因为这些特征在学习过程中不能够被及时得到,而是在训练以及预测完成之后才能获得,例如在文献[6]中列举的自动驾驶问题中的路标检测,由于技术原因,在行驶过程中无法及时获得前方道路交通标示,只有当接近它的时候才能准确的测量,但是提前辨识路标对于适应路况必不可少,此时没有这部分特征的定性描述,也没有这部分特征的任何信息可以获取,这种情况下如果要识别这些特征,只能将这部分特征通过离线学习收集并添加到训练集作为实例样本.与1.1.2节输入变输出的特征正好相反,这部分特征可以称作输出变输入的特征.因此,当出现一些与主任务相关的未知特征时,往往可以将这些特征的学习作为辅助任务,在离线过程中收集,而在在线过程中为主任务提供额外的信息,帮助主任务学习更合理的归纳表示,这类辅助任务就称为预测性任务,这些额外的任务产生的未来特征测量值,可以应用于很多离线问题.34317期张 钰等:多任务学习本节介绍了几种多任务的类型和非对称任务中的几种典型辅助任务,可以看到,引入辅助任务主要为目标任务增加有效的特征信息,为提高数据的使用效率提供了启发,一般旨在提升目标任务中不容易被使用特征的利用效率.辅助任务与目标任务的特征相似度可以是局部的,只考虑主要特征的需求,例如对抗性任务只利用浅层的鲁棒不变表示;也可以是全局的,例如离线搜集数据当作辅助预测任务引导自动驾驶,当然,对于带有辅助任务的多任务学习,数据要进行预处理,转换到同一个特征空间下讨论,因为数据的来源往往都不相同.本文中只有2.7节非监督多任务学习中涉及到了非对称任务,其余情形还是着重讨论对称多任务学习,因为实际应用中对称多任务学习的适用场景较为广泛,也更多的应用到了平均提升每个任务泛化性能的思想.由于每个任务中特征的权重占比不同,如何选取合适的算法以高效利用数据找到适合于多任务关系的结构是一个难点,我们将在下一节多任务学习具体算法中介绍.2 多任务学习算法2 1 多任务学习的定义在多任务学习中,给定犕个任务的训练集{犜犿}犕犿=1,对于第犿个任务犜犿,训练集犇犿包含狀犿个样例 标签对{狓犿,犼,狔犿,犼}狀犿犼=1,狓犿,犼∈犚犇为第犿个任务的第犼个样例,狔犿,犼∈犚代表其对应的输出,狀犿是第犿个任务的训练样本的个数,犠∈犚犇×犕代表权值矩阵,即多任务模型参数矩阵,ε犿代表任务下的噪声,则有线性模型:狔犿,犼=狑T犿狓犿,犼+ε犿(1)其中第犿个任务的模型向量狑犿为犠中的一列,大多数现有MTL算法的一个关键假设是,所有任务都通过某种结构相互关联,多任务中任务信息共享是通过特征的联系实现的,一般来说,多任务选取的特征属性都是相似的,而各个任务之间特征的重要性通过模型向量狑犿反映,如果在模型向量中所占比重相似才能说明任务特征之间具有迁移性,因此多任务学习的目的是通过学习犠的不同结构来反映任务之间的关系.为了概念的统一,本文的多任务模型参数指的是模型参数矩阵.2 2 多任务算法的分类MTL算法按照学习模式的不同,可以分为传统的结构化学习方法和深度多任务学习方法.传统的结构化学习方法并不会像深度学习方法一样改变特征的表现形式,即不利用抽象后的特征,最终以结构约束的形式体现任务联系.按照学习结构的不同,又可以分为基于任务层面的多任务学习和基于特征层面的多任务学习,其中基于任务层面的方法通常将大部分特征视为彼此相关的,并且任务的相关性是全局的,因此它注重总体特征的共享迁移,一般是同时考虑多个特征,而基于特征层面的学习方法是单独对各个任务中的特征进行建模,注重个体特征的共享迁移.结构化学习方法从任务层面上可以分为模型参数共享方法,公共特征共享方法,多任务聚类结构方法和多任务子空间学习方法;从特征层面上可以分为鲁棒特征学习方法,联合低秩稀疏方法,脏模型方法,可变簇聚类方法,协同聚类方法.并且,在结构化学习方法中,均可以采用基于块正则化的判别式方法和基于贝叶斯概率统计的生成式方法作为不同的实现手段.有别于结构化学习方法,深度多任务方法对各个任务的特征逐层进行建模,任务关系的表述是通过改变层与层之间的连接方式.深度多任务方法主要有硬参数共享、软参数共享、张量网络、自适应层连接和自适应层分堆.在图2中,我们根据以上描述的学习模式对多任务学习进行了分类.4431计 算 机 学 报2020年2 3 基于任务层面的学习方法2.3.1 模型参数共享在早期阶段,许多多任务方法侧重于利用任务关系的先验信息,例如,基于所有任务的域知识彼此相似,Caruana在文献[4]中提出了多层前馈神经网络,是最早的多任务统一共享结构学习模型之一.在神经网络中,隐含层代表来自所有任务的共同特征,输出层中的每个神经元通常对应于一个任务的输出.与神经网络相似,多任务支持向量机方法[11]是文献[4]的自然扩展,它假定存在一个通用的多任务模型,权衡每个任务到此通用模型的中心偏离度和模型参数平均值,使得总体损失函数达到最优.每个支持向量机要学习的模型定义为犠狋=犠0+犞狋,犠0是任务集隐含的共同模型,犞狋表示各个任务和中心模型的距离,通过犔2范数正则化约束中心模型参数犠0和各自任务模型参数犞狋的平均距离,使所有任务的模型参数接近此共同模型.除了支持向量机,参数共享也可以通过鼓励所有任务参数相似实现,文献[12]根据给定的任务相似性图模型设计出一些基于拉普拉斯的正则化算子;文献[11]采用最小化参数差异的Frobenius范数;文献[13 14]将其转换到希尔伯特空间中讨论,其结果都保证了任务之间的总体相似度,因此,这类方法也可以称为平均约束学习.总体来说,模型参数共享的出发点比较简单和直接,建立在任务相似性比较大的基础上,基本都是假设任务相互关联,学习目标是获得一个中心模型来描述这些任务的公共特征集,所以可以看到大多数约束都是使得各个任务模型足够靠近这个模型均值,而现实情况中大部分多任务之间很难满足非常紧密的相关性,于是出现了只挑选一些主要特征的公共特征共享方法.2.3.2 公共特征共享在公共特征共享的方法中,假设各种任务共享相同的稀疏模式,表现在参数矩阵上就是一些特征行整体被诱导为零,作用是强制所有任务共享一组公共特征来建模任务之间的相关性.这类模型将联合损失定义为各任务损失和正则化项之和:min犠∑犕犿=1犠T犿犡犿-犢犿22+λ1Ω(犠)(2)其中,λ1是权重参数,Ω(犠)是正则化项,一般称为组套索(group LASSO)结构,Ω(犠)可以对比单任务回归中施加的正则化项,比如套索(LASSO)模型中的犔1范数和岭回归(Ridge)模型中的犔2范数,由于多任务的求解目标是参数矩阵,所以经常使用组合范数正则化进行约束,即可以防止过拟合又能满足通过稀疏挑选共享特征的要求,参数矩阵犠的(狉,狆)范数定义为:犠狉,狆··=∑犕犿=1犠犿狆()狉1狆,常见的正则化是使用犔2,1组合范数,通过统一计算参数矩阵犠所有任务的第犱行特征的犔2范数保证任务在这个特征属性上的相似度得到犫(犠)=(犠1,:2,…,犠犱,:2),然后再对犫(犠)施加犔1范数,在一些特征上达到稀疏的效果和筛选的效果.犔2,1是多任务用来特征共享最经典而且使用最多的组合范数.文献[15]直接对模型参数施加犔2,1范数正则化约束的,犔2,1范数本身是不光滑的凸函数,所以在式(2)中,当损失函数选择凸函数(例如平方损失函数)时,整个目标函数就是可以找到全局最优解的凸函数.以往优化通常使用的二阶锥规划和内点法,计算代价高且收敛慢,针对这个问题,文献[15]使用块提升算法进行优化,但是无法确定步长和收敛速度,文献[16 17]使用近端梯度加速法和一阶nestrov加速最优化黑箱方法,进一步确定了在犔2,1范数优化问题中参数的学习步长,对迭代过程收敛速度进行了加速.更近一步地,文献[18 19]考虑了组合范数的一般形式,文献[18]研究了组合范数的基数犔0稀疏,文献[19]详尽地介绍了混合范数犔狆,1,狆>1的用法,将犔狆,1范数进行欧几里得投影并通过加速梯度算法求解优化,文献[20]提出了一个关于犔狆,1范数的统一解决方案,优化中结合了投影梯度法和拉格朗日乘子法,通过区间二分法找到了保证收敛的拉格朗日参数,使犔狆,1范数可以拓展到大规模数量的任务,并且作者通过理论分析证明,狆值选取的越大,使用组套索提取后的特征之间耦合程度越高.因此,文献[21 25]使用了犔∞,1范数以后,保证了筛选特征之间的聚合程度更加紧密.此外,受弹性网络的启发,文献[26 27]提出了一种包括平方范数正则化器的校准多任务特征学习公式,文献[27]对平方损失函数引入了校准砝码:1/(σ犿狀槡犿),其中,狀犿是第犿个任务的样本容量,σ犿1T犿狓犿-狔犿是校准权重,不仅如此,文献[校准砝码的基础上又在正则化项中加入了·犉范数来保证一个平滑的能对偶求解的问题.文献[28]同时考虑了犔∞,1和犔2,1两种范数,将组套索拓展到了既有分类任务又有回归任务异质任务集合中.以上的多任务特征选择算法都假设任务之间具有正相关性,还有一类文献[29]考虑了另外一种情54317期张 钰等:多任务学习。
铁路轨道不平顺功率谱分析与数值模拟毕业设计答辩PPT

根据对比分析结果,提出针对性的改善措施和建议,为铁路轨道 维护和优化提供参考。
05
结论与展望
研究结论
1 2 3
结论一
通过功率谱分析,成功提取了轨道不平顺的主要 频率成分,为后续的数值模拟提供了基础数据。
结论二
数值模拟结果显示,轨道不平顺对列车运行平稳 性和安全性有显著影响,其中高频不平顺的影响 尤为突出。
期刊论文
学位论文
会议论文
THANKS
感谢观看
滤波处理
对轨道不平顺信号进行滤 波处理,以去除噪声和异 常值,提高分析精度。
轨道不平顺数据采集
数据采集设备
01
使用高精度的测量设备,如激光位移传感器、加速度计等,对
轨道不平顺数据进行采集。
数据预处理
02
对采集到的数据进行预处理,包括数据清理、格式转换等,以
便进行后续分析。
数据存储与传输
03
将采集到的数据存储在计算机中,并采用适当的数据传输方式,
VS
功率谱分析是研究随机过程功率随频 率变化的一种方法,广泛应用于信号 处理、振动分析等领域。在铁路轨道 不平顺研究中,功率谱分析可以用于 分析轨道不平顺的特性,如幅值、频 率等,为轨道结构的优化设计和车辆 动力学性能的改善提供理论支持。
研究目的和意义
研究目的
本毕业设计旨在通过功率谱分析和数值模拟方法,深入研究铁路轨道不平顺的 特性,分析其对车辆动力学性能的影响,为铁路轨道结构的优化设计和车辆动 力学性能的改善提供理论依据和实践指导。
结论三
本研究提出的数值模拟方法能够较为准确地模拟 轨道不平顺对列车运行的影响,为实际工程应用 提供了有益参考。
研究不足与展望
不足
高架桥梯形轨枕轨道不平顺测量

b i ntee vtdbig f e igMer ie ew e i tn y a tt na dTa tn y a ul o h l ae r eo in t Ln bt enT a o g u nSai n i o g u n t e d Bj o 5 n o n
No t a in,wih f l lng h o m . bti h c u r c r e u a iy s e ta o r n r i rh Stto t ul e t f1 1 7 To o an t e a t a ta k ir g l rt p c r f u ba al l ta sta e e e c o t e r a r fi n o he d n mi nay i fld e r c r n i a r fr n e f ro h ru b n ta f a d f rt y a c a l sso d rta k,t r c r s c a he ta k i—
段 . 了得 出符合城 市轨道 交通 实际情 况 的轨 道不 平顺谱 , 为 对梯 形轨 枕轨 道试验段 进行 了轨道 不平 顺测 量 , 并对轨 道 不平顺功 率谱进 行 了拟合 , 出 了拟合 曲线 的特 征 参数 . 过 对测 量 结果进 行 幅 得 通
值 分析 和功 率谱 分析 可知 , 北京地铁 5号线梯 形轨枕轨 道试验 段 的轨 道 平顺状 态较好 . 关键词 : 轨道 不平顺 ; 地铁 ; 高架桥 梁 ; 形轨枕 ; 率谱 密度 ; 梯 功 拟合模 型 中图分 类号 : 2 3 2 U 1 . 文献标 志码 : A
第3 4卷 第 4 期 o Q年 8月 1
—
北 京 交 通 大 学 学 报 J U A EJN I O ON I E ST O RN LOFB I G JA T G UN V R I Y I
基于状态空间法的轨道不平顺与车体横向加速度关联模型

r
r
egu
l
a
r
i
t
r
a
ckc
r
o
s
sl
eve
li
r
r
egu
l
a
r
i
t
a
r
Gbody
gnmen
y,t
yandc
l
a
t
e
r
a
la
c
c
e
l
e
r
a
t
i
oni
nspa
c
ef
r
equenc
i
n.Ac
c
o
r
d
i
ngt
ot
hed
i
s
t
r
i
bu
t
i
ono
ft
hec
ohe
r
enc
e,t
hes
t
a
t
e
G
spa
c
e
ydoma
据相干分布规律分频段建立轨道不平顺与车体横向加速 度 之 间 的 多 输 入 单 输 出 状 态 空 间 模 型;再 利 用 高 速 综 合
检测列车实测数据训练状态空间模型的结构参数辨识输 入 输 出 之 间 的 传 递 关 系;最 后 验 证 所 建 状 态 空 间 模 型 的
残差符合零均值正态分布.利用训练得到的状态空间模型传递函数及实测轨道不平顺数据预测了车体横向加 速
l
a
r
i
t
r
ec
omb
i
nedt
of
o
r
e
轨道不平顺分析的MATLAB程序及实习报告

目录第1章绪论 (1)1.1 引言 (1)1.2 研究背景 (2)1.3 本文主要研究工作 (4)第2章轨道随机不平顺 (5)2.1 轨道不平顺及其形成原因 (5)2.2 轨道不平顺的分类 (6)第3章轨道不平顺功率谱分析 (9)3.1 轨道不平顺状态的评估方法 (9)3.1.1 局部不平顺幅值超限评分法 (9)3.1.2 轨道质量指数(简称TQI)评价方法 (9)3.1.3 局部不平顺幅值超限评分法与轨道质量指数评价法的比较 (10)3.2 轨道谱研究概述 (11)3.2.1 国外铁路轨道谱的研究情况 (11)3.2.2 国内铁路轨道谱的研究情况 (16)3.3 国内外轨道谱比较分析 (21)3.3.1 普通线路轨道谱的比较 (22)3.3.2 高速线路轨道谱的比较 (24)3.3.3 结论 (27)第4章轨道谱估计 (28)4.1 随机过程及其特征描述 (28)4.1.1 随机过程 (28)4.1.2 平稳随机过程 (28)4.1.3 随机信号的相关函数 (29)4.1.4 随机信号的功率谱 (30)4.2 功率谱估计的各种方法 (31)4.2.1 古典谱估计 (31)4.2.2 最大熵谱估计 (36)4.2.3 谱估计方法的比较分析 (37)4.3 实测轨道谱与现有轨道谱的比较 (40)4.4 线路平顺性趋势分析 (41)第5章轨道不平顺数值模拟 (43)5.1 国内外常用的数值模拟方法 (43)5.1.1 白噪声滤波法及二次滤波法 (43)5.1.2 三角级数法 (44)5.2 逆傅氏变换法 (45)5.2.1 估计功率谱的Blackman-Turkey(BT)法 (46)5.2.2 逆傅氏变换法的计算步骤 (46)5.2.3 算例 (48)结论与展望 (50)致谢 (52)参考文献 (53)附录 (55)第1章绪论1.1 引言铁路轨道是一种特殊的结构物,它大多支承在密实度和弹性都很不均匀的道床和路基上,其工作条件十分复杂。
车辆非平稳行驶随机响应时域分析

1 车辆四轮相关非平稳随机输入模 型
1. 1 单轮非平稳随机输入 以道路走向长度 s为变量, 即在 空间域 s内, 由 滤波白噪 声法得
是低频成分, 车身横摆、车轮和轮胎动载荷振 动主要是高频成分, 而 且随着车速 ( 时间增加 ) 的提高, 幅值增大。
图 2 加速时座椅、车身、俯仰和横摆的非平稳响应 F ig. 2 Nonstationa ry Responses o f Sea ,t Body Pitch ing and Ro lling
到单轮路面不平度为
q1 ( s) + 2 nc q1 ( s) = 2 n0 S q ( n0 ) W ( s)
( 1)
式中, nc = 0. 01( 1 /m )为路面空间截止频率; n0 = 0. 1( 1 /m )为路面参
考空间频率; sq ( n0 )为路面不平度系数。
由于
d ds
=
1 s
d dt
式中, L 为轴距。
将式 ( 7) 进行 Taylor级数展开并微分, 同时略去高阶微量得
q3 ( t ) = - ( 2v /L ) q3 ( t) - q1 ( t) + ( 2v /L ) q1 ( t)
( 8)
同理, 另一侧前后轮路面输入方程为
q4 ( t ) = - ( 2v /L ) q4 ( t) - q2 ( t) + ( 2v /L ) q2 ( t)
a1 = - s c = - 2 nc v; b1 = 2 n 0 S q ( n0 ) v 。 式 ( 10 ) 即为车辆非匀速行驶时, 四轮相 关路面非平 稳随机输 入的状 态方程。
轨道不平顺

轨道不平顺1、轮轨系统激扰是引起车辆—轨道耦合系统振动的根源。
2、总体而言,轮轨系统激扰可分为确定性激扰和非确定性激扰两大类别。
非确定性激扰主要是轨道几何随机不平顺。
确定性激扰则由车辆和轨道两个方面的某些特定因素造成。
车辆方面的因素较为单一,主要是车轮擦伤、车轮踏面几何不圆及车轮偏心等;轨道方面的因素较为复杂,既有轨道几何状态方面的因素,如钢轨低接头、错牙接头、轨道几何不平顺、轨面波浪形磨耗等,又有轨下基础缺陷方面的因素,如轨枕空吊、道床板结、路基刚度突变等。
3、在很多情形下, 轨道几何不平顺可以用单个或多个简谐波来近似描述。
例如,因焊接接头淬火工艺不良,在车轮反复作用下造成轨头局部压陷,属于单个 谐波激扰;又如,在世界各国铁路上普遍存在的钢轨波浪形磨耗,呈现在钢轨顶面的是一定间距的起伏不平的波浪状态, 是典型的连续谐波激扰。
另外,当车轮质心与几何中心偏离时,也将给钢轨系统造成周期性简谐波激扰。
所 有这些,采用正(余)弦函数来描述是简单且合理的。
4、轨道几何不平顺是指两股钢轨的实际几何尺寸相对于理想平顺状态的偏差。
轨道常见几何不平顺主要有方向、轨距、高低和水平四种基本形式。
( 1)方向不平顺是由于左右股钢轨横向偏移引起线路中心线的横向偏移, 可表示为: y t 1y L y R (式中, y L 、 y R 分别为左、右股钢轨的横坐标)2( 2)轨距不平顺是由于左右两股钢轨横向偏移而引起的轨距变化, 在轨顶下 16mm 位置处测量,可表示为: g ty Ly Rg 0 (式中, g 0 为名义轨距)( 3)高低不平顺是由于左右钢轨顶面垂向偏移引起轨道中心线的垂向偏移,可表示为 Z t 1Z L Z R(式中, Z L 、 Z R 分别为左、右两股钢轨的垂向坐 2标)( 4)水平不平顺是由于左右钢轨的垂向偏移引起的轨面高差,可表示为:Z t Z LZ R( 5)扭曲不平顺是指左右两股钢轨顶面相对于轨道平面的扭曲, 即先是左股钢轨高于右股钢轨,后是右股钢轨高于左股钢轨的轨面状态,俗称三角坑, 反之亦然。
单侧轨道不平顺数值模拟_丁军君

励, 是系统产生随机振动的主要来源, 直接影响系统 的振动、 运行舒适性与行安全。线路的不平顺数 值主要通过轨道检测车获得 , 见图 1 。将该 数值应 用于机车车辆设计中 , 可以使车辆适应线路条件, 改 善动力学性能, 从而使乘客更加舒适。同时, 线路的 维护保养需要实测的线路不平顺数据作为线路维修 的依据, 使线路始终保持良好的工作状态 。 在实际工程中 , 对轨道不平顺特征的统计函数 通常采用功率谱的形式。国外先后对轨道不平顺进 行了测量和研究 , 并建立了统一标准的谱密度函数 ( PSD) 。国内有关部门曾对某些个别线段的轨道不 平顺进行过测量和分析, 并给出了相应的功率谱密 度函数的推荐公式 , 在此基础上初步形成了中国干 线轨道不平顺的功率谱密度
[ 2] [ 1]
。文献 [ 3] 根据沪宁
图1 轨道不平顺与车辆设计和线路维护的关系 Relat ion among t rack irregularit y, vehicl e design and track maint enan ce
线的线路不平顺检测数据进行谱分析, 得出沪宁线 的轨道不平顺谱与美国 5 级铁路的不平顺谱相接近 的结论, 并建议将轨道不平顺谱作为控制轨道质量 的指标之一; 文献[ 4] 以青藏铁路静态轨检车实测轨 道不平顺数据为统计样本, 采用快速傅立叶变换方 法得到轨道不平顺谱密度, 结果表明试验段轨道与 中国一级干线轨道具有相似的平顺性特征; 文献[ 5] 给出了剔除轨道不平顺异常值算法和轨道不平顺零 均值化处理算法 , 提高了轨道不平顺谱的计算精度 , 并得到京津城际铁路的轨道不平顺谱; 文献[ 6] 利用 随机相位序列和周期函数反求轨道不平顺, 并使用 矩形函数加快轨道不平顺的生成; 文献 [ 7] 详细介绍 了估计功率谱的 Black - T urkey 法的基本原理, 并利 用基于频域功率谱采样的数值模拟方法对轨道随机 不平顺进行了研究 , 结果表明该数值模拟方法与三 角级数法相比, 具有更高的精度 ; 文献 [ 8] 利用频域 采样的三角级数法模拟轨道不平顺 , 该方法有利于 研究列车主动控制算法在对不 同频率处的控 制效 果; 文献[ 9] 采用白噪声滤波法生成单轮轴的轨道不 平顺 , 利用相邻轮轴间 的短时滞 , 构造了基于 高阶 Pade 近似的累次时滞系统 , 结果表明模拟样本与轨 道不平顺目标谱密度相符, 且满足各轮轴处轨道不 平顺之间的时滞关系; 文献 [ 10] 通过蒙特卡罗方法 得到高斯随机过程的相位符合均匀分布的结果 , 并 研究了频率上下限等模拟参数对仿真结果的影响。 中国幅员辽阔, 线路状况不一 , 形成统一的轨道 谱尚需进一步深入研究。在进行动力学仿真时 , 通
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
x i = R - 2 lnui co s( 2Pui+ 1 )
i = 1, 3, 5,n - 1
( 9)
x i+ 1 = R - 2lnui s in( 2Pui+ 1 )
角级 数法与傅氏逆变换法在简便、合理等方面的优点。
关键 词: 随机过程; 功率谱密度; 轨道不平顺; 数值模拟
中图 分类号: P315
文献标识码: A
A num erical sim ulation of the track irregularity stochastic process
ZHANG L -i w e i1 FENG Jun-he2
通过式 ( 6)描述的这种转换关系, 可以得到不同车速下轨道不平顺的时域功率谱密度函数。如, 对于美国轨
道六级功率谱密度 SM 8 ( m 2 # m ) 的垂向不平顺空间域表达式
Sv
8
=
2PK
A
v
8
2 c
82
82 +
8
2 c
( 7)
可通过式 ( 6) 得相应的时间域功率谱密度函数 SM X ( m 2# s)
式中:
R=
P 2
2kA v v$t; $t为时间采样间隔。
( 3) 通过下面的滤波过程, 可以通过随机变量 xi 产生随机过程样本函数 Gi ( Gi 的谱密度即美国六级垂
向时域不平顺谱 )
Gi = a + 1 Gi- 1 - aGi- 2 + 1 - a x i
( 10)
式中, a = exp( - Xc $t) 。
k= 0
i 2jkP N
E Ck
=
1 N- 1 x N n= 0
n $t
exp -
i
2kn N
P
T
Q Ck =
1 x ( t) exp( T0
ik X0 t)
dt =
1 T
F
x
k X0, T
( 12) ( 13) ( 14)
10 6
世界地震工程
24 卷
由式 ( 13) 带入式 ( 11)得
Sx
kX0
1 引言
铁路交通以其运量大、速度快、安全可靠、运行稳定等特点而成为现代交通运输的主要工具, 但是, 随着 高速列车及轻轨、地铁的发展, 列车与线路结构的相互作用以及列车诱发环境振动等问题都成为研究的热 点。轨道不平顺是引起车路系统各种动态响应的主要原因, 特别是无缝轨道线路的采用, 使轨道随机不平顺 更是占据主导地位 [ 5] 。已有的研究 [ 8] 表明, 轨道不平顺具有平稳性或弱平稳特征, 可以近似作为平稳随机 过程处理。美国、德国以及英国等国家都对轨道的不平顺进行了测量和研究, 并建立了统一标准的密度函
2 功率谱空间、时间域的转化
为了求解空间域、时间域功率谱密度函数间的相互关系, 首先从两个谱密度函数的定义进行推导。假定 轨道不平顺 y x 是各态历经的平稳随机过程, 则空间域的自相关函数 R 1 l 和功率谱密度函数 S1 X1 分 别为
s
Q S
lim
y]
R
1
l=
1 s
yx
y x + l dx
( 1)
3. 1 白噪声滤波法及二次滤波法 白噪声滤波法将轨道不平顺随机过程抽象为满足一定条件的白噪声, 并将其视为一个线性系统的输入,
则输出就是满足特定功率谱要求的随机过程样本, 这也是地震波人工模拟的一种常用方法; 二次滤波法是针 对不同的轨道谱设计滤波器, 把白噪声经过两次滤波拟和为满足特定谱的随机样本。这两种方法的样本拟 和精度都和滤波器的设计有关。为了提高样本的模拟质量, 文献 [ 9]在滤波器设计中采用了遗传算法。本 文参考文献 [ 3]给出的空间样本模拟方法, 以美国六级垂向不平顺功率谱为例, 给出时域样本的二次滤波模 拟方法, 具体步骤如下:
24卷 1期 2008年 3月
世 界 地 震 工程
W ORLD EARTHQUAKE ENG IN EER ING
文章编号: 1007- 6069( 2008) 01-ቤተ መጻሕፍቲ ባይዱ0103- 07
V o .l 24, N o. 1 M ar. , 2008
轨道不平顺随机过程的数值模拟
张立伟 1 冯军和 2
( 1. 黑龙江工程学院, 黑龙江 哈尔滨 150050; 2. 北京工业大学 工程抗震与结构诊治北京市重点实验室, 北京 100022)
0
+]
Q QQ S1
X1
=
-]
+]
R1
l
e- iX1l dl =
lim
Sy ]
1 s -] 0
s
y
x
y x + l e- iX 1l dx dl
( 2)
时间域的自相关函数、功率谱密度函数分别为
T
Q T
limR
y]
2
S=
1z T0
t
z
t+ S dt
( 3)
+]
Q QQ S2 X2 =
+]
R2
-]
S
e- iX2S dS =
Abstract: T he ra ilway track irregularity is a m a in influentia l factor to dynam ic interaction o f tra in-track, and the stochastic process sam ple is a ind ispensab le param eter in the dynam ic m odel for ana lysis of the train- track. A ccording to stochastic theory, the transform ed relat ion o f pow er spectrum density o f ra ilw ay track irregu lar ity betw een tim e and space dom a in and the expression o f pow er spectrum density in t im e dom ain are g iven. T he princ iples and steps of w ide-used m ethod for simu lation of the tra in- truck are analyzed. Through the analysis o f num erical m ethod about pow er spectrum density of the railw ay track irregularity, a new m ethod o f trigonom etric series is g iven, the IFFT and the new m ethod is also equ iva len.t F inally the num erica l sim ulat ion show s that both the new m ethod and IFFT are m o re effective. K ey w ord s: stochast ic process; pow er spectra l density; railw ay track irregu larity; num erica l sim ulat ion
对铁路车辆 - 轨道系统进行深入的动力学分析以及对车辆进行振动台试验, 都需要可靠的线路不平顺 样本。考虑到轮轨接触等非线性因素, 轨道不平顺随机过程的数值模拟也是车辆 - 轨道系统动力研究的重 要工具, 其模拟质量直接影响研究的有效性。国内外常用的轨道不平顺数值模拟方法有白噪声滤波法、二次 滤波法、三角级数法以及逆傅氏逆变换法 [ 2、4、6、7、11~ 13] 。已有的轨道不平顺功率谱均是空间域谱, 这给轨道不 平顺样本的数值模拟及时域评价带来不便。本文根据随机振动理论, 研究了轨道不平顺功率谱的空间、时间 域的相互关系, 并给出了时间域功率谱表达式。从时间域谱密度函数出发, 对不同轨道不平顺模拟方法进行 了探讨, 给出了相应的时域模拟方法的原理及步骤。根据功率谱的快速离散数值计算方法, 给出了一种与逆 傅氏变换法同源的新三角级数模拟方法。最后对不同数值模拟方的样本进行了对比分析, 分别从样本的使 用性、时程幅值以及频谱结构, 对不同方法给出了合理的评价。
上述模拟方法产生的轨道不平顺随机样本的频率很宽。为了满足轨道频谱的实际测量范围, 需要对样
本进行带宽滤波, 这样一个满足要求的样本就形成了。
3. 2 三角级数法与逆傅氏变换法
设轨道不平顺为各态历经随机过程 x t , 则其功率谱密度函数为
T
Q Fx X, T = x t exp - iXt dt 0
不平顺的参数; 8 c = 0. 8245 ( rad /m ) 和 Xc = 8 cv ( rad / s) 分别为空间截断频率和时域截断频率; v( m / s) 为
1期
张立伟等: 轨道不 平顺随机过程的数值模拟
1 05
车速。
3 数值模拟方法
轨道不平顺的数值模拟方法主要有白噪声滤波法、二次滤波法以及三角级数法和傅氏逆变换方法, 其它方法 基本上是这些方法的变种。这四种方法可以分为两类, 前两种都是基于白噪声滤波处理, 而后两种都是基于 功率谱离散数值模拟。
= lim 1 Ty] T
摘要 : 轨道不平顺是列车 - 轨道系统的动力响应的主要影 响因素, 不平顺样本是列车 - 轨道系统动力