深度学习模型介绍,Attention机制和其它改进
深度学习模型介绍,Attention机制和其它改进
深度学习模型介绍
DeepDive系统在数据处理阶段很大程度上依赖于NLP工具，如果NLP的过程中存在错误，这些错误将会在后续的标注和学习步骤中被不断传播放大，影响最终的关系抽取效果。为了避免这种传播和影响，近年来深度学习技术开始越来越多地在关系抽取任务中得到重视和应用。本章主要介绍一种远程监督标注与基于卷积神经网络的模型相结合的关系抽取方法以及该方法的一些改进技术。
Piecewise Convolutional Neural Networks（PCNNs）模型
PCNNs模型由Zeng et al.于2015提出，主要针对两个问题提出解决方案：
针对远程监督的wrong label problem，该模型提出采用多示例学习的方式从训练集中抽取取置信度高的训练样例训练模型。
针对传统统计模型特征抽取过程中出现的错误和后续的错误传播问题，该模型提出用piecewise 的卷积神经网络自动学习特征，从而避免了复杂的NLP过程。
下图是PCNNs的模型示意图：
PCNNs模型主要包括以下几个步骤：
实验证明，PCNNs + 多实例学习的方法Top N 上平均值比单纯使用多示例学习的方法高了5 个百分点。
Attention机制和其它改进
上述模型对于每个实体对只选用一个句子进行学习和预测，损失了大量的来自其它正确标
叠前时间偏移与叠前深度偏移
叠前时间偏移与叠前深度偏移 摘要：偏移使倾斜反射归位到它们真正的地下界面位置，并使绕射波收敛，即可以提高空间分辨率。按所处理的地震资料是否做过水平叠加划分为叠后偏移和叠前偏移两大类。这里主要讨论叠前偏移。偏移方法分为时间域和深度域两类，时间偏移技术是基于横向速度变化弱的水平层状介质模型产生的，而深度偏移技术是基于横向变速的真实地质深度模型发展而来的。这里主要介绍克希霍夫积分法叠前时间偏移、有限差分法叠前时间偏移、Fourier变换法叠前时间偏移三种叠前时间偏移方法。在叠前深度偏移上面，主要根据其技术的发展历史，现状，及未来趋势进行叙述，并进行了不同偏移技术的成像对比。 关键字：叠前时间偏移叠前深度偏移克希霍夫积分法 正文： 一、引言 偏移使倾斜反射归位到它们真正的地下界面位置，并使绕射波收敛，即可以提高空间分辨率。 按所处理的地震资料是否做过水平叠加划分为叠后偏移和叠前偏移两大类。 偏移方法分为时间域和深度域两类。时间偏移技术是基于横向速度变化弱的水平层状介质模型产生的，而深度偏移技术是基于横向变速的真实地质深度模型发展而来的。 从当前技术发展的状况看，目前国内应用的叠前偏移技术基本上可以概括为以下两类。一种是基于波动方程积分解的克希霍夫积分法叠前偏移。这种技术，在20世纪90年代以前就在研究，目前，随着多年来持续不断地改进和完善，已经成为一种高效实用的叠前偏移方法，它具有高角度成像、无频散、占用资源少和实现效率高的特点，能适应不均匀的空间采样和起伏地表，比较适合复杂构造的成像。目前国际上有多种较为成熟的积分法叠前成像软件，是当前实际生产中使用的主要叠前深度偏移方法。一种是基于波动方程微分解的波动方程叠前偏移。这种技术目前在国内的应用还处于试验阶段。 叠前时间偏移与叠后时间偏移和叠前深度偏移一样，都是基于三大数学工具，即克希霍夫积分、有限差分和Fourier变换。
(完整版)深度神经网络及目标检测学习笔记(2)
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
基于深度学习的图像字幕生成方法研究
基于深度学习的图像字幕生成方法研究 发表时间：2019-02-28T15:08:21.577Z 来源：《基层建设》2018年第36期作者：王珊珊 [导读] 摘要：几年之前，由于计算能力的不足以及大规模图像字幕数据集的缺少，这就导致了国外很少有人做这方面的研究，其所得到的结果也让人不尽满意，在国内更是鲜有人涉及这个方向。 华风气象影视技术中心北京 100000 摘要：几年之前，由于计算能力的不足以及大规模图像字幕数据集的缺少，这就导致了国外很少有人做这方面的研究，其所得到的结果也让人不尽满意，在国内更是鲜有人涉及这个方向。不过，随着近两年计算机运算能力的提高、深度学习（DL）的发展以及众多大规模图像字幕数据集的出现，这才使得这项任务重新回归到人们的视野并逐渐成为了计算机视觉与自然语言处理领域中的一个研究热点。本文就图像字幕生成任务中所涉及的深度学习算法，在总结前人提出的各种网络及其成效的基础上，研究适合图像字幕生成任务的深度学习模型，为该研究方向提供一定的指导意义。 关键词：深度学习；图像字幕；生成方法 1图像字幕生成概述 图像字幕生成是继图像识别、目标定位、图像分割后又一新型计算机视觉任务。在计算机视觉发展的初期，研究者们尝试利用计算机程序来模拟人类视觉系统，并让其告诉我们它看到了什么，这也就是最基本的图像识别。继图像识别之后，人们又提出更高的要求，即在识别的基础上确定目标在图像中的位置或将其从图像中分割出来。但是，上述任务都是将图像划分到一个或者多个离散的标签中去，它既没有描述出图像中各个对象的关系，也没有给出图像中正在发生的事情。为此，图像字幕生成应运而生，图像字幕生成方法也开始逐渐产生、发展并不断成熟起来。上个世纪七十年代，研究者们认为要让计算机理解它所看到的是什么东西时，必须像人眼一样具有立体视觉。在这种认知的情况下，研究者们希望把物体的三维结构从图像中恢复出来，并在此基础上再让计算机理解和判断。到了八九十年代，研究人员发现要让计算机理解图像，不一定要先恢复物体的三维结构，而是靠物体所具有的一些表面或局部特征。例如，当计算机识别一个苹果时，假设计算机事先知道苹果的形状纹理等特征，并且建立了这样一个先验知识库，那么计算机就可以将看到的物体的特征与先验知识库中的特征进行匹配。如果能够匹配，计算机就可以被认为理解了这个物体。随后，研究者们又利用这些特征，设计各种分类器来达到理解图像的目的。在计算机理解图像的基础上，研究者们又设计不同的算法来实现目标定位、图像分割、简单的图像字幕生成。其中，传统的图像字幕生成方法就是在得到图像里面的不同物体的基础上，采用自然语言处理技术通过一些检索的方法生成对应的字幕描述。 2基于深度学习的图像字幕生成方法研究 深度学习是机器学习（ML）领域中的一个新的研究方向，它的概念来源于人工神经网络（ANN）的研究，其实质就是通过构建机器学习模型和利用海量的训练数据，来逐层变化特征，以提升分类或者预测的准确性。同传统的机器学习方法一样，深度学习也有监督学习和无监督学习之分，不同学习框架下建立的学习模型也是不同的。 2.1基于卷积与循环神经网络的图像字幕生成 2.1.1基于卷积神经网络的图像特征提取 图像特征提取是指计算机经过一系列算法将一幅原始RGB图像转化成一个特征向量或一个特征矩阵，该向量或矩阵就在其空间中代表了这幅图像。图像特征一般包括低级特征和高级特征。常见的低级特征包括颜色特征、纹理特征、形状特征、空间关系特征。低级特征的优点是计算简单直接，缺点是对图像敏感，不能反映图像本身所包含的对象信息。图像的高级特征是指该特征包含了一定的语义信息，利用该特征可以更加容易地识别该图像所包含的内容。本文将利用最先进的卷积神经网络结构进行图像特征提取，常见的有AlexNet、VGG、GoogleNet、ResNet等，这些网络在ImageNet图像分类比赛（ImageNet是由美国斯坦福大学计算机视觉实验室建立的，目前世界上最大的图像识别数据库）中可以达到与人类相媲美的优异结果。本文同大多数计算机视觉应用一样，将采用在ImageNet数据集上预训练好的卷积神经网络，然后通过迁移学习的方法将其用于图像字幕生成任务。对于上述任何一个卷积神经网络可以将其简化成如下图的结构： 2.1.2基于循环神经网络的语言建模与生成 图像可以通过卷积神经网络转变成含有高级语义信息的特征向量。类似的，对于句子也要将其转换成向量才能方便后续处理。一般的，句子往往是由很多个单词组成，将每个单词转变成成一个有意义的词向量比向量化整个句子处理起来更加灵活。有了词向量以后，句子则可以通过一系列按顺序排列的词向量表示。为了能表示出所有字幕，本章将字幕集出现过的所有单词组成一个集合，并将该集合形象化地称为“字典（V ocabulary）”。对于字典里的所有单词，可以将其按顺序排列，并将其序号作为其唯一索引。假设字典的大小为V，即字典共包含V个单词。对于每一个单词，为了方便可以将其进行独热（One-hot）编码，即用长度为V的向量S表示，该向量除了单词对应的索引位为1以外其余全部为0。one-hot编码只是给出了单词的唯一索引信息，想要将其应用在其他任务中就必须将其特征向量化，即word2vec （Word to Vector）。常见的word2vec模型有CBoW（Continuous Bag of Words）模型、Skip-grams模型，采用这些模型就必须单独将其在语料库上训练，这同样会导致模型不能进行端到端训练。近些年，研究证明循环神经网络是一种非常适合该任务的时序模型，它不仅可以根据语句的上下文信息完成word2vec，还可以非常方便地生成新的句子。 2.2基于注意力机制模型的图像字幕生成 2.2.1图像特征提取 上一节的图像字幕生成模型所提取的图像特征是来自卷积神经网络最后的全连接层，它是一个一维向量。因此，它只包含了图像全局的语义信息，而丢失了图像内容之间的位置信息。对于图像的卷积运算来说，它有一个很好的特点，就是卷积的结果能够保留输入图像大致的位置信息。因此，不含有全连接网络的卷积神经网络同样具有这个性质。根据上述思想，为了将每个特征向量与二维图像内容的位置
(完整版)深度神经网络全面概述
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.360docs.net/doc/5b9602897.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
基于深度卷积神经网络的图像分类
SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了88.1%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, 88.1% classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words:Convolution neural network(CNN), image classification, Batch Normalization,Dropout
二维叠前深度偏移连片处理及成像建模技术
文章编号:167221926(2003)0320203204 收稿日期:2003204217;修回日期:20032052101 作者简介:张建伟(19632),男,山西长子人,博士生,主要从事地震资料处理、解释与深度偏移等研究1 二维叠前深度偏移连片处理及成像建模技术 张建伟1,2,鲁烈琴2,强芳青2,马 龙2,岳伏生2 (11成都理工大学,四川成都 610059;21中国石油勘探开发研究院西北分院,甘肃兰州 730020) 摘 要:塔里木盆地塔中地区深层低幅度构造是有利的含油气区,但因构造探明程度低,很难准确确定钻探井位,再加上一些地区利用二维地震资料做构造图,使得小幅度构造的可靠性进一步降低。为了在利用二维地震资料条件下提高深层小幅度构造的可靠性,进一步提高构造成像的真实性,提出了如下研究思路:在时间域解决近地表静校正闭合差和提高资料信噪比;在深度域消除相交测线的速度闭合差;进行二维叠前深度偏移连片处理。基于这种思路,在时间域首先对每条二维测线做初至折射静校正,以便消除由近地表引起的剖面闭合差。然后利用二维测线按照三维叠前深度偏移方法建立全区统一的速度场,并从该速度场中抽取每条二维测线的叠前深度偏移速度场,使每条二维测线准确成像。从最终结果来看,新剖面较老剖面在信噪比和成像精度上有较大的提高,新落实的小幅度构造与井分层数据吻合较好。因此认为,依据所提思路和方法进行连片处理较好地解决了中深层低幅度构造的成像问题。 关键词:深层小幅度构造;剖面闭合差;二维叠前深度偏移连片处理中图分类号:P 63114 文献标识码:A 1 问题的提出 塔里木盆地塔中地区深层低幅度构造所处位置有利于油气成藏。该区地震勘探工作始于1986年,1991年发现该构造;在塔中35井石炭系东河砂岩 段见丰富油气显示并获得了低产油流,预示着该区有良好的勘探前景。但是,对于低幅度构造来说,不同年度采集处理的地震资料之间的闭合差严重影响 了圈闭的可靠性,常常导致构造高点偏移。为了进一步查明该区的低幅度构造和解决闭合差问题,我们借助于老的二维地震资料重新进行了精细处理。 工区内共有25条二维地震测线,其中南北向主测线13条,东西向联络测线12条。野外采集用4种仪器接收,覆盖次数有60次和48次2种。施工期从1986年到1994年,时间跨度较大,造成测线间闭合差大。另外,由于地表沙山与沙丘发育,造成近地表低降速带厚度剧烈变化,给准确求取静校正量带来难度[1]。这些不利条件对查明塔中深层低幅度构造造成很大影响。处理难点主要表现为以下方面。 (1)原始单炮上倾斜干扰波及低频面波较发 育,有效波频带宽度在6～38H z 之间,而深层目的层段主频只有13H z 左右。 (2)深层目的层段有效波能量很弱,低幅度构造在二维地震资料上表现为15m s 左右。 (3)本区存在火成岩,严重影响了对其周围速度分析的精度。 (4)工区内较为突出的静校正问题属沙漠区的中、长波静校正问题。 2 我们的研究思路和主要技术措施、 实现方法 为了在利用二维地震资料条件下提高深层小幅度构造的可信度,进一步提高构造成像的真实性,提出了如下研究思路:①在时间域解决近地表静校正闭合差和提高资料信噪比;②在深度域消除相交测线的速度闭合差;③进行二维叠前深度偏移连片处理。基于这种思路,在时间域首先对每条二维测线做初至折射静校正,以便消除由近地表引起的剖面闭合差。然后按照三维叠前深度偏移方法利用二维测线建立全区统一的速度场,并从该速度场中抽取每 第14卷第3期 2003年6月 天然气地球科学 NA TU RAL GA S GEO SC IENCE V o l .14N o.3Jun . 2003
深度神经网络及目标检测学习笔记
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
【CN109933661A】一种基于深度生成模型的半监督问答对归纳方法和系统【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910266295.X (22)申请日 2019.04.03 (71)申请人 上海乐言信息科技有限公司 地址 200030 上海市徐汇区番禺路1028号 数娱大厦8楼 (72)发明人 褚善博 沈李斌 (51)Int.Cl. G06F 16/332(2019.01) (54)发明名称 一种基于深度生成模型的半监督问答对归 纳方法和系统 (57)摘要 本发明公开了一种基于深度生成模型的半 监督问答对归纳方法和系统，该方法包括以下步 骤：通过候选问答对生成方法从输入的对话数据 中整理出候选问答对；通过采用基于深度生成模 型的问答对评价方法对所述候选问答对打分；根 据所述候选问答对打分结果利用问答对筛选方 法得到高质量问答对；通过半监督学习方式对所 述深度生成模型进行预先训练后再应用到所述 问答对评价方法中。通过以上方式能够进行自动 化的问答对归纳，极大减少了人工参与并获取高 质量的问答对。权利要求书4页 说明书13页 附图3页CN 109933661 A 2019.06.25 C N 109933661 A
权 利 要 求 书1/4页CN 109933661 A 1.一种问答对归纳方法，其特征在于，问答对归纳的自动化方法包括以下步骤： 通过候选问答对生成方法从输入的对话数据中整理出候选问答对； 通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分； 根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对； 通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。 2.一种问答对归纳方法，其特征在于，问答对归纳的自动化方法包括以下步骤： 通过候选问答对生成方法从输入的对话数据中整理出候选问答对； 通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分； 根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对； 通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。 3.根据权利要求1所述的问答对归纳方法，其特征在于，所述问答对评价方法使用的半监督学习方式训练的深度生成模型可采用序列到序列（Sequence to Sequence）的深度生成模型，如，基于Transformer的Sequence to Sequence模型，和基于LSTM和GRU等的 encoder、decoder的sequence to sequence模型，还可采用统计机器翻译中用到的生成模型。 4.根据权利要求3所述的问答对归纳方法，其特征在于，所述基于Transformer的Sequence to Sequence模型参数设置为：multi-head的数量设置为8，encoder和decoder中layer为6，进一步地，所述模型的输入端使用预训练的字向量拼接所述字的位置向量，进一步地，使用word2vec训练字向量，字向量维度设置为100。 5.根据权利要求3所述的问答对归纳方法，其特征在于，所述半监督学习方式训练的深度生成模型采用的可采用自学习(Self Learning)的半监督方法、基于EM（Expectation Maximization）算法的生成式半监督方法以及基于图的半监督学习等。 6.根据权利要求5所述的问答对归纳方法，其特征在于，所述采用自学习方式训练的基于Transformer的Sequence to Sequence模型训练步骤进一步包括： 通过问答对生成方法从训练用对话数据中获得训练数据，进一步，从中采样，其中，采样部分数据标记为“未审阅有效问答对”，生成数据集De，剩余部分标记为“未审阅问答对”，生成数据集Dw； 通过人工审阅过程对所述“未审阅有效问答对”数据集De进行审核，得到高质量的问答对数据集Dc； 使用所述数据集Dc与所述数据集Dw作为训练数据，采用所述自学习方式对所述基于Transformer的Sequence to Sequence模型进行训练。 7.根据权利要求6所述的问答对归纳方法，其特征在于，所述问答对生成方法可通过基于启发式规则实现，执行步骤进一步包括： 将训练用对话数据中问题语句和回复语句按照长度过滤，筛选出满足长度条件的对话语句； 按照位置顺序，分别判断每个回复语句在所述对话语句中是否位于两个问题语句之间，或者是否紧接最后一个问题语句且位于所述对话语句的结束句处，若是，寻找对应回复 2
KIRCHHOFF叠前深度偏移处理流程样本
经过仔细的试验和分析, 我们确定了本次的时间域处理流程, 常规处理流程简图如下:
1 、深度偏移处理主要技术措施 1．1、相干反演 相干反演是用来建立初始速度―深度模型的常见手段。 其主要思路是: 用射线追踪产生的旅行时曲线, 沿该曲线的时间窗口计算叠加道的相干值, 用不同的层速度进行相同的处理, 取最大相干值对应的层速度为期望的速度。输入的是未叠加的数据(如共中心点道集或共炮点道集), 输出的是初始速度模型。该模型一般是基于附近的井信息和叠加剖面的解释。反演是一层一层进行, 在迭代中完成。该方法依赖于: ①介质模型的解释; ②射线追踪算法; ③目标函数的选择; ④找最大目标函数方法。 1．2、层析成像 初始模型(速度模型和深度模型)往往是粗糙的, 要得到精确的深度域结果, 就要综合利用各种技术方法不断调整、优化层速度模型, 直至每一个共偏移距的成像结果一致为止, 使之与地下地质情况最佳吻合。层析成像技术, 是速度模型优化的主要手段, 在地震学和地震勘探的研究工作中, 人们引进了医学上的CT技术(Computerized Tomography), 就是利用X射线检查人体内部的技术。在医学上X射线是直线路径, 而地震波在地球内部传播是沿着弯曲的路径。层析成像模型修改也是重复迭带进行的。 1．3 、射线偏移 对地下倾斜界面, 在地表记录的地震资料经处理获得的剖面, 在横向和垂向位置以及倾角都与真实情况有差异, 只有经过层位偏移后才能恢复到真实位置。将时间域零炮检距剖面上层位转化为深度域层位, 称之为射线偏移。输入的是零炮检距剖面上解释的时间层位(一般在叠加剖面上解释)和层速度。输出的是深度域层位。 1.4 共反射角Kirchhoff叠前深度偏移 Paradigm的具有专利技术的从目标成像点向地面进行射线追踪的共反射角偏移。广泛用于目标区的偏移成像。 1.5 波动方程叠前深度偏移
单目深度估计文献翻译unsupervised monocular depth estimation with left-right consistency
左右（视差）一致的非监督式单目深度估计 摘要 以学习为基础的方法已经在对单张图片的深度估计上取得了可观的结果。大多数现有的方法是将深度预测作为监督式的回归问题来处理，然而这种方式需要大量相应的真实深度数据用于训练。然而，单单从复杂环境中获取高质量的深度数据就已经很有难度了。我们将在本文中对已有方式进行创新，不再对深度数据进行训练，而是训练更容易获得的双目立体连续镜头。 我们提出了一种新颖的训练目标，即使在缺少真实深度数据的情况下，仍然能够使用卷积神经网络来完成单张图片的深度估计。利用极线几何限制，我们通过训练有图像重构损失函数的网络生成了视差图像。我们曾发现单独进行图像重构会导致深度图像质量很差。为了解决这个问题，我们提出了一个新颖的训练损失函数，可以使左右图像产生的视差趋于一致，以此来提高当前方式的表现和健壮度。我们的方法在KITTI 驾驶数据集上展示出艺术般的单目深度估计效果，甚至优于基于真实深度数据的监督式学习的效果。 1.简介 在计算机视觉领域，对图片进行深度估计已经有了很久的历史。目前的成熟方式依赖于连续动作、X 射线下的形状、双目和多视角立体模型。然而，多数的上述技术是基于可获取相关场景的观测数据的假设。其中，数据可能是多角度的，或者观测是在不同的光线环境下进行的。为了突破这个限制，近期涌现出大量在监督式学习下对单目深度识别的讨论。这些方法试图直接在线下通过大量真实深度数据训练的模型来对图像中的每一个像素进行深度估计。这些方法虽然已经取得巨大的成功，但是是建立在可获取大量图像数据集和相应的像素深度的情况下的。 在单张图像里获取不受外表干扰的场景形状是机器感知的基础问题。很多此类的应用，比如在计算机图形学中合成对象的插入、在计算机摄影学中对深度的合成、机器人抓握，会使用深度为线索进行人体姿
基于深度学习的创意三维体素模型的建模系统的构建方法与制作流程
本技术涉及三维体素模型的建模领域，其公开了一种基于深度学习的创意三维体素模型的建模系统的构建方法，构建一种可自动生成具有创意性的三维体素模型，同时具有可交互编辑功能的建模系统。该方法包括：A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集；B、搭建三维模型的生成模型以及三维模型组成部件的生成模型，并采用体素数据集和语义部件数据集分别进行训练；C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型，并进行训练；D、将训练后的语义结构模型整合入系统中作为建模算法，同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。 权利要求书 1.基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于， 包括以下步骤： A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集； B、搭建三维模型的生成模型以及三维模型组成部件的生成模型，并采用体素数据集和语义部件数据集分别进行训练；
C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型，并进行训练； D、将训练后的语义结构模型整合入系统中作为建模算法，同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。 2.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于， 步骤A中，基于已知数据集ShapeNetCore，并进行人工的分类和对齐来制作三维模型的体素数据集；然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类，以此制作组成三维模型的语义部件数据集。 3.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于， 步骤B中，采用整体变分自编码器作为三维模型的生成模型，采用部件变分自编码器作为三维模型组成部件的生成模型；采用KL散度和二进制交叉熵作为损失函数，利用体素数据集中的数据训练所述整体变分自编码器；采用KL散度和二进制交叉熵作为损失函数，利用三维模型的语义部件数据集中的数据训练所述部件变分自编码器。 4.如权利要求3所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于， 所述整体变分自编码器和部件变分自编码器均采用编码器-解码器的结构，编码器和解码器均由深度卷积神经网络组成；其中，部件变分自编码器采用的卷积层数少于整体变分自 编码器采用的卷积层数。 5.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，
KIRCHHOFF叠前深度偏移处理流程
经过仔细的试验和分析，我们确定了本次的时间域处理流程，常规处理流程简图如下：
1 、深度偏移处理主要技术措施 1．1、相干反演 相干反演是用来建立初始速度―深度模型的常用手段。 其主要思路是：用射线追踪产生的旅行时曲线，沿该曲线的时间窗口计算叠加道的相干值，用不同的层速度进行相同的处理，取最大相干值对应的层速度为期望的速度。输入的是未叠加的数据(如共中心点道集或共炮点道集)，输出的是初始速度模型。该模型通常是基于附近的井信息和叠加剖面的解释。反演是一层一层进行，在迭代中完成。该方法依赖于：①介质模型的解释；②射线追踪算法；③目标函数的选择；④找最大目标函数方法。 1．2、层析成像 初始模型(速度模型和深度模型)往往是粗糙的，要得到精确的深度域结果，就要综合利用各种技术方法不断调整、优化层速度模型，直至每一个共偏移距的成像结果一致为止，使之与地下地质情况最佳吻合。层析成像技术，是速度模型优化的主要手段，在地震学和地震勘探的研究工作中，人们引进了医学上的CT 技术(Computerized Tomography)，就是利用X射线检查人体内部的技术。在医学上X射线是直线路径，而地震波在地球内部传播是沿着弯曲的路径。层析成像模型修改也是反复迭带进行的。 1．3 、射线偏移 对地下倾斜界面，在地表记录的地震资料经处理获得的剖面，在横向和垂向位置以及倾角都与真实情况有差异，只有经过层位偏移后才能恢复到真实位置。将时间域零炮检距剖面上层位转化为深度域层位，称之为射线偏移。输入的是零炮检距剖面上解释的时间层位(通常在叠加剖面上解释)和层速度。输出的是深度域层位。 1.4 共反射角Kirchhoff叠前深度偏移 Paradigm的具有专利技术的从目标成像点向地面进行射线追踪的共反射角偏移。广泛用于目标区的偏移成像。 1.5 波动方程叠前深度偏移 Paradigm的二维F-X波动方程叠前深度偏移有利于复杂速度场及复杂构造和陡倾角成像。
BP神经网络及深度学习研究 - 综述
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用 w表示神经元i和神经元j之间的连接强度。 ij (2)具有反映生物神经元时空整合功能的输入信号累加器 。
深度神经网络
1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入，而是允许一定的误差存在。所以，我们说，输出是对输入的一种重构。其网络结构可以很简单的表示如下： 如果我们在上述网络中不使用sigmoid函数，而使用线性函数，这就是PCA模型。中间网络节点个数就是PCA模型中的主分量个数。不用担心学习算法会收敛到局部最优，因为线性BP网络有唯一的极小值。
在深度学习的术语中，上述结构被称作自编码神经网络。从历史的角度看，自编码神经网络是几十年前的事情，没有什么新奇的地方。 既然自联想神经网络能够实现对输入数据的重构，如果这个网络结构已经训练好了，那么其中间层，就可以看过是对原始输入数据的某种特征表示。如果我们把它的第三层去掉，这样就是一个两层的网络。如果，我们把这个学习到特征再用同样的方法创建一个自联想的三层BP网络，如上图所示。换言之，第二次创建的三层自联想网络的输入是上一个网络的中间层的输出。用同样的训练算法，对第二个自联想网络进行学习。那么，第二个自联想网络的中间层是对其输入的某种特征表示。如果我们按照这种方法，依次创建很多这样的由自联想网络组成的网络结构，这就是深度神经网络，如下图所示：
注意，上图中组成深度网络的最后一层是级联了一个softmax分类器。 深度神经网络在每一层是对最原始输入数据在不同概念的粒度表示，也就是不同级别的特征描述。 这种层叠多个自联想网络的方法，最早被Hinton想到了。 从上面的描述中，可以看出，深度网络是分层训练的，包括最后一层的分类器也是单独训练的，最后一层分类器可以换成任何一种分类器，例如SVM，HMM等。上面的每一层单独训练使用的都是BP算法。相信这一思路，Hinton早就实验过了。 2. DBN神经网络模型 使用BP算法单独训练每一层的时候，我们发现，必须丢掉网络的第三层，才能级联自联想神经网络。然而，有一种更好的神经网络模型，这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法，在深度学习里被称作深度信念网络DBN，这是目前非
基于风格化对抗自编码器的图像生成算法
基于风格化对抗自编码器的图像生成算法 发表时间：2019-01-02T14:25:51.980Z 来源：《信息技术时代》2018年3期作者：孙力军，李潘[导读] 在本论文中提出了一种用于自动图像生成的基于自编码器的生成对抗网络（GAN），我们称之为“风格化对抗式自编码器”。不同于已有的生成式自编码器（通常会在隐向量上施加一个先验分布）（成都理工大学，四川成都 610059） 摘要：在本论文中提出了一种用于自动图像生成的基于自编码器的生成对抗网络（GAN），我们称之为“风格化对抗式自编码器”。不同于已有的生成式自编码器（通常会在隐向量上施加一个先验分布），我们提出的方法是将隐变量分成两个分量：风格特征和内容特征，这两个分量都是根据真实图像编码的。这种隐向量的划分让我们可以通过选择不同的示例图像来任意调整所生成图像的内容和风格。此外这个GAN 网络中还采用了一个多类分类器来作为鉴别器，这能使生成的图像更具真实感。结果表明风格化对抗式自编码器能显著改善对应的监督识别任务。 关键词：GAN；自编码器；模型 1 引言 生成式自然图像建模是计算机视觉和机器学习领域的一个基本研究问题。早期的研究更关注生成网络建模的统计原理，但由于缺乏有效的特征表征方法，相应结果都局限于某些特定的模式。深度神经网络已经展现出了在学习表征方面的显著优势，并且已经被证明可有效应用于鉴别式视觉任务（比如图像分类和目标检测），与贝叶斯推理或对抗训练一起催生出了一系列深度生成模型。我们在本论文中提出了一种名为风格化对抗式自编码器（SAAE）的全新生成模型，该模型是使用一种对抗式来训练风格化自编码器。内容特征和风格特征都是根据示例图像编码的，并且不会在隐变量的分布上使用任何先验假设。带有给定内容和风格的目标图像可以根据组合起来的隐变量解码得到，这意味着我们可以通过选择不同的示例内容和/或风格图像来调整输出图像。 2 风格化对抗式自编码器 生成网络由两个编码器（Enc和Ens）和一个解码器（Dec）构成。其中 Enc 将内容图像编码成内容隐含表征或特征z_c，Ens 将风格图像编码成风格隐含表征或特征 z_s。Dec 解码组合后的隐含表征并得到输出图像。为了方便起见，我们使用生成器 G 表示 Enc、Ens 和 Dec 的组合。 已有 GAN 中的鉴别器的输出是表示该输出 x 是真实图像的概率 y = Dis(x) ∈ [0,1]。而鉴别器 D 的训练目标是最小化二元交叉熵：L_{dis} = ?log(Dis(x))?log(1?Dis(G(z)))。G 的目标是生成 D 无法将其与真实图像区分开的图像，即最大化 Ldis。我们提出的生成网络包含两个特征提取网络流程，之后再跟上一个生成网络。内容特征提取器和风格特征提取器都有三个无下采样的卷积层，这样能尽可能多地保留示例图像的细节信息。输入的风格图像和内容图像可能有不同的尺寸。 3 实验 我们使用了评估了我们的方法：为监督识别任务生成训练数据。深度神经网络（DNN）已经在监督学习方面表现出了显著的优越性，但它却依赖于大规模有标注训练数据。在小规模训练数据上，深度模型很容易过拟合。我们还使用 SAAE 模型为识别中国汽车牌照任务生成了训练数据。我们通过测量在 DR-PLATE 数据集上的识别准确度而对数据生成的质量进行了评估。根据实验表明加入到训练数据集中的生成数据越多，模型收敛得越慢，但分类准确度却越来越好。这个结果表明我们的 SAAE 模型能够通过生成数据提升监督学习的表现。 4 结论 我们提出了一种全新的深度自编码器网络，它可以分别编码来自两个示例图像的内容特征和风格特征并根据这两个特征解码得到新图像。使用了多类分类器作为鉴别器，这能更好地建模生成的图像的变化情况，并能有效地迫使生成网络生成更具真实感的结果。我们开发了一种三步式训练策略，以确保我们提出的风格化对抗式自编码器的收敛。参考文献 [1]Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, DavidWarde-Farley,Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarialnets. In Advances in Neural Information Processing Systems. 2672–2680. [2]Anders Boesen Lindbo Larsen, S?ren Kaae S?nderby, and Ole Winther. 2015.Autoencoding beyond pixels using a learned similarity metric. arXiv preprint arXiv:1512.09300 (2015). [3]Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. 2015. Faster R-CNN:Towards real-time object detection with region proposal networks. In Advances in neural information processing systems. 91–99..