谭营---机器学习研究及最新进展
生成式对抗网络:从生成数据到创造智能
生成式对抗网络：从生成数据到创造智能王坤峰;左旺孟;谭营;秦涛;李力;王飞跃【期刊名称】《自动化学报》【年(卷),期】2018(044)005【总页数】6页(P769-774)【作者】王坤峰;左旺孟;谭营;秦涛;李力;王飞跃【作者单位】中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190;青岛智能产业技术研究院青岛266000;哈尔滨工业大学计算机科学与技术学院哈尔滨150001;北京大学信息科学技术学院北京100871;微软亚洲研究院北京100080;清华大学自动化系北京100084;中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190;国防科技大学军事计算实验与平行系统技术研究中心长沙410073【正文语种】中文技术创新是社会经济发展的核心驱动力.继以物联网、云计算、大数据和移动互联网为代表的信息技术之后,以深度学习为代表的人工智能技术蓬勃发展,被公认是社会经济发展的新动能和新引擎,有望在农业生产、工业制造、经济金融、社会管理等众多领域产生颠覆性变革.生成式对抗网络(Generative adversarial networks,GAN)作为一种新的生成式模型,已成为深度学习与人工智能技术的新热点,在图像与视觉计算、语音语言处理、信息安全等领域中展现出巨大的应用和发展前景.1 GAN的原理与现状生成式对抗网络GAN是由Goodfellow等[1]在2014年提出的一种生成式模型.其核心思想来源于博弈论中的二人零和博弈.基本的GAN模型在结构上由一个生成器(Generator)和一个判别器(Discriminator)组成,如图1所示.从某个概率分布pz(例如高斯分布)中采样随机变量z,作为生成器G的输入,经过G的非线性映射,输出信号G(z).取决于G的结构和计算复杂性,从z到G(z)一般经过高度复杂的非线性变换,使得随机变量G(z)具备拟合高度复杂分布的能力.不失一般性,将G(z)称为生成数据(或伪数据),相应地将来自物理世界的数据x称为真实数据.判别器D以G(z)或x为输入,通过计算其属于真实数据的概率,判断输入数据是来自于真实数据还是生成数据.由于G和D一般采用高度非线性并且可微的深度神经网络结构,因而均可以采用端对端学习策略进行训练.具体而言,在训练G和D 时,采用对抗学习策略,使二者的训练目标相反.D的目标是最大化对数似然函数以判断G(z)和x的来源,将G(z)判断为生成数据,将x判断为真实数据.与之相对的是,G的目标是最小化对数似然函数,使G(z)的分布pg逼近真实数据x的分布pdata.不断迭代此对抗训练过程,交替更新判别器D和生成器G的参数,使D和G的性能不断提高;当达到平衡状态时,则认为G(z)学习到了真实数据x的分布空间,此时G(z)和x在分布上不具有差异性,判别器D无法对数据来源做出正确的判断.Goodfellow等[1]从理论上证明了当GAN模型收敛时,生成数据具有和真实数据相同的分布.但是在实践中,GAN的收敛性和生成数据的多样性通常难以保证[2].主要存在两个问题:生成器梯度消失和模式坍塌(Mode collapse).梯度消失是指由于生成器G和判别器D的训练不平衡,判别器D的性能很好,对生成数据G(z)和真实数据x能够做出完美的分类,那么D 对应的误差损失将很小,进而反向传播到G的梯度值很小,使得生成器G不能得到有效的训练.模式坍塌是指对于任意随机变量z,生成器G仅能拟合真实数据分布pdata的部分模式,虽然G(z)与真实数据x在判别器D难以区分,但是生成器G无法生成丰富多样的数据.为了解决GAN模型存在的问题,国内外学者提出了许多衍生模型[3].例如,Arjovsky 等[4]提出了Wasserstein GAN,用Earth-mover距离代替Jensen-Shannon散度,来度量生成数据分布与真实数据分布之间的差异,在很大程度上缓解了梯度消失和模式坍塌问题.图2显示了arXiv上GAN 论文数量 (以 Generative adversarial networks、Generative adversarial nets和Adversarial learning为关键词检索得到)的变化趋势,反映了GAN的研究热度变化.可以看出,Goodfellow等提出GAN后的两年内,相关论文的数量并不多,但是从2016年下半年开始,论文数量快速增长.图1 GAN的基本结构和计算流程Fig.1 Basic structure and computation procedure of GAN图2 arXiv上GAN论文数量的变化趋势Fig.2 Trend of the number of GAN papers published on arXiv另外,有许多衍生模型是从应用的角度提出的.例如,图像到图像转换具有广泛的应用,Zhu等[5]提出了CycleGAN,它包括两个生成器和两个判别器,在对抗损失的基础上增加了循环一致性损失,用于训练非配对的图像到图像转换模型.目前,GAN已经被广泛应用于计算机视觉、语音语言处理、信息安全等领域.图3显示了arXiv 上GAN论文所属的学科领域.可以看出,论文最多的学科领域是计算机视觉(cs.CV),说明GAN目前主要用于图像处理与计算机视觉;其次是机器学习(cs.LG和stat.ML)、计算与语言(cs.CL)、人工智能(cs.AI)、语音(cs.SD)、语音处理(eess.AS)、机器人(cs.RO)、密码与安全(cs.CR)、多媒体(cs.MM)等.2 GAN:从生成数据到创造智能GAN的初始目的是基于大量的无标记数据无监督地学习生成器G,具备生成各种形态(图像、语音、语言等)数据的能力.随着研究的深入与发展,以生成图像为例,GAN能够生成百万级分辨率的高清图像[6].实际上,GAN生成数据并不是无标记真实数据的单纯复现,而是具备一定的数据内插和外插作用,可以作为一种数据增广方式,结合其他数据更好地训练各种学习模型.进而,通过在生成器的输入同时包括随机变量z和隐码c并最大化生成图像与隐码c的互信息,InfoGAN能够揭示复杂数据中隐含的分布规律,实现数据的解释化表达[7].因而,GAN不仅可以用于探索复杂数据的潜在规律,还能够生成高质量的生成样本以作为真实数据的有效补充,为学习智能模型提供了新的视角和数据基础.图3 arXiv上GAN论文所属的TOP 10学科领域Fig.3 Top 10 subject categories of the GAN papers published on arXiv对于条件GAN模型,生成网络的输入往往被定义为样本的类别甚至其他形式(模态)的数据.到目前为止,已经研究了根据文本描述生成图像[8],进行交互式图像编辑[9],从低分辨率图像生成高分辨率图像[10],预测视频的未来帧[11],将仿真图像转换为真实风格的图像[12],实现通用的图像到图像转换[5],对真实图像的光照和天气条件进行变换[13],从二维图像生成物体的三维模型等[14].数据形式(模态)的转换可以进一步带来不同模态之间数据的可复用、模型和知识的迁移,创造更高水平的智能.例如,SimGAN能够将仿真图像转换为更具真实感的图像,同时保持仿真图像的标注信息不变,利用转换后的图像数据来训练视线估计和手势估计模型,使模型精度得到大幅提升[12].更进一步,由于GAN引入了对抗学习机制,在训练生成器产生更高质量数据的过程中,本身就会创造新的智能.例如,将语义分割卷积神经网络作为GAN的生成器,用判别器来判断分割图是来自分割网络还是来自真实标注,可以引入更高阶的一致性约束,提高语义分割的精度[15];在本专刊中,郑文博等撰写的“基于贝叶斯生成对抗网络的背景消减算法”利用GAN的对抗学习机制来训练背景消减神经网络,将一批输入图像直接转换成一批前景/背景分割结果,在公共测试集上取得了良好的性能;Mal-GAN能够主动生成具有对抗性的病毒代码样本,攻击黑盒病毒检测模型,有利于提高反病毒软件的性能[16].总之,GAN在对抗样本、数据增广、迁移学习和创造智能等方面都展现出巨大的潜力,已成为当前的深度学习与人工智能研究中关注的热点.3 GAN与平行智能GAN作为一种有效的生成数据和创造智能的模型,与平行智能密切相关[17].平行智能强调虚实互动,其载体是基于ACP(Arti ficial systems,computational experiments,and parallel execution)的平行系统[18].利用人工系统来建模和表示实际系统,通过计算实验来分析和评估各种计算模型,借助平行执行来引导实际系统向着理想的目标状态逼近.平行智能包括平行视觉、平行学习等分支.平行视觉[19−20]是ACP理论在视觉计算领域的推广.平行视觉利用人工场景来模拟和表示复杂挑战的实际场景,使采集和标注大规模多样性的图像数据集成为可能,通过计算实验进行视觉算法的设计与评估,最后借助平行执行来在线优化视觉系统,实现对复杂环境的感知与理解.利用GAN的半监督/无监督学习能力,能够生成大规模、多样性的图像数据[12−13],有利于对视觉模型进行充分的训练与评估,提高视觉模型在复杂场景下的运行可靠性.平行学习[21]是一个新型的机器学习理论框架.首先从原始数据中选取特定的“小数据”,输入到软件定义的人工系统中,并由人工系统产生大量新的数据;然后这些人工数据和特定的原始小数据一起构成解决复杂问题所需要学习的“大数据”集合,通过计算实验和平行执行来设计优化机器学习模型,得到应用于某些具体场景或任务的“精准知识”.GAN能够生成大量新的数据,作为训练数据的一部分,提高机器学习模型的性能.简言之,可以把GAN看作真与假的平行,把平行智能看作虚与实的平行.GAN必将促进平行智能理论的发展！4 专刊论文概览为促进我国生成式对抗网络(GAN)相关理论、方法、技术与应用研究的开展,及时反映我国学者在相关领域的最新研究进展,我们特组织本专刊,针对GAN的基础理论与方法、结构优化和训练稳定性、对抗机制以及在各领域的应用等重要问题,面向国内研究者征文.本专刊共收到38篇稿件.经过同行评议,我们录用了其中的13篇稿件,研究内容涉及GAN的新结构、因果关系抽取、多视图学习与重构、低秩图像生成等基础研究;GAN在图像识别、人脸表情识别、背景消减等计算机视觉领域的应用基础研究;以及在语言模型数据增强、自能源混合建模与参数辨识、原油总氢物性预测等其他领域的应用基础研究.首先,林懿伦等撰写的综述文章“人工智能研究的新前线:生成式对抗网络”概括了GAN的基本思想,对近年来相关的理论与应用研究进行了梳理,总结了常见的GAN 网络结构与训练方法、博弈形式和集成方法,并对一些应用场景进行了介绍.在此基础上,对GAN发展的内在逻辑进行了归纳总结.针对GAN的生成模型学习效率低、判别模型易出现梯度消失等问题,王功明等撰写的“一种能量函数意义下的生成式对抗网络”提出一种能量函数意义下基于重构误差的生成式对抗网络(Energy reconstruction error GAN,E-REGAN).将自适应深度信念网络作为生成模型,来加快学习速度;将自适应深度自编码器作为判别模型,用重构误差作为能量函数来表征判别模型的性能,能量越小表示GAN学习过程越趋近于纳什均衡的平衡点.在MNIST和CIFAR-10数据集上的实验结果表明,与同类模型相比,E-REGAN在学习速度和数据生成能力两方面都有较大提高.GAN的学习目标是完整拟合真实样本的分布,然而在实践中,真实样本分布的复杂程度难以预计,容易发生模式坍塌.为了提高无监督条件下的GAN生成能力,减少模式坍塌,张龙等撰写的“协作式生成对抗网络”强调不同模式之间既有差异又有联系,提出一种新的协作式生成网络结构.通过构建多个生成模型,在它们之间引入协作机制,使得生成模型在训练过程中能够相互学习,提高模型对真实数据的拟合能力.实验表明,该模型在二维图像生成方面有显著的效果,协作机制可以加快模型收敛速度,提高训练效率,还能消除损失函数噪声,在三维模型生成方面也产生了一定的效果.通过调整模型参数,能够有效抑制模式坍塌.因果关系是一种重要的关系类型,在事件预测、情景生成、问答、文本蕴涵等许多任务中具有重要的应用价值.现有的因果关系抽取方法大多需要繁琐的特征选择,并且严重依赖知识库.为此,冯冲等撰写的“融合对抗学习的因果关系抽取”利用GAN 的对抗学习特性,将带注意力机制的双向门控循环单元神经网络与对抗学习相融合,在因果关系增强模型中引入因果关系解释语句.通过重新定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果验证了该方法的有效性和优越性.综合多个甚至所有的角度往往有助于对事物的全面和深入理解,然而在实际应用中,完整视图数据会导致巨大的获取成本.为了从已有视图构建事物的完整视图,孙亮等撰写的“基于生成对抗网络的多视图学习与重构算法”提出一种基于GAN的多视图学习与重构算法,利用已知单一视图,通过生成模型构建其他视图.提出新型表征学习算法,将同一实例的任意视图都能映射到相同的表征向量,并保证其包含实例的完整重构信息.为构建给定事物的多种视图,提出基于GAN的重构算法,在生成模型中加入表征信息,保证了生成视图数据与源视图相匹配.实验表明该算法取得了很好的视图重构性能.低秩纹理模型是图像处理领域中的一个重要纹理模型,借助于纹理的低秩性可以对受到各种变换干扰的图像进行校正.针对低秩图像校正问题,赵树阳等撰写的“基于生成对抗网络的低秩图像生成方法”提出了一种由原始图像直接生成低秩图像的生成式对抗网络(Low-rank generative adversarial network,LR-GAN).该方法将传统的无监督学习的低秩纹理映射算法(Transform invariant low-rank textures,TILT)作为引导加入到网络中来辅助判别器,使网络整体达到无监督学习的效果,并且使低秩对抗对在生成器和判别器上都能够学习到低秩表示.为了保证生成的图像既有较高的质量又有相对较低的秩,同时考虑到低秩约束条件下优化问题的不易解决,在经过一定阶段的TILT引导后,设计并加入了低秩梯度滤波层来逼近网络的低秩最优解.实验表明,LR-GAN取得了很好的低秩图像生成效果.在漫画绘制的过程中,按草稿绘制出线条干净的线稿是一个很重要的环节.现有的草图简化方法具有一定的线条简化能力,但是由于草图绘制方式的多样性以及画面复杂凌乱程度的不同,这些方法的适用范围和效果有限.为此,卢倩雯等撰写的“基于生成对抗网络的漫画草稿图简化”提出一种基于GAN的草图简化方法,将条件随机场和最小二乘生成对抗网络相结合,搭建草图简化的深度卷积神经网络模型,通过生成器和判别器之间的零和博弈与条件约束,得到更加接近于真实线稿的简化图.深度卷积生成对抗网络在传统GAN的基础上引入卷积神经网络作为模型骨架结构,条件生成对抗网络在GAN的基础上扩展为条件模型.唐贤伦等撰写的“基于条件深度卷积生成对抗网络的图像识别方法”结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立了条件深度卷积生成对抗网络模型.利用卷积神经网络强大的特征提取和表达能力,加以条件辅助生成样本,将此结构优化改进后,应用于MNIST、CIFAR-10等图像识别任务中,有效提高了识别准确率.让机器能够识别人的表情,是人机交互的关键.在自然交流中,人的情绪表达往往伴随着丰富的头部姿态和肢体动作,使得提取有效的表情特征非常困难.现有的表情识别方法大多基于通用的人脸特征表示和识别算法,很少考虑表情识别和身份识别的差异,使得算法不够鲁棒.为此,姚乃明等撰写的“基于生成式对抗网络的鲁棒人脸表情识别”提出一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein GAN的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;还包括一个表情识别网络,在表情识别和身份识别任务之间建立对抗关系,提取用户无关的表情特征并推断表情类型.该方法在公共数据集上取得了较高的表情识别准确率.背景消减是计算机视觉领域的一个重要研究方向.实际环境中存在的光照变化、阴影、背景运动等因素对背景消减提出了严重挑战.为此,郑文博等撰写的“基于贝叶斯生成对抗网络的背景消减算法”提出一种基于GAN的背景消减算法.首先利用中值滤波算法进行背景数据的获取,然后基于贝叶斯GAN建立背景消减模型,采用深度卷积神经网络构建贝叶斯GAN的生成器和判别器,利用GAN的对抗学习机制来进行模型训练.训练后的生成器能够将每个像素分类为前景或背景,有效解决了光照变化、非静止背景、鬼影(Ghost)等问题.基于最大似然估计(Maximum likelihood estimation,MLE)的语言模型数据增强方法存在暴露偏差问题,无法生成具有长时语义信息的采样数据.为此,张一珂等撰写的“基于对抗训练策略的语言模型数据增强技术”提出一种基于对抗训练策略的语言模型数据增强方法,通过一个卷积神经网络判别模型判断生成数据的真伪,引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.为了将判别模型的误差通过反向传播算法回传到生成模型,该方法将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.实验表明,在有限文本数据条件下,随着训练数据量的增加,该方法可以降低识别字错误率,优于基于MLE的数据增强方法.自能源是能源互联网的子单元,旨在实现能量间的双向传输及灵活转换.由于自能源在不同工况下的运行特性存在很大差异,现有方法不能对其进行精确的参数辨识.为此,孙秋野等撰写的“基于GAN技术的自能源混合建模与参数辨识方法”提出了一种基于GAN的数据和机理混合驱动方法,对自能源模型进行参数辨识.将GAN 模型中训练数据与专家经验结合,进行模糊分类,解决了自能源在不同工况下的模型切换问题.通过应用含策略梯度反馈的GAN技术对模型进行训练,解决了自能源中输出序列离散的问题.仿真实验结果表明,提出的模型具有较高的辨识精度和更好的推广性,能够有效地拟合系统在不同工况下的状态变化.针对原油物性的回归预测问题,郑念祖等撰写的“基于Regression GAN的原油总氢物性预测方法”提出一种回归生成对抗网络(Regression GAN,RGAN)结构,该结构在传统GAN的生成模型和判别模型的基础上增加了一个回归模型.通过判别模型与生成模型之间的对抗学习,使得判别模型提取了原油物性核磁共振氢谱谱图的一系列潜在特征.回归模型和判别模型共享首层潜在特征,即样本空间的浅层表达,有利于提高回归模型的预测精度及稳定性.通过在生成模型增加互信息约束,并采用回归模型的均方误差损失函数来估计互信息下界,使得生成模型产生更加接近于真实的样本.实验结果表明,RGAN有效提高了原油总氢物性的预测精度及稳定性.本专刊的顺利完成,离不开作者、审稿专家和《自动化学报》编辑们的大力支持与协助.我们在此表示诚挚的感谢,并希望本专刊对我国生成式对抗网络与人工智能领域的研究起到积极的促进作用.References1 Goodfellow I J,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,et al.Generative adversarial nets.In:Proceedings of the 27th International Conference on Neural Information ProcessingSystems.Montreal,Canada:Curran Associates,Inc.,2014.2672−26802 Creswell A,White T,Dumoulin V,Arulkumaran K,Sengupta B,Bharath AA.Generative adversarial networks:an overview.IEEE Signal Processing Magazine,2018,35(1):53−653 Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321−332(王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报,2017,43(3):321−332)4 Arjovsky M,Chintala S,Bottou L.Wasserstein GAN.arXiv preprintarXiv:1701.07875,2017.5 Zhu J Y,Park T,Isola P,Efros A A.Unpaired imageto-image translation using cycle-consistent adversarial networks.In:Proceedings of the 2017 IEEE International Conference on ComputerVision(ICCV).Venice,Italy:IEEE,2017.2242−22516 Karras T,Aila T,Laine S,Lehtinen J.Progressive growing of GANs for improved quality,stability,and variation.arXiv preprintarXiv:1710.10196,2017.7 Chen X,Duan Y,Houthooft R,Schulman J,Sutskever I,AbbeelGAN:interpretable representation learning by information maximizing generative adversarial nets.In:Proceedings of the 30th Conference on Neural Information ProcessingSystems.Barcelona,Spain:Curran Associates,Inc.,2016.8 Zhang H,Xu T,Li H S,Zhang S T,Huang X L,Wang X G,et al.StackGAN:text to photo-realistic image synthesis with stacked generative adversarial networks.arXiv preprint arXiv:1612.03242,2016.9 Zhu J Y,Krähenbühl P,Shechtman E,Efros A A.Generative visual manipulation on the natural image manifold.arXiv preprintarXiv:1609.03552,2016.10 Ledig C,Theis L,Huszar F,Caballero J,Cunningham A,Acosta A,etal.Photo-realistic single image superresolution using a generative adversarial network.arXiv preprint arXiv:1609.04802,2016.11 Santana E,Hotz G.Learning a driving simulator.arXiv preprintarXiv:1608.01230,2016.12 Shrivastava A,P flster T,Tuzel O,Susskind J,Wang W D,Webb R.Learning from simulated and unsupervised images through adversarial training.In:Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Honolulu,HI,USA:IEEE,2017.2242−225113 Liu M Y,Breuel T,Kautz J.Unsupervised image-to-image translation networks.In:Advances in Neural Information Processing Systems30.Barcelona,Spain:Curran Associates,Inc.,2017.14 Wu J J,Zhang C K,Xue T F,Freeman B,Tenenbaum J.Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling.In:Advances in Neural Information Processing Systems29.Barcelona,Spain:Curran Associates,Inc.,2016.15 Luc P,Couprie C,Chintala S,Verbeek J.Semantic segmentation using adversarial networks.arXiv preprint arXiv:1611.08408,2016.16 Hu W W,Tan Y.Generating adversarial malware examples for black-box attacks based on GAN.arXiv preprint arXiv:1702.05983,2017.17 Wang F Y,Wang X,Li L X,Li L.Steps toward parallel intelligence.IEEE/CAA Journal of Automatica Sinica,2016,3(4):345−34818 Wang Fei-Yue.Parallel system methods for management and control of complex sys tems.Control and Decision,2004,19(5):485−489,514(王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策,2004,19(5):485−489,514)19 Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision:an ACP-based approach to intelligent vision computing.Acta AutomaticaSinica,2016,42(10):1490−1500(王坤峰,苟超,王飞跃.平行视觉:基于ACP的智能视觉计算方法.自动化学报,2016,42(10):1490−1500)20 Wang K F,Gou C,Zheng N N,Rehg J M,Wang F Y.Parallel vision for perception and understanding of complex scenes:methods,framework,and perspectives.Arti ficial Intelligence Review,2017,48(3):299−32921 Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1−8(李力,林懿伦,曹东璞,郑南宁,王飞跃.平行学习—机器学习的一个新型理论框架.自动化学报,2017,43(1):1−8)。
2010年北京大学“本科生科研训练”资助项目名单
国
家
创
新
计
划
00801006
00801072
00801003
张瑞祥
范晨捷
龚任飞
男
男
男
范后宏
微分流形上的拓扑与分析联系的若干问题
00801061
王志宇
男
张平文
关于有序相变成核的研究
00801129
王翔宇
男
邓明华
多流行病交互作用下传播行为的统计建模分析
00801074
00801107
00801044
全球变暖的背景下海平面温度升高对Brewer-Dobson环流强度的影响
00804065
胡世能
男
付遵涛
副热带大气环流环球相关与准静止波动
00804049
厉潇渊
男
闻新宇
2009－2010中国西南地区干旱与北半球副热带环球遥相关的关系
00804036
00804152
刘晓萌
於晓明
男
男
吴孝松
石墨烯和拓扑绝缘体的输运性质研究
校聘导师
00804113
00804180
易煦
冯茵
男
女
肖云峰
微腔模式分裂及其在生物传感中的作用
00804140
侯冰雅
女
胡宗海
纳米晶的制备及性质研究
00804051
傅浛
女
李定平
高温超导金兹堡－朗道（Ginzburg-Landau）理论
00804010
00846114
车小洲
黎康梅
女
女
俞大鹏
纳米线的外延生长及在太阳能电池方面的相关研究
00801036
科技视角——走进群体智能世界的学者——记北京大学智能学院计算智能实验室谭营教授
谭营教授目前，以互联网和移动通信为纽带，实现了人类群体、大数据、物联网的广泛和深度互联，这样的模式，让群体智能发挥了极大的科技优势，并由此改变了人工智能领域。
1.群体智能的“真相”著名科学家钱学森先生在20世纪90年代曾提出综合集成研讨厅体系，强调专家群体以人机结合的方式进行协同研讨，共同对复杂巨系统的挑战性问题进行研究。
而现在，群体智能作为人工智能最重要的研究领域之一，正吸引着大量国际知名学者进行深入和广泛研究。
尤其是在国务院颁布的《新一代人工智能发展规划》中，群体智能作为我国四个战略性重要研究方向之一，具有极其重要的意义。
群体智能源于对以蚂蚁、鸟群等为代表的社会性昆虫群体行为的研究。
最早被用在细胞机器人系统的描述中。
群体智能的特点在于分布式并行控制，不存在控制扰源的影响。
对此，团队提出了一种群体协作策略，相对于机器人独立搜索而言，能够降低假目标的访问次数，较好地完成了任务需求。
群体机器人自适应部署可作为群体机器人多目标搜索问题的一个子任务，通过自适应调节势场函数的参数，于是，团队提出了一种自适应部署机制，能够较快地让整个机器人群体部署到未知搜索空间。
此外，他们还就基于机器学习的多智能体学习任务展开了相关研究，提出了基于进化算法的群体机器人策略演化与基于深度强化学习的多智能体协同算法。
学习机制可方便地用于群体机器人算法的建模与学习，并应用到了一些基于多智能体协同的游戏中来。
提到群体智能，就不能不提近些年备受关注的烟花算法，作为一种新的群体智能优化算法，它与粒子群优化、蚁群优化和遗传算法等SI算法相比，具有不同的协作框架和搜索方式。
在烟花算法中，多个烟花在自身周围分布新个体（称为火花），来进行局部邻域的搜索；各烟花根据自身的搜索状态，相互交换信息，调整自身爆炸范围和火花分配，从而实现整体搜索的协调。
相比其它群体智能算法与进化算法框架，烟花算法在基准目标函数和现实问题上都有着更好的表现。
随着研究的深入，谭营和其研究团队又提出了许多效果更好的烟花算法变体，并且达到了群体智能算法的先进水平。
《人工智能极简说：人人都能读懂的AI入门书》札记
《人工智能极简说：人人都能读懂的AI入门书》读书记录目录一、书籍概览 (2)1.1 作者介绍及写作目的 (2)1.2 书籍内容概述 (3)1.3 读者群体定位 (4)二、人工智能基础概念篇 (5)2.1 内容描述 (6)2.2 人工智能定义与起源 (7)2.3 人工智能发展阶段 (8)2.4 人工智能技术应用领域 (9)三、关键技术解析篇 (11)3.1 机器学习原理及应用 (12)3.2 深度学习及其技术特点 (13)3.3 自然语言处理技术 (14)3.4 计算机视觉技术 (16)四、人工智能在各领域的应用实践篇 (17)4.1 金融行业应用案例分析 (18)4.2 医疗健康行业应用案例分析 (19)4.3 教育行业应用案例分析 (20)4.4 其他领域应用展望 (22)五、人工智能的伦理与社会影响篇 (23)5.1 人工智能带来的伦理问题与挑战 (24)5.2 人工智能对社会就业的影响分析 (25)5.3 人工智能对人类生活方式的改变 (26)六、未来发展趋势与展望篇 (28)6.1 人工智能未来技术创新方向预测 (29)6.2 人工智能与其他产业融合发展趋势分析 (30)一、书籍概览《人工智能极简说：人人都能读懂的AI入门书》是一本全面介绍人工智能基础知识的科普读物，旨在帮助读者快速了解并掌握人工智能的基本概念、原理和应用。
本书通过通俗易懂的语言和生动的案例，让读者在轻松愉快的阅读中领略人工智能的魅力。
本书的作者是一位资深的人工智能专家，拥有丰富的研究和实践经验。
他她通过深入浅出的讲解，将复杂的理论知识转化为易于理解的概念，使读者能够轻松掌握人工智能的核心要点。
人工智能概述：介绍人工智能的定义、发展历程、应用领域以及未来趋势；人工智能实践：通过实际案例展示人工智能技术的实际应用，培养读者的实践能力。
为了更好地理解和掌握本书的内容，建议读者先了解人工智能基础知识，然后按照章节顺序逐步阅读。
北京大学学位评定委员会
导师姓名 秦其明 方方 张鸣 刘玉才 胡敕瑞
吴晓东
张帆 郭润涛 朱孝远 杨哲峰 杨立华 张志刚 郑开 张小明
李玲 周黎安 许晓云 刘玉珍 刘凯湘 蒋大兴
赵源 姚名达学术成就研究
王余光
黄敬理
张忞煜
路宽 唐璐璐 高睿鹏
“伦理文化”——滕尼斯社会理论的思想史基 础及其伦理旨向 东晋南朝佛教与世俗政权关系研究——以《弘 明集》为中心 跨媒介的审美现代性：石黑一雄的三部小说与 电影的关联研究 沙特萨拉菲主义运动研究 英国新左翼的社会主义思想研究
电子科学与技 57
术 58 计算机科学与
作者姓名 吴琼 崔凯 孙顺 白惠元 王学强
陈春晓
马清源 刘晨 黎海超 于文博 陈睿超 杨莎 顾全 张红 潘珊 邹兵建 郭晶 侯卓 周亚 付伟
论文题目 铜胁迫下的植被高光谱特性与遥感信息提取 研究 视觉拥挤效应的减弱及其神经机制 北宋仁宗朝政治文化转型中的庆历士大夫及 其文学研究 河洛与七纬：东汉图谶的文献学研究 “名词动用”与上古汉语名词和动词的语义属 性 “本根”之问：鲁迅的自然观与伦理学 （1898-1927） 记忆·遗忘·书写：基于史料批判的契丹早期 史研究 明代会议制度研究 信仰与权力：帝国城市奥格斯堡宗教改革政策 演变研究(1518-1537) 关中地区东汉至北周墓葬的考古学研究 邵雍哲学思想研究 伊本·西那论灵魂与理智 物之终始——以王弼《周易注》为中心的讨论 军官团与海军建设：美国海军崛起的过程研究 医疗卫生体制、激励机制与改革效果——基于 中国医改的实证研究 公共部门的强激励 异质并行机环境下随机客户订单优化问题研 究 消费金融中的行为偏误研究 认缴资本制下的股东出资义务——基于债法 的分析路径 公司能力的法律规制——从私法到公法
参考文献(人工智能)
参考文献(人工智能)曹晖目的：对参考文献整理（包括摘要、读书笔记等），方便以后的使用。
分类：粗分为论文（paper）、教程（tutorial）和文摘（digest）。
0介绍 (1)1系统与综述 (1)2神经网络 (2)3机器学习 (2)3.1联合训练的有效性和可用性分析 (2)3.2文本学习工作的引导 (2)3.3★采用机器学习技术来构造受限领域搜索引擎 (3)3.4联合训练来合并标识数据与未标识数据 (5)3.5在超文本学习中应用统计和关系方法 (5)3.6在关系领域发现测试集合规律性 (6)3.7网页挖掘的一阶学习 (6)3.8从多语种文本数据库中学习单语种语言模型 (6)3.9从因特网中学习以构造知识库 (7)3.10未标识数据在有指导学习中的角色 (8)3.11使用增强学习来有效爬行网页 (8)3.12★文本学习和相关智能A GENTS：综述 (9)3.13★新事件检测和跟踪的学习方法 (15)3.14★信息检索中的机器学习——神经网络，符号学习和遗传算法 (15)3.15用NLP来对用户特征进行机器学习 (15)4模式识别 (16)4.1JA VA中的模式处理 (16)0介绍1系统与综述2神经网络3机器学习3.1 联合训练的有效性和可用性分析标题：Analyzing the Effectiveness and Applicability of Co-training链接：Papers 论文集\AI 人工智能\Machine Learning 机器学习\Analyzing the Effectiveness and Applicability of Co-training.ps作者：Kamal Nigam, Rayid Ghani备注：Kamal Nigam (School of Computer Science, Carnegie Mellon University, Pittsburgh, PA 15213, knigam@)Rayid Ghani (School of Computer Science, Carnegie Mellon University, Pittsburgh, PA 15213 rayid@)摘要：Recently there has been significant interest in supervised learning algorithms that combine labeled and unlabeled data for text learning tasks. The co-training setting [1] applies todatasets that have a natural separation of their features into two disjoint sets. We demonstrate that when learning from labeled and unlabeled data, algorithms explicitly leveraging a natural independent split of the features outperform algorithms that do not. When a natural split does not exist, co-training algorithms that manufacture a feature split may out-perform algorithms not using a split. These results help explain why co-training algorithms are both discriminativein nature and robust to the assumptions of their embedded classifiers.3.2 文本学习工作的引导标题：Bootstrapping for Text Learning Tasks链接：Papers 论文集\AI 人工智能\Machine Learning 机器学习\Bootstrap for Text Learning Tasks.ps作者：Rosie Jones, Andrew McCallum, Kamal Nigam, Ellen Riloff备注：Rosie Jones (rosie@, 1 School of Computer Science, Carnegie Mellon University, Pittsburgh, PA 15213)Andrew McCallum (mccallum@, 2 Just Research, 4616 Henry Street, Pittsburgh, PA 15213)Kamal Nigam (knigam@)Ellen Riloff (riloff@, Department of Computer Science, University of Utah, Salt Lake City, UT 84112)摘要：When applying text learning algorithms to complex tasks, it is tedious and expensive to hand-label the large amounts of training data necessary for good performance. This paper presents bootstrapping as an alternative approach to learning from large sets of labeled data. Instead of a large quantity of labeled data, this paper advocates using a small amount of seed information and alarge collection of easily-obtained unlabeled data. Bootstrapping initializes a learner with the seed information; it then iterates, applying the learner to calculate labels for the unlabeled data, and incorporating some of these labels into the training input for the learner. Two case studies of this approach are presented. Bootstrapping for information extraction provides 76% precision for a 250-word dictionary for extracting locations from web pages, when starting with just a few seed locations. Bootstrapping a text classifier from a few keywords per class and a class hierarchy provides accuracy of 66%, a level close to human agreement, when placing computer science research papers into a topic hierarchy. The success of these two examples argues for the strength of the general bootstrapping approach for text learning tasks.3.3 ★采用机器学习技术来构造受限领域搜索引擎标题：Building Domain-specific Search Engines with Machine Learning Techniques链接：Papers 论文集\AI 人工智能\Machine Learning 机器学习\Building Domain-Specific Search Engines with Machine Learning Techniques.ps作者：Andrew McCallum, Kamal Nigam, Jason Rennie, Kristie Seymore备注：Andrew McCallum (mccallum@ , Just Research, 4616 Henry Street Pittsburgh, PA 15213)Kamal Nigam (knigam@ , School of Computer Science, Carnegie Mellon University Pittsburgh, PA 15213)Jason Rennie (jr6b@)Kristie Seymore (kseymore@)摘要：Domain-specific search engines are growing in popularity because they offer increased accuracy and extra functionality not possible with the general, Web-wide search engines. For example, allows complex queries by age-group, size, location and cost over summer camps. Unfortunately these domain-specific search engines are difficult and time-consuming to maintain. This paper proposes the use of machine learning techniques to greatly automate the creation and maintenance of domain-specific search engines. We describe new research in reinforcement learning, information extraction and text classification that enables efficient spidering, identifying informative text segments, and populating topic hierarchies. Using these techniques, we have built a demonstration system: a search engine forcomputer science research papers. It already contains over 50,000 papers and is publicly available at ....采用多项Naive Bayes 文本分类模型。
AI和大数据赋能金融
融合论坛INTEGRATION FORUM26软件和集成电路SOFTWARE AND INTEGRATED CIRCUITAI和大数据赋能金融由于深度学习推进，人工智能技术已经进展到一个热火朝天的状态，人工智能技术的发展在各个产业里面都引起了很大的变革，当然金融行业也在内。
我接下来主要讲的就是人工智能在金融方面的一些应用。
人工智能带来产业的全面升级，不仅可以提高我们生产的工作效率，而且可以在金融行业领域大大提高智能分析和决策水平。
金融行业每天都面临着大量的各种金融数据、政策消息，如何能够全面掌握金融行业的发展趋势？我们知道任何一个人在获取知识和对知识分析的过程中，个人的能力是有边界的，是有限的。
但是现今数据、消息铺天盖地呈指数级增长，人工智能借助于强大的计算背景和学习能力，辅助人类开展各项智能活动，金融行业引入人工智能是必然的趋势。
到目前为止，人工智能在金融行业的很多领域都得到了广泛的应用，如智能支付、人脸支付、指纹支付、生物特征支付、智能客服等。
自然语言处理技术的飞速发展，可以使得公司客服服务24小时不间断，这背后是强大的人工智能技术的支撑。
再有就是关于智能理财方面，人民生活宽裕，有一定的资金，就希望通过一些渠道增值，发挥更大的效能。
借助于人工智能技术，我们增长了对投资信息的判断能力，增加投资的回报率，这是我们大家都很期待的事。
对于智能的信用评级系统，实际上现在很多的保险公司、银行已经在大量使用了。
A I本身是从简单到复杂的发展过程，从1956年定义—北京大学教授、计算智能实验室主任、烟花算法发明人谭营“AI赋能”是金融行业的大势所趋，我们以深度学习为核心技术，以大数据分析为支撑，结合AI算法创建智能投资模型，进行精准量化投资，降低投资风险。
主题演讲人工智能这个词，到现在已经有60多年的历史。
人工智能的发展是一个曲折的过程，经历过寒冬，也得到过大家的追捧。
现今人工智能处于一个爆发期，是第三次人工智能浪潮的爆发期。
视觉与听觉信息处理国家重点实验室(教育部北大)
视觉与听觉信息处理国家重点实验室视觉与听觉信息处理国家重点实验室、智能科学系（信息科学中心）主任：查红彬副主任：吴玺宏谢昆青刘宏视觉与听觉信息处理国家重点实验室学术委员会视觉研究室视觉信息处理研究室在充分发挥学科交叉的综合优势基础上，特别注意从视觉信息处理中提出新的数学问题，进一步发展用于信息处理的数学方法，主要研究方法包括图像压缩与编码、图像处理和模式识别、计算机视觉等。
多年来我们承担了国家科技攻关、863高科技、攀登计划、自然科学基金、博士点基金等大量课题，同时取得了一批有独创性的重大成果。
本研究室具体包含如下4个研究领域：1、图像处理、图像理解和计算机视觉2、生物特征识别3、图像的压缩、复现、传输及其信息安全4、三维视觉计算与机器人(New!!!)联系人：张超电话: 62757000视觉信息处理研究室科研方向:[1]图像处理、图像理解和计算机视觉[2]生物特征识别[3]图像的压缩、复现、传输及其信息安全[4]三维视觉计算与机器人视觉信息处理研究室科研项目：用于患者行为实时跟踪的护理机器人主动视觉研究，国家自然科学基金项目，2002-2004建筑物与复杂场景三维数字化技术的基础研究，教育部科学技术研究重点项目，2003-2005数字博物馆关键技术研究，北京大学15-211项目，2003-2005Document Image Retrieval，与日本Ricoh Co.的合作项目，2003-20043D Model Retrieval，与日本Fujitsu研发中心的合作项目，2003-2004数字几何处理的理论框架与关键技术研究，国家自然科学基金重点项目，2004-2007计算机视觉研究，自然科学基金重大项目子项小波分析理论及其在图像处理中的应用，自然科学基金跨学部重点项目数学机械化与自动推理平台"课题"信息安全、传输与可靠性研究，国家重点基础研究发展规划项目微阵列基因表达数据分析和可视化研究，自然科学基金项目全国优秀博士学位论文奖励基金， 2001-2005JPEG2000图象压缩集成电路核心技术研究，国家863高科技研究项目基于小波的视频压缩与通讯系统研究，国家973重大基础项目的子专题符合JPEG2000的图象压缩集成电路研究，教育部骨干教师项目多进制小波理论及其在基于内容的图像压缩中的应用，国家自然科学基金项目， 2004.1-2006.12 视觉研究室主要人员:听觉研究室言语听觉信息处理研究室成立于1988年，多年来一直以人工神经网络、智能机器学习等为理论基石，以听觉信息处理、语音信号处理和语言信息处理为研究背景进行了深入的理论探索和实践研究。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
>What Is the Universe Made Of? >What is the Biological Basis of Consciousness? >Why Do Humans Have So Few Genes? >To What Extent Are Genetic Variation and Personal Health Linked? >Can the Laws of Physics Be Unified? >How Much Can Human Life Span Be Extended? >What Controls Organ Regeneration? >How Can a Skin Cell Become a Nerve Cell? >How Does a Single Somatic Cell Become a Whole Plant? >How Does Earth's Interior Work? >Are We Alone in the Universe? >How and Where Did Life on Earth Arise? >What Determines Species Diversity? >What Genetic Changes Made Us Uniquely Human? >How Are Memories Stored and Retrieved? >How Did Cooperative Behavior Evolve? ……….
2015-7-18 谭营---机器学习研究及最新进展 12
机器学习的任务
• 令W是这个给定世界的有限或无限所有对象的集合，由于 观察能力的限制，我们只能获得这个世界的一个有限的子 集QW，称为样本集。 • 机器学习就是根据这个有限样本集Q ，推算这个世界的模 型，使得其对这个世界为真。
泛化 W
Model
• 1 if ∑ xiwi > t • 0 otherwise
– Supervised learning, perceptron changes weights based on correct results
• If output is correct, do nothing • If output is 0 and should be 1, increment weights on the active lines (input of 1) by some amount d. • If output is 1 and should be 0, decrement weights on the active lines by some amount d.
谭营---机器学习研究及最新进展
THE QUESTIONS--The Top 25
On 25 big questions facing science over the next quarter-century. (1 July 2005)
• • • • • • • • • • • • • • • •
这是一个典型的机器学习 问题
常用技术：
统计多参数模型，神经网络， 贝叶斯分类器，k近邻，聚类
•对未来一周天气的预 报
……
2015-7-18
谭营---机器学习研究及最新进展
6
实例3：搜索引擎
Google的成功，使得Internet搜 索引擎成为一个新兴的产oft等巨头也开始投入 巨资进行搜索引擎的研发
Performance Module: Accuracy in classification
谭营---机器学习研究及最新进展
2015-7-18
9
Application 5
Learning to classify astronomical structures.
galaxy
stars Features: o Color o Size o Mass o Temperature o Luminosity
2015-7-18
unkown
谭营---机器学习研究及最新进展 10
Application 6
Classifying Astronomical Objects Class of Tasks: Knowledge: Learning to classify new objects. database of images with correct classification.
2015-7-18
建模
Q
13
谭营---机器学习研究及最新进展
机器学习的三要素
（1）一致性假设：机器学习的条件。 （2）样本空间划分：决定模型对样本集合 的有效性。
（3）泛化能力：决定模型对世界的有效性。
2015-7-18
谭营---机器学习研究及最新进展
14
要素1：一致性假设
• 假设世界W与样本集Q具有某种相同的性质。
象被划分在不相交的
区域。
谭营---机器学习研究及最新进展
2015-7-18
16
要素3： 泛化能力
• 通过机器学习方法，从给定有限样本集合计算一个
模型，泛化能力是这个模型对世界为真程度的指标。
泛化值
样本1
样本2
新样本 样本3
2015-7-18
谭营---机器学习研究及最新进展
17
关于三要素
不同时期，研究的侧重点不同
机器学习研究及最新进展
谭营 教授
北京大学智能科学系 视觉与听觉信息处理国家重点实验室
2015-7-18
谭营---机器学习研究及最新进展
1
题目：机器学习研究及最新进展 目录
• • • • • 机器学习的定义和任务 机器学习的发展历史 机器学习的主要方法 机器学习面临的挑战 最新发展方向
谭营---机器学习研究及最新进展 2
• 原则上说，存在各种各样的一致性假设。
• 在统计意义下，一般假设：
– W与Q具有同分布。或，
– 给定世界W的所有对象独立同分布。
2015-7-18
谭营---机器学习研究及最新进展
15
要素2：对样本空间的划分
• 样本集合模型：
将样本集放到一个n 维空间，寻找一个超
平面(等价关系)，使
得问题决定的不同对
工作记忆（Working Memory）
• 工作记忆系统能同时储存和加工信息，这和短 时记忆概念仅强调储存功能是不同的。 • 工作记忆分成：中枢执行系统、视空初步加工
系统和语音环路。
• 工作记忆与语言理解能力、注意力及推理能力
等联系紧密，工作记忆蕴藏智能的玄机。
2015-7-18
谭营---机器学习研究及最新进展
返回
2015-7-18 谭营---机器学习研究及最新进展 24
机器学习早期研究
• • • • Rosenblatt的感知机(1956)。 Widrow的Madline (1960)。 Samuel的符号机器学习(1965)。 Minsky的“Perceptron”著作(1969，1988)。
2015-7-18
/sciext/125th/
谭营---机器学习研究及最新进展 20
记忆的模型与过程
•记忆的模型
• 记忆的模型与过程通常包括三个相互联系的阶段：
1、编码（encoding），2、存储（storage）3、提取（retrieval）
2015-7-18 谭营---机器学习研究及最新进展 21
• 机器学习是人工智能的主要核心研究领域之 一, 也是现代智能系统的关键环节和瓶颈。 • 很难想象: 一个没有学习功能的系统是能被 称为是具有智能的系统。
2015-7-18 谭营---机器学习研究及最新进展 4
实例1：网络安全问题 入侵检测系统IDS：
是否是入侵？是何种入侵？
如何检测？
•历史数据：以往的正常
2015-7-18 谭营---机器学习研究及最新进展 26
Limits of Perceptrons
• Single-layer networks are only capable of learning classes that are linearly separable – For example, exclusive-or is not linearly separable, and thus cannot be represented by a perceptron • For any n-dimensional space, a classification is linearly separable if these groups can be separated with a single n-1 dimensional hyperplane
Google掘到的第一桶金，来源于其创始人Larry Page和Sergey Brin提出的PageRank算法 机器学习技术正在支撑着各类搜索引擎 （尤其是贝叶斯学习技术）
2015-7-18 谭营---机器学习研究及最新进展 7
Application 4
2015-7-18
谭营---机器学习研究及最新进展
Performance Module: Accuracy in classification
2015-7-18
谭营---机器学习研究及最新进展
11
Other Applications
Bio-Technology Protein Folding Prediction Micro-array gene expression Computer Systems Performance Prediction Banking Applications Credit Applications Fraud Detection Character Recognition (US Postal Service) Web Applications Document Classification Learning User Preferences