浅析深度学习的多体问题解决方案

浅析深度学习的多体问题解决方案

在深度学习的过程中,我们有可能会碰到一个多体的问题,他带第十什么又会带来什么影响,我们该如何解决这个问题呢?下面我们就一起来分析分析一下。

「多体问题」(又叫N 体问题)是看似简单,实际上在当今数学中极难攻克的问题。多体问题是指多个相互作用的实体。在物理学中,任何三体问题都没有一个封闭的形式或解析解(见:https://en.wikipedia/wiki/Three-body_problem)。像这样简单的问题反映了我们分析工具的局限性。这并不意味着它是不可解的,它只意味着我们必须诉诸于近似和数值技术来进行计算。可以用足够精确的数值计算分析太阳、月球和地球之间的三体问题以帮助宇航员登陆月球。

在深度学习领域,我们也有一个新兴的N 体问题。许多更先进的系统现在正在处理多代理系统的问题。每个代理都可能有与全局目标合作或竞争的目标(即目标函数)。在多代理深度学习系统中,甚至在模块化的深度学习系统中,研究人员需要设计可扩展的合作方法。

Johannes Kepler 大学、DeepMind、OpenAI 和Facebook 最近纷纷发表论文探讨了这个问题的各个方面。

在Johannes Kepler 大学的团队,包括Sepp Hochreiter(LSTM 的提出者)已提出利用模拟库仑力(即电磁力大小与反向距离的平方成比例)作为一种训练生成对抗网络(GAN)的替代目标函数。

找到两个对抗网络之间的平衡状态是一个热门的研究课题。在深度学习中解决二体问题相当困难。研究发现,使用这种方法可以防止「模式崩溃」的不良情况。此外,设置确保收敛到一个最佳的解决方案,而且只有一个恰好也是全局的局部极小值。Wasserstein 目标函数(又名Earth Mover Distance)可能是一个更好的解决方案,这在几个月前极其热门。这个团队已经把他们的创造命名为「库仑GAN」。

微软Maluuba 发表了一篇论文介绍了一个人工智能玩吃豆人游戏的系统,它的水平已经

相关文档