大数据与人工智能在金融领域的应用

大数据与人工智能在金融领域的应用

本文主要介绍的内容是“大数据与人工智能在金融领域的应用”，主要是偏重于智能投顾领域。

目前人工智能的技术话题非常热，有我们一些熟悉的领域，也有一些不太熟悉的领域，最终我们会回到金融。什么是人工智能？一些常见的新闻，包括比如说下面这个是波士顿的机器人公司，现在主要是运用在人工智能人的行动，这里面的机器人会做后空翻，谷歌的无人驾驶汽车，深圳最近有一个无人驾驶大巴都出来了，这些都是最新的情况。包括我们科大讯飞的自然语音识别系统，还有人脸识别，人脸识别已经广泛应用在各个地方，包括现在去有的酒店，入住的时候有一个人脸识别的过程。这些是我们比较熟悉的领域，人工智能正在广泛的应用。

实际上在医疗领域、法律方面都有很广泛的应用，医疗领域，在识别的时候，做CT、X光检测之后，如果用机器学习的方法来检测结果，效果比专家的检测结果正确率要高达50%，主要原因是因为肉眼有的时候看不到细小的问题，可以通过机器学习的方法来认识到。在传统制药和新兴制药，人工智能技术也在广泛的应用，可以优化新药研发的周期，提高效率，控制研发成本。

在法律领域，国内现在有些法律咨询网站最近已经拿到风投超过1个亿的认可，如果不是这个专业的话可能不是很熟悉，人工智能在各个领域都有非常广泛的运用和趋势。这次主要是谈金融行业，今年的Breaking News，高盛600人的股票交易团队逐步被智能机器人替代只剩2人，美国摩根大通银行用自动机器几秒内替代之前内部律师需要36万小时完成的工作量。我有一个朋友之前在纽约德意志银行做衍生品交易的，今年也是被自动的系统所取代，他今年初也开始在找工作。当然，因为我个人以前在摩根大通和瑞银工作的时候，当年也是几百个人的交易员，眼睁睁的看着人员在减少，逐步被机器所替代。这些在美国西方市场实际上很早就已经发生了，可能已经发生了有七八年，或者

说更长的时间。开始很多自动化算法、智能化的过程。投行每年营收的1/3都投入到IT技术的更新上，花费非常大的资金。最后的效果，很多职位如果是容易通过算法自动化智能化的尽量就会被机器替代，当然这里面有核心的算法。这是一个流行的趋势，之所以很多交易员被机器所取代，是招募了很多开发人员，逐步做算法交易系统来取代交易员的职能。

虽然今年的新闻爆出来，但是在过去七八年的时候在海外市场这些金融机构实际上大量的布局在这方面，我们今天看到新闻主要是因为谷歌的阿尔法狗，让大家觉得机器人、人工智能替代人类，甚至在博弈领域替代人类非常强大的能力，让人非常的惊讶。

今天简单分享一下在博弈领域人工智能基本的原理，简单扩展到什么是Alpha GO，谷歌Alpha GO的机器人挑战人类顶尖棋手，普通的围棋比赛是150步左右，人工智能学习的核心，在盘中有一个评估函数，怎么训练一个非常好的评估函数是取胜的关键。Alpha GO，首先它有非常强大的计算能力，训练数据包含人类3千万盘面的数据，根据所有的样本进行训练，得到一个高效的盘面评估函数，有一个高效的盘面评估函数，保证它在跟人类棋手下棋的时候，比如说人类棋手可以往前看五步、十步，它可以比人类棋手更好的判断接下来二十步的情况，可以得到更好的盘面评估函数，用到的逻辑是卷积神经网络和蒙特卡洛树状搜寻模型。

卷积神经网络是训练盘面评估函数，在盘面中间判断当前的盘面到底是白子占先还是黑子占先，下一步走的时候要走到哪一步有更好的结果，这些是基于对盘面的评估。在Alpha GO深度学习的过程中，首先是对历史对局的数据库得到直接的训练，在这个基础上用神经网络学习并一般化后得到习得策略。第三，通过蒙特卡洛模拟数据用强化学习自我对下得到改良的策略，因为围棋你往下走就有一个结果，通过随机的新样本，最终有一个结果之后，对整个神经网络的权重做调整和优化，Alpha Zero不需要原有的人类样本，随机走也可以起到自我训练的效果，通过蒙特卡洛树状模拟随机产生历史对局数据库以外的数据进一步训练，通过回归推导出价值网络的盘面评估函数。

为什么要用卷积神经网络，围棋盘面是白棋和黑棋的盘面，最终根据谁占的区域大小确定输赢。卷积神经网络广泛应用于人脸识别，人脸识别技术已经比较成熟了，图像是由像素点组成的，卷积神经网络用一个小的矩阵取平均值，扫过去整个像素点，这个过程中，简单的原理就是找到图形的边框

部分，比如说房子和蓝天交界的边界部分，通过扫描可以把边界部分识别出来。人脸一样，通过多次卷积神经网络扫描把人脸上最具特征点扫出来。通过盘面卷积神经网络的扫描发现白子和黑子占区域的范围，很快的识别出来。这是基本的原则。

为了扩大搜索空间，增强Alpha GO的学习范围，在自我对下的过程中采用了蒙特卡洛树状搜寻法，为了学习在历史对局数据库里面没有见过的棋局，在值得研究的某些棋局下加入随机乱走的情况，以最大限度的训练Alpha GO。

人工智能系统所应该具备的条件，首先就是非常强大的计算能力，还有大数据，这个数据可以是已有的样本，也可以是随机产生出来的自我训练的样本，另外，基于已有的专家系统或者是人类专家之前的系统，当然更重要的是一些算法。结合之后，可以对现有人类的一些过程采用人工智能系统来替代，算法的核心从过去的样本中或随机产生自我学习的样本中训练模型，然后对未来或者是没有发生的事情做一些可扩展的预测。这是人工智能的系统所应该具备的大概条件。

回顾一下人工智能技术，在很多方面取代人的功能。主要是行动，波士顿机器人就是能模拟人的行动能力。自动化，机器人有一个运行的过程，包括工业自动化过程中用到的机器人都是模拟人的行动能力。决策，比如说识别、分类、预测，在金融行业最常用到的就是分类、预测、决策能力。另外，最基础的涉及到人类的感知能力，包括对图象的感知，语音、语义识别，文字识别，包括图像识别里面人脸识别，或者是物体的识别。这些都是人工智能最重要的取代人的功能的一些领域。

接下来对人工智能机器学习的主要技术，神经网络、决策树学习，深度学习，增强学习，聚类方法，贝叶斯网络，遗传基因算法，分为监督学习、无监督学习、增强学习，金融领域运用最主要的是预测和划分。最基本的Feedforward人工神经网络模型，模拟人的大脑，每一个节点都会受到前一层节点的信息，加总之后通过转换的函数，根据你是做分类还是做时间序列预测，可以将数据转化成二值分布或者是连续性数据的分布，取决于你具体需要解决的问题类型。通过输入和输出训练网络调整它的权重，模拟输入输出的内在逻辑，这个逻辑可以通过一些函数，甚至是一些函数组合来表现的。具体取决于需要解决问题的复杂度，中间的函数可以是连续型的，也可以是非连续型的。可以通过对输出输入数据进行训练，减少误差，使误差最小化，最后训练得到一个内在逻辑关系，这个关系可以是一种很复杂的函数关系表达。