西电化合物半导体大作业

类脑芯片及类脑计算的最新研究

姓名：孔龙龙学号：3140210057

在当今大数据时代，由于现有计算机硬件和架构限制，已无法满足更大规模数据的处理需求，世界各国开始着手寻找解决方案，并把目光转向能够以复杂方式处理大量信息的人脑神经系统，而且因为神经系统在时间和空间上实现了硬件资源的稀疏利用功耗极低其能量效率是传统计算机的100万倍到10亿倍。

目前，传统计算机芯片主要基于冯诺依曼架构，处理单元和存储单元分开，通过数据传输总线相连。芯片总信息处理能力受总线容量的限制，构成所谓“冯诺依曼瓶颈”。而且传统计算机的处理单元一直处于工作状态，导致能耗巨大。同时，由于需要精确的预编程，传统计算机无法应对编程以外的情况和数据。而大脑结构则完全不同：神经元(处理单元)和突触(存储单元)位于一体，不需要高能耗的总线连接，突触是神经元之间的连接，具有可塑性，能够随所传递的神经元信号强弱和极性调整传递效率，并在信号消失后保持传递效率。突触的这种性质，使大脑神经网络结构动态可塑，能够随外部数据的变化而自适应调整；脑神经网络包含1000亿神经元和100万亿个神经突触，它们相互连接组成一个庞大而复杂的神经网络，使人脑信息处理能力超强，而神经元只在工作时消耗能量，大脑的功

耗极低；可大规模并行处理多个信号；具备学习能力，在海量数据处理方面具有巨大优势。类脑计算芯片可模拟人类大脑

信息处理方式，能以极低的功耗对信息进行异步、并行、低速和分布式处理，并具备自主感知、识别和学习等多种能力。同传统计算芯片相比，类脑计算芯片将实现两个突破：一是突破传统“执行程序”计算范式的局限，有望形成“自主认知”的新范式；二是突破传统计算机体系结构的

局限，实现数据并行传送、分布式处理，能够以极低功耗实时处理海量数据。

类脑模型与类脑信息处理

深度神经网络的多层结构以及层次化抽象机制与人脑信息处理的层次化抽象机制具有共通性。相关研究近年来在学术界与工业界取得了突破性的成果。由斯坦福大学的 Ng 和 Google 公司 Dean共同领导的 Google Brain 项目采用深度神经网络，在 16000 个 CPU 核构建的大规模并行计算平台上实现了图像识别领域的突破。随后微软研究院、百度研究院在语音和图像领域的研究中都采用了深度神经网络(百度语音识别系统的相对误识别率降低了 25%)，迅速提升了其在视听觉信息处理领域的识别效果。由神经科学家与深度学习研究者合作创建的Deep Mind 公司提出深度强化学习

模型，并在此基础上研发出具有自主学习能力的神经网络系统，通过与环境交互和不断地试错，自动学会打 49 种不

同的电子游戏，接近或超越人类玩家。其网络结构的核心是卷积神经网络与强化学习算法的融合。该方法的优势是不需要手工选取重要的特征，经过大规模图像在深度网络上的训练后能够表现出较好的自适应性。其缺点是对于需要长远规划的游戏则表现较差，因为强化学习算法在进行动作选择前主要关注决策前最近邻的状态。深度神经网络虽然在感知信息处理方面取得了巨大突破和应用成效，然而依然有其发展瓶颈。

首先是训练效率问题，绝大多数情况下需要有大量标注样本训练才能保证足够高的泛化性能。其次是网络不够鲁棒，可能把明显不属于某个类别的模式非常自信地判别为该类。此外传统的深度神经网络并不善于处理时序问题，而许多应用场景下数据与问题都具有较强的时序性。循环神经网络(Recurrent Neural Network, RNN)正好是针对时序信号设计的。尤其是基于长短时记忆(Long-ShortTerm Memory, LSTM)的循环神经网络近年来成为时序信号分析（如语音识别、手写识别）最有效的模型。然而其缺点也是需要巨量的训练样本来保证泛化性能。

类脑学习与处理算法的研究

能够大大降低能耗或是加快速度的类脑的处理器对于实现

更高水平的智能无疑会有很大的帮助，但要真正实现类人水平的通用人工智能，除了需要这样的硬件基础外，关键还需要理解生物脑对于信息所做的计算，即类脑的处理及学习算法。对于此研究方向，一个常见的顾虑是：现在神经科学对于大脑工作机制的了解还远远不够，这样是否能够开展有效的类脑算法研究？对此，我们可以从现在获得广泛成功的深度神经网络获得一些启示。从神经元的连接模式到训练规则等很多方面看，深度神经网络距离真实的脑网络还有相当距离，但它在本质上借鉴了脑网络的多层结构（即“深度”一词的来源），而大脑中，特别是视觉通路

的多层、分步处理结构是神经科学中早已获得的基本知识。这说明，我们并不需要完全了解了脑的工作原理之后才能研究类脑的算法。相反，真正具有启发意义的，很可能是相对基本的原则。这些原则，有的可能已经为脑科学家所知晓，而有的可能还尚待发现，而每一项基本原则的阐明及其成功的运用于人工信息处理系统，都可能带来类脑计算研究的或大或小的进步。非常重要的是，这一不断发现、转化的

过程不仅能促进人工智能的进展，也会同步加深我们对于大脑为何能如此高效进行信息处理这一问题的理解，从而形成一个脑科学和人工智能技术相互促进的良性循环。

类脑计算硬件的研究

类脑计算器件研究的初衷是在不影响性能的前提下，大大降低功耗，或者在相似功耗下，极大提高速度。现代计算机虽然具有惊人的运算能力与运算速度，但与之相伴的是高昂的能量消耗。大型计算机的功耗往往在兆瓦量级以上，与之相比，成年人大脑的功耗只有大约 20 W。巨大的能耗严重限制了系统进一步向微型化的方向发展（因为难以散热），也会使得复杂的嵌入式应用和远程应用，比如宇航探索，缺乏足够的计算能力支持（因为难以携带足够的能源）。现代计算机能耗高的一个重要原因是计算机普遍采用的冯.诺依曼架构。冯氏架构中，信息处理单元与存储单元是分离的，这样在运算过程中，势必要经常将数据在处理单元与存式的存储于网络的各个节点（比如由神经元内的离子浓度表征）以及节点之间的连接（比如由突触的强弱表征）上，运算和存储在结构上是高度一体化的。这样，用少量甚至单个电子器件模仿单个神经元的功能，而将数量巨大的电子“神经元”以类脑的方式形成大规模并行处理的网络，以进行计算，就成为了非常有吸引力的方向。目前研究的热点包括寻找更适合的器件以模拟单个神经元（比如忆阻器），设计非冯氏体系为基础的处理器等。近来IBM公司研

发的TrueNorth芯片是这一领域的代表性进展，由于使用