类脑计算

7
神经形态认知计算
Spiking Neurons and Spiking Neural Network
Functions and Consumption
8神经形态认知ຫໍສະໝຸດ 算 ANNAssumed that neurons represent information through their mean rates of action potential firing. NonLinear(Sum(…))
ASPLOS Best Paper
22
深度学习处理器
DaDianNao 16 Cores 16 Neurons 全网络模型片上存储 无内存访问 EDRAM MICRO Best Paper
23
深度学习处理器
PuDianNao 关注数据局部性 设计专用功能器件 三根柱子： InstBuf 指令缓存 HotBuf ColdBuf 常见运算： 向量内积 向量距离 计数 非线性函数 排序
时空关系上的连续性 超高速视屏 20,000 Frame/s
Line Motion Illusion
视网膜与V1层功能区的协作产生线运动错觉 V1区含有方向选择细胞 V1区脑皮层之间的互联形成对位置方向的感知 V1区脑皮层在无刺激输入时也会产生自发性放电现象
16
计算神经科学
Neural Encoding of Motion Direction
Single Neuron
CANN
Neural Population Continuous Attractor Neural Network
17
计算神经科学
Dynamical and Adaptive Information Processing
SNN
How Spikes convey information ? Rate : spike count within a time window Temporal : precise time => time array
9
神经形态认知计算
FeatureMap
Spatiotemporal Patterns Classification Solved. How to Code ? Unsolved.
26
Q&A
Thank You
27
Why Neural Delays?
To implement temporal code. To integrate multiple sensory cues. To integrate temporal information over time for reliable responding.
12
神经形态认知计算
STDP
The process adjusts the connection strengths based on the relative timing of a particular neuron's output and input action potentials (or spikes).
13
神经形态认知计算
Implementing Instances
14
类脑理念与实践
Neuron Software
分子层面精细建模 最大程度模拟神经元与突触行为 对视网膜中央区域 2mm 范围内所有神经元进行建模 天河2号超算辅助运算
15
类脑理念与实践
Spiking Array
10
神经形态认知计算
Implementing Instances
11
神经形态认知计算
Implementing Instances
Convolution Max Pooling STDP (Unsupervised Learning in Feature Extraction) Supervised Learning rules to fine tuning Spiking Network
3
类脑理念与实践
感知:
Perceptron LeNet AlexNet VGG GoogLeNet ResNet
Deeper than Deeper
认知：
BrainScaleS TrueNorth SpiNNaker
Bigger than Bigger
Neurons 4 million Neurons 16 million Neurons 460 million Synapses 1 billion Synapses 4 billion Synapses 460 billion Synapses >100 Tera Power 10 kW Power 1 W Power 50 kW Power 20 W
19
深度学习处理器
图像处理 : GPU 信号处理 : DSP 智能处理 : DianNao Family 未来的硬件设备可能都需要一个深度学习算法的硬件处理器 目前GPU芯片每年出货量：0.64 Billion 产值：50 Billion $ Name DianNao : DaDianNao: PuDianNao: ShiDianNao: Speed up 1.1x GPU 21x GPU 1.1x GPU 28.94x GPU Energy Efficiency 100x CPU 330x GPU 200x GPU 4688x GPU 320mW
24
深度学习处理器
ShiDianNao 集成在摄像头中的视觉处理器 直接对输入图像进行识别理解 消除DRAM读写操作 ? DaDianNao + 可编程VLIW处理器结构
25
忆阻器
阻变式存储器，RRAM 被认为是电阻、电容、电感外的第四种基本原件 耐久性高、传输速度快、更低的功耗、可擦写
20
深度学习处理器
如何加速？
把数据从内存搬运到硬件运算单元，甚至比运算本身更耗能量。 小尺度但支持大规模神经网络 速度：把访存带宽用起来，尽可能提高性能 能耗：通过优化片上存储层次尽量减少访存次数
21
深度学习处理器
DianNao 16 Neurons Win 8KB Wout 8KB Weight 32KB Disadvantage: Memory Exchange
类脑计算
1
CONTENTS
类脑计算的理念与实践
从脑机接口到脑机融合
神经形态认知计算
计算神经科学
深度学习处理器
2
类脑理念与实践
General AI 认知 Narrow AI 感知 传统思想： 认知科学了解大脑意识的形成 模仿人脑设计算法( Empirical ) 当前思想： 神经生物学了解大脑结构 结构仿真形成一定规模的神经元网络 再思考可以做什么( Heuristic )
From Rate to Correlation Code
SFA
Spike frequency Adaptation Neuronal response attenuates after experiencing long time firing. Slow negative feedback modulation to neuronal response.
CMOS模拟：
忆阻器：
忆阻器是天然的突触模拟器件，生物突触释放Ca、Na离子改变传导性，忆阻 器通过释放氧离子改变传导性。 1个忆阻器可以模拟一个突触的行为。 当前集成水平可以达到10GB/cm^2存储密度（近似人脑神经元密度），主频 200MHz（比人脑脑电频率快10^6倍），未来可达到500G/cm2@1000MHz。
Traveling Wave in CANN
A moving bump in the network without relying on external drive.
18
计算神经科学
The strategy of the brain
Every animal adopts to its own optimal time scale suitable for its own survival in the natural environment. The brain co-evolves strategies to compensate delays.
Human Brain Neurons 100 billion
4
类脑理念与实践
上界：认知科学 功能模拟 类脑计算 下界：神经科学 解析仿真
上确界：神经科学 结构模仿 类脑实践 下确界：传统计算机体系结构
5
神经形态认知计算
神经元状态方程： Hodgkin-Huxley方程
6
神经形态认知计算
Why Adaptive?
Responding fast to a novel object with strong independent firing-rate code. Encoding information efficiently with low frequency but correlation code lately.