深度神经网络课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Neural network Back propagation
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
Deep belief net
Science
Speech
1986
2006
2011 2012
▪ ImageNet 2014 – Image classification challenge
Rank 1 2 3
Name Google Oxford MSRA
Error rate 0.06656 0.07325 0.08062
Description Deep learning Deep learning Deep learning
• ImageNet 2014 – object detection challenge
A. Krizhevsky, L. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” NIPS, 2012.
Neural network Back propagation
nonlinearity, dropout) • New development of computer architectures
– GPU – Multi-core computer systems
• Large scale databases
Big Data !
深度学习浪潮 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
• ImageNet 2013 – object detection challenge
Rank
Name
Mean Average Precision
Description
1
UvA-Euvision
0.22581
2
NEC-MU
0.20895
3
NYU
0.19400
Hand-crafted features Hand-crafted features Deep learning
2006
2011 deep learning results
• Solve general learning problems • Tied with biological system
But it is given up…
Neural network Back propagation
Nature
Neural network Back propagation
Nature
1986
…… …… …… ……
Deep belief net Neural networks
Science
is coming back！
2006
• Unsupervised & Layer-wised pre-training • Better designs for modeling and training (normalization,
▪ IT Companies are Racing into Deep Learning
Neural network Back propagation
Nature
1986
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
Deep belief net
Science
Speech
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
Deep belief net
Science
Speech
1986
2006
2011 2012
▪ ImageNet 2013 – image classification challenge
Rank
Name
Error rate
Description
1
NYU
0.11197
Deep learning
2
NUS
0.12535
Deep learning
3
Oxford
0.13555
Deep learning
MSRA, IBM, Adobe, NEC, Clarifai, Berkley, U. Tokyo, UCLA, UIUC, Toronto …. Top 20 groups all used deep learning
• 解决了一般性学习问题 • 与生物系统相联系
Neural network Back propagation
Nature
1986
历史 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
w1 w2
w3
x1
x2
x3
Neural network Back propagation
0.26172 Hand-crafted
3
U. Oxford 0.26979 features and
4
Xerox/INRIA 0.27058
learning models. Bottleneck.
Object recognition over 1,000,000 images and 1,000 categories (2 GPU)
Nature
1986
历史 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
ቤተ መጻሕፍቲ ባይዱ
2006
• 解决了一般性学习问题 • 与生物系统相联系
But it is given up…
• SVM • Boosting • Decision tree •…
历史 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
1986
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
Deep belief net
Science
Speech
2006
2011 2012
Rank Name
Error rate Description
1
U. Toronto 0.15315 Deep learning
2
U. Tokyo
内容 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。
▪ 深度神经网络发展历史、背景 ▪ 动机——Why Deep Learning? ▪ 深度学习常用模型
Neural network Back propagation
Nature
1986
历史 文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。