深度学习基础知识整理
深度学习如何高效理解和消化知识
深度学习如何高效理解和消化知识深度学习作为人工智能领域的重要分支，以其优秀的性能在各个领域中蓬勃发展。
然而，要想在深度学习中取得突破，首先需要理解和消化知识。
本文将探讨深度学习如何高效地理解和消化知识，力求为学习者提供一些实用的方法和技巧。
I. 基础知识的扎实建设在深度学习中，基础知识的扎实建设是高效理解和消化知识的基础。
首先，我们需要掌握数学基础，包括线性代数、概率论与统计学等。
这些数学工具对于理解深度学习的原理和算法至关重要。
其次，了解机器学习的基本概念和算法也是必不可少的。
如此一来，在学习深度学习时，我们可以更快速地理解和消化相关知识。
II. 多样化的学习资源在学习深度学习的过程中，多样化的学习资源是至关重要的。
我们可以通过阅读经典的教材、研究论文以及参加线下或线上的学习班等方式来获取知识。
此外，一些知名的学术机构和在线平台也提供了免费的深度学习课程，我们可以选择适合自己的学习资源，以便更好地理解和消化知识。
III. 实践中的动手能力在深度学习中，动手能力是高效理解和消化知识的关键。
通过动手实践，我们可以将抽象的概念转化为具体的应用场景，从而更好地理解和消化知识。
可以参考一些开源的深度学习框架和实现，如TensorFlow、PyTorch等，通过实际编写代码来掌握深度学习的算法和技术。
IV. 交流与合作的机会深度学习的学习过程中，交流与合作是非常重要的。
我们可以通过参加学术会议、研讨会等方式，与来自不同背景和经验的人进行交流与合作，借鉴他们的见解和经验。
此外，还可以参加相关的学习小组或线上社区，与其他学习者互动讨论，共同进步。
通过与他人的交流与合作，我们可以更好地理解和消化知识，加速学习的过程。
V. 持续学习与不断实践深度学习是一个快速发展的领域，新的算法和技术层出不穷。
因此，持续学习和不断实践是高效理解和消化知识的必备要素。
我们应该时刻关注最新的研究进展，学习最新的算法和技术。
同时，我们也要将所学应用于实际项目中，通过实践来巩固和应用深度学习的知识。
深度学习教学大纲
深度学习教学大纲深度学习教学大纲深度学习作为人工智能领域的一个重要分支，已经在各个领域展现出了巨大的应用潜力。
为了培养更多的深度学习人才，许多高校和培训机构开始开设相关的课程。
本文将探讨一个完整的深度学习教学大纲，以帮助学习者系统地掌握这一领域的知识和技能。
第一部分：基础知识在深度学习的教学大纲中，首先需要介绍深度学习的基础知识。
这包括神经网络的基本概念和结构，以及常用的深度学习框架和工具。
学习者需要了解神经网络的基本组成部分，如神经元、层和权重，并且能够使用深度学习框架来构建和训练自己的神经网络模型。
第二部分：深度学习算法在深度学习教学大纲的第二部分，需要详细介绍深度学习的核心算法。
这包括卷积神经网络（CNN）、循环神经网络（RNN）和生成对抗网络（GAN）等。
学习者需要理解这些算法的原理和应用场景，并且能够使用相应的算法解决实际问题。
第三部分：深度学习应用深度学习的应用领域非常广泛，包括图像识别、语音识别、自然语言处理等。
在深度学习教学大纲的第三部分，需要介绍深度学习在不同领域的应用案例，并且引导学习者独立完成相关的实践项目。
通过实际应用的学习，学习者可以更好地理解深度学习的实际价值和应用方法。
第四部分：深度学习理论与研究深度学习作为一个不断发展的领域，其中的理论和研究也非常重要。
在深度学习教学大纲的第四部分，需要介绍深度学习的一些重要理论和研究方向，如梯度下降、优化算法和迁移学习等。
学习者需要了解这些理论的原理和应用，并且能够阅读和理解相关的研究论文。
第五部分：深度学习实践与项目在深度学习教学大纲的最后一部分，需要引导学习者进行深度学习的实践和项目。
学习者可以选择一个感兴趣的领域或问题，设计并实现一个深度学习模型来解决。
通过实践项目，学习者可以将前面学到的知识和技能应用到实际情境中，加深对深度学习的理解和掌握。
总结：深度学习教学大纲应该从基础知识开始，逐步深入，涵盖算法、应用、理论和实践等方面。
神经网络与深度学习ppt课件
这些样本都是 28x28 大小的黑 白图像，也就是说一个样本有 28x28=784 个输入量，它们非 0(黑)即1(白)。输出量一共有 10 个，分别代表对应输入量的数字 是 0~9 各自的可能性，各输出 量之和必为 1。
23
成本函数
我们知道，评价一个网络最重要的是其识别精度。但这里我们引入一 个中间量，叫成本函数。如果我们将每个输入量 x 的理想决策值（即 已经规定好的决策值）设为 A，将实际决策值（即通过加权计算出的 决策值）设为 y，这里 y 可以表示为 x 的函数，即 y=y(x)，那么我们 可以定义下面这样一种成本函数。这实际上就是均方差。
19
Sigmoid 神经元其实是由如左上所示的感知器函数图像平滑而来的。 函数图像平滑，当任何一个输入量 x 只变化了一点点 Δx 时，最终输 出量 y 也只会变化一点点 Δy。任何时候，当 Δx→0 时，一定有 Δy→0，而这是感知器做不到的。这使得决策不会产生突变，更有利 于学习，如右上图所示。
2
我们先看一个简单的例子。一个 数字 9，我们如何描述它的形状？
现在有这么一种描述方法：这个 数字的上半部分是一个圆，下半 部分是靠右的一撇。用数学语言 表达就是，上半部分能够以方程 x12 + y12 = r12 (r1>0)拟合，下 半 部 分 能 以 x22 + y22 = r22 (x2<0, y2<0, r2>0) 拟合，那么 就能说明这个图形极有可能是数 字 9。
思考：我们该如何用颜色突变的 方式定义一辆车？（先不考虑前 身后身等复杂情况，假设所有的 车都是像左下图这样固定角度）
深度学习基础知识题库 (2)
深度学习基础知识题库1. 什么是深度学习？深度学习是一种机器学习方法，通过使用多层神经网络来模拟人脑的工作原理，从而实现对数据进行学习和分析的能力。
深度学习模型通常由多层神经网络组成，每一层都对输入数据进行特征提取和转换，最终输出预测结果。
2. 深度学习与传统机器学习的区别是什么？深度学习与传统机器学习的主要区别在于特征提取的方式和模型的复杂度。
传统机器学习方法需要手工选择和设计特征，而深度学习可以自动从原始数据中学习最有用的特征。
此外，深度学习模型通常比传统机器学习模型更复杂，拥有更多的参数需要训练。
3. 请解释下面几个深度学习中常用的概念：神经网络、激活函数和损失函数。
•神经网络是深度学习的核心组成部分，它由多个神经元组成，并通过神经元之间的连接进行信息传递和处理。
每个神经元接收一组输入，并通过激活函数对输入进行非线性转换后输出结果。
•激活函数是神经网络中的一个重要组件，主要用于引入非线性。
常用的激活函数包括Sigmoid、ReLU和tanh，它们可以将神经网络的输出限制在一定的范围内，并增加模型的表达能力。
•损失函数用于衡量模型的预测结果与真实标签之间的差异。
常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等，模型的目标是通过优化损失函数的数值来提高预测的准确性。
4. 请解释一下反向传播算法在深度学习中的作用。
反向传播算法是深度学习中训练神经网络的关键算法之一。
它基于梯度下降的思想，通过计算当前预测值和真实标签之间的差异，并向后逐层更新神经网络中的参数，从而最小化误差。
具体地，反向传播算法沿着神经网络的前向传播路径，依次计算每一层的导数和误差。
然后使用链式法则将误差从输出层逐层向后传播，更新每个神经元的参数，直到最后一层。
反向传播算法的使用可以加速神经网络训练的过程，提高模型的准确性。
5. 请简要介绍一下卷积神经网络（CNN）以及它在计算机视觉任务中的应用。
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，特别适用于处理网格状数据，如图像和语音。
神经网络与深度学习知识点整理
神经网络与深度学习知识点整理●神经网络基础●MP神经元模型●可以完成任何数学和逻辑函数的计算●没有找到训练方法，必须提前设计出神经网络的参数以实现特定的功能●Hebb规则●两个神经元同时处于激发状态时，神经元之间的连接强度将得到加强●Hebb学习规则是一种无监督学习方法，算法根据神经元连接的激活水平改变权值，因此又称为相关学习或并联学习。
●●感知机模型●有监督的学习规则●神经元期望输出与实际输出的误差e作为学习信号，调整网络权值●●LMS学习规则是在激活函数为f(x)=x下的感知器学习规则●由于激活函数f的作用，感知器实际是一种二分类器●感知器调整权值步骤●单层感知器不能解决异或问题●BP网络●特点：●同层神经网络无连接●不允许跨层连接●无反馈连接●BP学习算法由正向传播和反向传播组成●BP网络的激活函数必须处处可导——BP权值的调整采用 Gradient Descent 公式ΔW=－η（偏E/偏w），这个公式要求网络期望输出和单次训练差值（误差E)求导。
所以要求输出值处处可导。
s函数正好满足处处可导。
●运算实例（ppt）●Delta( δ )学习规则●误差纠正式学习——神经元的有监督δ学习规则，用于解决输入输出已知情况下神经元权值学习问题●δ学习规则又称误差修正规则，根据E/w负梯度方向调整神经元间的连接权值，能够使误差函数E达到最小值。
●δ学习规则通过输出与期望值的平方误差最小化，实现权值调整●●1●自动微分●BP神经网络原理：看书●超参数的确定，并没有理论方法指导，根据经验来选择●BP算法已提出，已可实现多隐含层的神经网络，但实际只使用单隐层节点的浅层模型●计算能力的限制●梯度弥散问题●自编码器●●自编码器（Auto-Encoder）作为一种无监督学习方法网络●将输入“编码”为一个中间代码●然后从中间表示“译码”出输入●通过重构误差和误差反传算法训练网络参数●编码器不关心输出（只复现输入），只关心中间层的编码————ℎ=σ(WX+b)●编码ℎ已经承载原始数据信息，但以一种不同的形式表达！●1●正则编码器——损失函数中加入正则项，常用的正则化有L1正则和L2正则●稀疏自编码器——在能量函数中增加对隐含神经元激活的稀疏性约束，以使大部分隐含神经元处于非激活状态●去噪自编码器——训练数据加入噪声，自动编码器学习去除噪声获得无噪声污染的输入，迫使编码器学习输入信号更加鲁棒的表达●堆叠自编码器●自编码器训练结束后，输出层即可去掉，网络关心的是x到ℎ的变换●将ℎ作为原始信息，训练新的自编码器，得到新的特征表达．●逐层贪婪预训练●1●深度神经网络初始化●●卷积神经网络●全连接不适合图像任务●参数数量太多●没有利用像素之间的位置信息●全连接很难传递超过三层●卷积神经网络是一种前馈神经网络，其输出神经元可以响应部分区域内的输入信息，适宜处理图像类信息●1●1●Zero Padding：在原始图像周围补0数量●卷积尺寸缩小，边缘像素点在卷积中被计算的次数少，边缘信息容易丢失●●卷积神经网络架构发展●1●深度发展●LeNet●具备卷积、激活、池化和全连接等基本组件●但GPU未出现，CPU的性能又极其低下●LetNet只使用在手写识别等简单场景，未得到重视●LeNet主要有2个卷积层（5*5）、2个下抽样层（池化层）、3个全连接层●通过sigmoid激活●全连接层输出：共有10个节点分别代表数字0到9，采用径向基函数作为分类器●AlexNet●第一次采用了ReLU，dropout，GPU加速等技巧●AlexNet网络共有：卷积层 5个(1111,55,3*3)，池化层 3个，全连接层3个●首次采用了双GPU并行计算加速模式●第一卷积模块：96通道的特征图被分配到2个GPU中，每个GPU上48个特征图；2组48通道的特征图分别在对应的GPU中进行ReLU激活●第一层全连接：同时采用了概率为0.5的Dropout策略●VGG●通过反复堆叠3x3卷积和2x2的池化，得到了最大19层的深度●卷积-ReLU-池化的基本结构●串联多个小卷积，相当于一个大卷积的思想●使用两个串联的3x3卷积，达到5x5的效果，但参数量却只有之前的18/25●串联多个小卷积，增加ReLU非线性激活使用概率，从而增加模型的非线性特征●VGG16网络包含了13个卷积层，5个池化层和3个全连接层。
深度学习在高中生物教学中的应用与实践
深度学习在高中生物教学中的应用与实践摘要：生物知识的内容庞杂且复杂，传统的教学方法往往只强调知识的传授，缺乏对学生思维能力的培养，本文分析深度学习技术的特点和优势；接着探讨生物教学的应用；最后提出在高中生物教学中应用深度学习的实践建议。
关键词：深度学习；高中生物教学；应用；实践1深度学习技术的特点和优势首先，深度学习可以模拟人脑的神经网络结构和信息处理方式，能够从大量的数据中学习和提取特征。
这使得深度学习在处理复杂的生物数据和图像信息时具有较高的表达能力和识别准确度。
其次，深度学习具有自动学习和自动调整参数的能力，能够逐步优化模型的性能。
这使得深度学习在处理生物数据时能够自动发现数据中的规律和特征，无需人工干预。
另外，深度学习还具有较强的泛化能力，可以通过训练集学习到的知识和经验应用到未知的数据中。
这使得深度学习在处理生物数据时能够适应不同的样本和场景，提高了模型的适应性和推广能力。
2深度学习在高中生物教学中的应用案例2.1使用深度学习进行生物知识点的解释和展示一个典型的应用案例是使用深度学习生成生物细胞的三维模型。
传统的生物细胞模型通常是通过手工制作或使用简单的计算机图形技术生成的，难以展示出细胞内部的复杂结构。
而借助深度学习的图像处理和生成能力，我们可以从生物图像数据中学习到细胞的内部结构，并生成高度真实的三维细胞模型。
这种模型可以通过虚拟现实技术展示给学生，使他们可以自由地观察和探索细胞的内部结构，提高他们的理解和想象能力。
另一个应用案例是使用深度学习进行生物知识点的解释和理解。
传统的教学材料通常是通过文字和图片来解释生物知识点，但往往无法满足学生对于深入理解的需求。
通过使用深度学习的自然语言处理和图像识别技术，我们可以将生物知识点进行更加详细和全面的解释。
例如，可以使用深度学习技术对相关的生物数据进行分析和处理，提取出关键的特征和信息，并根据学生的需求生成相应的解释和说明。
这样，学生可以通过与深度学习生成的解释进行交互，深入理解和掌握生物知识点。
如何让孩子更好地掌握深度学习知识
如何让孩子更好地掌握深度学习知识随着人工智能技术的快速发展，深度学习已经成为了目前最为火热的领域之一。
很多家长都希望自己的孩子能够在未来有一席之地，因此开始提前为孩子学习深度学习知识。
但是，深度学习知识并不是一件简单的事情。
相比于其他学习领域，它更加复杂、抽象，需要更多的时间和精力去理解和掌握。
为了让孩子更好地掌握深度学习知识，我们需要从以下几个方面入手。
一、培养孩子的数学基础深度学习是一门高度数学化的学科，要想深入了解其原理和应用，必须有扎实的数学基础。
因此，在孩子学习深度学习知识前，我们需要培养好他们的数学基础，包括算数、代数、几何、统计等方面的知识。
只有掌握好这些基础知识，才能更好地理解深度学习算法的数学原理和公式，才能更好地应用和实践。
二、寻找适合孩子的学习方式对于不同的孩子，适合的学习方式也不同。
有些孩子喜欢通过阅读书籍来学习，有些孩子则更习惯于参加线上或线下的课程。
因此，我们需要认真探索适合自己孩子的学习方式，让孩子在学习过程中感到舒适、自信和有趣。
三、引导孩子进行实践说起来容易做起来难，深度学习知识并非只能通过纸上谈兵来掌握，更需要通过实践来验证。
因此，我们需要引导孩子积极进行实践操作，帮助他们理解和掌握深度学习知识。
这样做不仅可以提高孩子的学习兴趣和学习动力，更可以让孩子深刻理解深度学习知识的原理和应用，从而更好地掌握。
四、保持学习的持续性学习是一个长期的过程，就像一座大山，需要不断攀登才能登顶。
因此，我们需要让孩子保持学习的持续性，不断积累并巩固所学的知识，提高自己的综合能力。
同时，我们也应该给予孩子足够的时间和空间，帮助他们逐渐适应深度学习知识的学习和探索，为未来的学业和职业发展打下坚实的基础。
在总结中，我们需要认识到，深度学习知识的掌握并不容易，需要多方面的努力和支持。
只有通过科学的学习方法，丰富的学习资源，和有效的指导和激励，才能让孩子更好地掌握深度学习知识，并在未来的学习和工作中取得更好的成就。
公司深度学习面试题目(3篇)
第1篇一、基础知识与概念1. 什么是深度学习？- 深度学习是机器学习的一个子领域，它通过构建和训练深层神经网络模型来模拟人脑处理信息的方式，从而实现复杂模式识别和预测。
2. 什么是神经网络？- 神经网络是一种模仿人脑神经元连接方式的计算模型，由相互连接的神经元组成，通过调整连接权重来学习和存储信息。
3. 请简述神经网络的三个主要组成部分。
- 输入层、隐藏层和输出层。
4. 什么是激活函数？- 激活函数是神经网络中用于引入非线性特性的函数，它可以将线性组合的输出映射到非线性的范围，从而增加模型的表达能力。
5. 常见的激活函数有哪些？请分别说明其特点和适用场景。
- Sigmoid、Tanh、ReLU、Leaky ReLU、ELU等。
Sigmoid和Tanh适用于回归问题，ReLU和Leaky ReLU适用于分类问题。
6. 什么是梯度下降法？- 梯度下降法是一种优化算法，用于调整神经网络中连接权重，以最小化损失函数。
7. 什么是反向传播算法？- 反向传播算法是梯度下降法在神经网络中的应用，通过计算损失函数对网络权重的梯度，来更新网络权重。
8. 什么是过拟合和欠拟合？- 过拟合是指模型在训练数据上表现良好，但在未见数据上表现不佳，即模型对训练数据过于敏感。
欠拟合是指模型在训练数据上表现不佳，即模型对训练数据不够敏感。
二、模型架构与设计9. 什么是卷积神经网络（CNN）？- CNN是一种用于处理图像数据的神经网络，通过卷积层、池化层和全连接层来提取图像特征。
10. 请简述CNN的三个主要层及其作用。
- 卷积层：提取图像特征；池化层：降低特征的空间分辨率；全连接层：进行分类或回归。
11. 什么是循环神经网络（RNN）？- RNN是一种用于处理序列数据的神经网络，能够处理时序信息。
12. 请简述RNN的三个主要组成部分及其作用。
- 输入层：接收序列数据；隐藏层：存储序列信息；输出层：生成序列输出。
13. 什么是长短期记忆网络（LSTM）？- LSTM是一种特殊的RNN，能够学习长期依赖关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
变分
KL(pllq)与KL（qllp）分析、平均场理论
第十八课：
隐马尔科夫模型HMM
概率计算问题、HMM参数学习问题、状态预测问题应用方向：
使用HMM进行中文分词
第十九课：
条件随机场CRF
无向图模型、MR
F、前向-后向算法
第二十课：
xx学习
全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向：
语义理解（目前自然语言界最大难关）使用LSTM+Attion解决
像素卷积神经网络（PixelCNN++）可将图像生成速度提高183倍
WaveNet
RLSS schedule to be posted soon（深度学习与强化学习暑期学校）机器与大脑学习项目课程计划
CNNs
RNNs
Generative Models 2
3.语句生成LSTM
实例：
根据上下文回答问题
第二十课给予xx学习的目标检测
1.传统的目标检测方法
2.初代算法：
Region CNN
3.升级：
SPP Net，Fast RCNN，Faster RCNN
4.xx学习另辟蹊径：
YoLo和SSD
实例：
自动驾驶的核心：
实时目标检测
第二十一课xx卷积神经偶的重要应用
1.图片问答
2.图像模式转换
3.图像xx
4.围棋程序，Alpha go
5.自动游戏机器人，DeepMind Atari
实例：
图片艺术风格转化
第二十二课无监督学习：
对抗网络GAN
1.传统无监督学习Autoencode，K Means，Sparse Coding
2.RBM限制博斯曼机，深度学习的另一支
3.生成对抗网络GAN
应用方向：
协同过滤用于商品推荐、SVD隐变量的推荐第十二课：
提升
梯度提升决策树GBDT、Adaboost、前向分步算法
应用方向：
Adaboost与随机森林（蒙特卡洛）结合、用于数据分类
第十三课：
EM算法和GMM
EMM算法、GMM、主题模型pLSA
应用方向：
分解部分观测数据的男女身高、图像分解第十四课：
Computational Neuroscience 1
Learningtolearn
Coffe Break
Neural Networks
Structured Models /Advanced Vision
ProbabillsticNumerics
NaturalLanguageUnderstanding
xx
Without deviation from the norm，progress is notpossible（不偏离常规，就无法取得进步-Frank Zappa）
第一课：
数学分析与概率论
Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布
第二课：
数理统计与参数估计
Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计
Computational
常见问题：
Q：
会有实际上机演示和动手操作吗？
A：
有，几乎每节课，老师均会准备上机演示部分，学员可以学习老师的实践经验。
Q：
参加本门课程有什么要求？
A：
有一定Python编程能力，有几本大学数学基础。
Q：
本课程怎么答疑？
A：
会有专门的QQ班级群，同学们可以针对课上知识的问题，或者自己学习与动手实践中的问题，向老师提问，老师会进行相应解答。也推荐大家到小象问答社区提问，方便知识的沉淀，老师会集中回答，不会因为QQ群信息刷屏而被老师错过。
第十七课迁移学习
1.理论分析
2.迁移模型&原始训练模型
3.如何设计新的的网络
实例：
表情识别／人脸识别／动物识别
第十八课与时域信息相关的xx学习
1.RNN
2.LSTM
3.图片标题生成
4.视频处理
实例：
LSTM用于图片标题生成
第十九课自然语言处理
1.处理之前：
speech to text
2.词语表达，word2vect
应用方向：
自适应学习率代码实现和参数调试分析
第七课：
最大熵模型
熵、相对熵、信息增益、最大熵模型、Softmax回归应用方向：
独立成分分析ICA求解盲源分离BBS问题第八课：
决策树和随机森林（蒙特卡罗）ID
3、"C
4."
5、CART、Bagging
研究方向:
使用随机森林进行数据分类（蒙特卡洛）
xx：
SVM
第三课:
矩阵和线性代数
从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课:
凸优化
凸函数、共轭函数、凸优化、Lagrange对偶函数
第五课：
回归
高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系
应用方向：
线性回归、Logistic回归实现和分析
xx：
梯度下降与拟xxxx
梯度下降算法、自适应学习率、拟牛顿、LBFGS
线性可分支持向量机、软间隔、核函数、SMO
研究方向：
使用SVM进行数据分类
第十课：
聚类
K-means/K-Medoids、密度聚类、谱聚类、
应用方向：
K-means、谱聚类代码实现和参数调试分析第十一课：
推荐系统
相似度量方案、协同过滤（User-based/ltem-based）、PCA/SV
D、随机游走
使用BP网络对样本分类
第十三课：
xx学习总体介绍
1.
2.
3.
4.神经网络；传统到现代
xx学习应用特定
xx学习发展方向xx学习框架比较：用来自ensorflow进行课程学习
第十四课：
传统神经网络
1.线性回归
2.非线性激励函数
3.loss函数，常见问题：
过拟合，正则化，dropout
实例：
传统神经网络络实现
实例：
机器生成图片，以假乱真
第二十三课：
迁移学习
第二十四课：
增强学习
记忆模型，xxRNN的GTMM
第二十五课：
二值神经网络
普通二值神经网络，YodaNN，
XLA如何让机器学习在TensorFlow上提升速度
第二十六课：
对偶学习
纳米神经网络NanoNet
A solution to the single-question crowd wisdom problem（选自自然杂志意味流行算法解决群体智慧中缺陷）
普斯贝叶斯和贝叶斯网络初步有向分离、（隐）马尔科夫模型HMM
第十五课：
主题模型用EM算法计算pLS
A、Dirichiet分布、L
D
A、Gibbs采样
应用方向：
使用Gibbs采样计算给语料的主题
第十六课：
采样
MC（Markov chain Monte Carlo）、Metropolis-Hastings算法、Gibbs采样
Q：
本课程需要什么环境？
A：
开发环境主要以Ubuntu为主，深度学习训练需要有可以支持的显卡，基本要求GTX 960，有条件的尽量GTX 1080，GTX Titan X更好（显卡的内核数以及显存数尽量多一点）。
第十五课反向反馈：
xx学习模型优化基础
1.SGD梯度下降介绍
2.神经网络的梯度优化
3.神经网络训练
实例：
反向梯度优化对比
第十六课卷积神经网络
1.卷积核以及卷积层
2.AlexNet最早的现代神经网络
3.VGG，GoogleNet,，ResNet.近期的高级网络LeNet
实例：
利用已有模型进行物体分类／xx