MIT深度学习基础知识 编码器-解码器架构分析

MIT深度学习基础知识编码器-解码器架构分析

深度学习是表征学习，即通过数据自动生成有用的表征。我们表述世界的方式可以使复杂事物简单化，让人类及我们构建的编码器会在原始数据中找到模式，以生成简洁有用的表征解码器会利用这些表征生成高分辨率数据。所生成的数据是新示例或描述性知识1.前馈神经网络(FFNN)TensorFlow 教程：请参阅深度学习基础知识教程的第1 部分，其中有一个用于预测波士顿房价的FFNN 示例，属于回归问题：2.卷积神经网络(CNN)TensorFlow 教程：请参阅深度学习基础知识教程的第2 部分，了解用于对MNIST 数据集中的手写数字进行分类的CNN 示例。我们利用影像变形技术创造梦幻般的精彩3.递归神经网络(RNN)TensorFlow 教程：递归神经网络的训练颇具挑战性，但同时也让我们可以对序列数据进行一些有趣而强大的建模。利用TensorFlow 生成文本是我最喜欢的教程之一，因为只需几行代码便可完成一些事情：逐字生成合理文本：4.编码器-解码器架构TensorFlow 教程：请参阅我们的驾驶场景分割教程，其中展示了用于处理无人车辆感知问题的最先进分割网络：5.自动编码器TensorFlow 教程：在这个 TensorFlow Keras 教程中，您可以探索自动编码器在以下两方面的功能：(1) 对输入数据进行降噪，(2) 在MNIST 数据集中生成嵌入。6.生成对抗网络(GAN)TensorFlow 教程：如需GAN 早期变体的示例，请参阅有关条件GAN 和 DCGAN 的教程。随着课程的进展，我们将在 GitHub 上发布有关GAN 先进技术的教程。7.深度强化学习(Deep RL)教程：我们的DeepTraffic 环境提供了教程与代码示例，可以让您快速地在浏览器中探索、训练和评估Deep RL 智能体。此外，我们很快将在 GitHub 上发布支持基础知识拓展

深度学习中有几个重要概念并非由上述架构直接表示。例如，变分自编码器(V AE)、LSTM/GRU 或神经图灵机环境中的“记忆”概念、胶囊网络、一般的注意力、迁移学习及元学习理念，以及RL 中基于模型、基于值和基于策略的方法与actor-critic 方法的区别。最后，许多深度学习系统以复杂的方式将这些架构结合起来，从而共同从多模态数据中学习，或共同学习解决多个任务。其中很多概念在本课程的其他讲座中均有涉及，我们很快会介绍更多概念。