深度神经网络生成模型：从 GAN VAE 到 CVAE-GAN - 知乎专栏
生成对抗网络GAN的研究进展
收稿日期：２０２００５１１；修回日期：２０２００７０２ 基金项目：河北省自然科学基金资助项目（Ｆ２０１７２０３１６９）；河北省高等学校科学研究重
点项目（ＺＤ２０１７０８０）
作者简介：张恩琪（１９９４），女，河北石家庄人，硕士研究生，主要研究方向为文本生成图像；顾广华（１９７９），男（通信作者），河南濮阳人，教授，
硕导，博士，主要研究方向为图像信息处理（ｇｕｇｕａｎｇｈｕａ＠ｙｓｕ．ｅｄｕ．ｃｎ）；赵晨（１９９４），女，河北唐山人，硕士，主要研究方向为文本生成图像；赵志明
（１９９５），男，河北唐山人，硕士研究生，主要研究方向为视频中人体行为识别．生成对抗网络ＧＡＮ的研究进展
张恩琪１，２，顾广华１，２，赵 晨１，２，赵志明１，２
（１．燕山大学信息科学与工程学院，河北秦皇岛０６６００４；２．河北省信息传输与信号处理重点实验室，河北秦
皇岛０６６００４）
摘 要：基于零和博弈思想的生成式对抗网络（ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ，ＧＡＮ）模型的意义在于可通过无监
督学习获得数据的分布，并能生成较逼真的数据。它可以应用在很多领域，尤其是在计算机视觉领域中的图像
生成方面取得了很大成果，成为当下的一个研究热点。以ＧＡＮ模型及其在特定领域的应用结果为研究对象，对
ＧＡＮ的改进和扩展的研究成果进行了广泛的研究，并从图像超分辨率重建、文本合成图片等多个实际应用领域
展开讨论，系统地梳理、总结出ＧＡＮ的优势与不足，同时结合自然语言处理、强化学习对ＧＡＮ的发展趋势及应
用前景进行预测分析。
关键词：零和博弈思想；生成式对抗网络；无监督学习；图像超分辨率重建；文本合成图片
中图分类号：ＴＧ３３３ 文献标志码：Ａ 文章编号：１００１３６９５（２０２１）０４００２０９６８０７
ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０２０．０５．００９５
Ｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｏｎｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ
基于嵌入对比学习的广义零样本预分类模型
基于嵌入对比学习的广义零样本预分类模型
作者：唐义承 纪惠芬
来源：《计算机时代》2023年第10期
关键词：廣义零样本学习；自编码器；对比学习；多模态
0 引言
在计算机视觉领域，传统的机器学习逐步向深度学习方向发展。监督学习模型在有大量标记数据的情况下已经能够取得卓越的表现。但是，由于有标签的数据收集费时费力，同时对每个类别的图片都需要人工来标注，这将大大提高深度学习的成本。为此，零样本学习成为了近年来的热门课题，已被广泛用于解决现实任务中出现的难题。在传统的零样本学习设定中，我们利用语义信息建立可见类与不可见类的联系，将可见类中学习到的知识转移到不可见类中，进而，完成对训练过程中没有出现过的不可见类的识别。然而，在现实的分类情境中，需要同时对可见类和不可见类进行分类，这被称为广义零样本学习（Generalized zero-shot learning，GZSL）。 最近，越来越多的方法采用了基于对抗生成网络（GAN）[1]或变分自编码器（VAE）[2]生成模型来解决广义零样本学习的问题。这种方法通过生成不可见类的合成样本，将零样本学习任务转化为传统的监督学习任务，从而缓解了可见类与不可见类之间的数据差异，提高了准确率。然而，GAN 生成模型易出现特征混淆问题，也无法保证每次训练的稳定性。相比之下，VAE 生成模型将视觉特征和语义属性映射到潜在空间中，使用潜在空间嵌入进行分类。但是VAE 模型可能导致域偏移问题，影响分类结果。此外，基于预分类的方法近期也成为热门研究方向。在测试阶段，将测试样本分为可见类和不可见类样本，然后对这两类样本使用特定的监督学习分类器或零样本分类器进行训练。但是由于训练集中没有不可见类样本，预分类可能不能取得很好的效果。
为了提高视觉特征与语义信息之间的关联性，缓解领域偏移问题，如图1 所示本文提出一种基于嵌入对比学习的广义零样本预分类模型。首先，利用超球面变分自编码器[3]将视觉特征和语义属性映射到一个统一的球形潜在空间中。提取出一个能够同时表达视觉模态和语义模态的潜在空间。然后潜在空间中，对齐两个模态的潜在特征，并且对潜在特征进行嵌入对比学习。最后，利用超球面空间中的分布流形对测试样本预分类，根据预分类的结果将测试样本分配给对应的专家分类器。
人工智能的种类 生成式
人工智能的种类 生成式
在人工智能领域，生成式模型是一类常见的模型类型。生成式模型旨在通过学习数据的分布和潜在结构，生成新的样本或模拟现实世界中的场景。以下是几种常见的生成式模型：
1. 自动回归模型（Autoregressive Models）**：此类模型根据先前生成的内容预测下一个元素的概率分布。常见的自动回归模型包括语言模型（如GPT）和生成对抗网络（GAN）中的生成器。
2. 变分自编码器（Variational Autoencoders，VAE）**：VAE是一种基于神经网络的生成式模型，通过学习潜在空间的分布，将输入数据映射到低维连续编码中。VAE可以用于生成新的样本，也可以用于数据压缩和降维。
3. 生成对抗网络（Generative Adversarial Networks，GAN）**：GAN由生成器和判别器两个模型组成，通过对抗训练的方式生成逼真的样本。生成器试图生成与真实样本相似的样本，而判别器则努力区分真实样本和生成样本，二者相互竞争来提高生成样本的质量。
4. 流式生成模型（Flow-based Models）**：这类模型通过将输入数据映射到潜在空间，并应用可逆变换来生成样本。流式生成模型可以实现数据生成和密度估计。
5. 生成式对抗网络（Generative Adversarial Networks，GAN）**：GAN是一种生成式模型，它由生成器和判别器组成。生成器试图生成逼真的样本，而判别器则努力区分真实样本和生成样本，二者相互竞争来提高生成样本的质量。
。
gan模型的分类
生成对抗网络（GAN）模型可以根据其结构、应用领域和变体的不同进行分类。以下是一些常见的GAN模型分类：
1. 基本结构分类：
- 标准GAN（vanilla GAN）：最早由Ian Goodfellow等人提出，包括一个生成器和一个判别器。
- 深度卷积 GAN（DCGAN）：使用卷积神经网络（CNN）来提高图像生成的质量和稳定性。
- 条件GAN（cGAN）：引入条件信息，使生成器和判别器能够通过额外的条件信息生成或判别样本。
- 无监督GAN（UGAN）：一种无监督学习的变体，不需要标签。
2. 变种分类：
- 生成式对抗自编码器（AAE）：将自编码器与GAN结合，结合了自编码器的编码和解码过程。
- 变分自编码GAN（VAE-GAN）：结合了GAN和变分自编码器，可以生成更具有可解释性的潜在表示。
- Wasserstein GAN（WGAN）：使Wasserstein距离替代原始GAN的损失函数，改善了训练的稳定性。
- 梯度惩罚GAN（WGAN-GP）：在WGAN的基础上，通过梯度惩罚进一步提高训练的稳定性。
3. 应用领域分类：
- 图像生成GAN：用于生成逼真的图像，包括DCGAN、StyleGAN等。
- 文本生成GAN：用于生成自然语言文本的GAN模型，例如TextGAN。
- 视频生成GAN：用于生成逼真的视频序列，包括VGAN等。
- 医学图像生成GAN：用于生成医学图像，例如生成CT扫描图像的
MedGAN。
4. 训练改进分类：
- 渐进式GAN（PGAN）：通过逐步增加生成器和判别器的复杂度，使训练更加稳定。
- 自监督GAN（SS-GAN）：通过自监督学习的方式，引入额外的自监督任务，提高模型性能。
这些分类并非严格的互斥关系，而是为了方便理解和归纳。随着GAN模型的研究和发展，不断涌现出新的模型和变体。选择适当的GAN模型通常取决于具体的任务和数据集。
vae模型结构
vae模型结构
摘要：
1.引言
2.Vae 模型的基本结构
3.Vae 模型的训练过程
4.Vae 模型的应用领域
5.Vae 模型的优缺点分析
6.总结
正文：
Vae 模型是一种用于生成具有类似于真实数据分布的样本的深度学习模型。它由两个子网络组成：编码器（Encoder）和解码器（Decoder）。
1.引言
Vae 模型是一种生成模型，其目标是学习一个联合概率分布，用于生成具有类似于真实数据分布的新样本。Vae 模型广泛应用于自然语言处理、计算机视觉等领域。
2.Vae 模型的基本结构
Vae 模型由两个子网络组成：编码器（Encoder）和解码器（Decoder）。编码器将原始数据映射到潜在空间，而解码器则从潜在空间中提取信息以生成新数据。在训练过程中，Vae 模型通过最大化真实数据的边际似然来学习数据分布。
3.Vae 模型的训练过程 Vae 模型的训练过程分为两个阶段：首先，编码器和解码器分别进行训练；然后，整个 Vae 模型进行训练。在训练过程中，Vae 模型使用最大似然估计（MLE）方法来优化模型参数。
4.Vae 模型的应用领域
Vae 模型在自然语言处理、计算机视觉等领域有广泛的应用。例如，在自然语言处理中，Vae 模型可以用于生成自然语言；在计算机视觉中，Vae 模型可以用于生成图像。
5.Vae 模型的优缺点分析
Vae 模型的优点是它可以生成高质量、多样化的样本。此外，Vae 模型还可以通过约束潜在空间中的分布来控制生成样本的风格。然而，Vae 模型也存在一些缺点，例如训练过程可能不稳定，生成样本可能存在模糊性等。
6.总结
Vae 模型是一种用于生成具有类似于真实数据分布的样本的深度学习模型。它由编码器和解码器组成，通过最大化真实数据的边际似然来学习数据分布。
生成式人工智能的研究现状和发展趋势
生成式人工智能的研究现状和发展趋势
1. 生成式人工智能的发展历程
自20世纪50年代以来，人工智能领域经历了从符号主义、连接主义到行为主义的多次发展浪潮。在这个过程中，生成式人工智能作为一个新的研究方向，逐渐崭露头角。生成式人工智能的核心思想是通过学习数据分布，自动生成新的数据样本，从而实现对现实世界的模拟和预测。
在20世纪80年代，生成式模型开始出现在计算机视觉领域，如生成对抗网络(GAN)。随着深度学习技术的快速发展，生成式人工智能在图像生成、文本生成、音频合成等多个领域取得了显著的成果。生成式人工智能的研究已经扩展到了自然语言处理、推荐系统、游戏AI等多个领域，为人们的生活带来了诸多便利。
2014年，Google公司提出了一种名为“变分自编码器”(Variational Autoencoder, VAE)的生成式模型，该模型通过学习数据的潜在表示，可以生成与原始数据相似的新数据。VAE的成功推动了生成式人工智能的发展，使得研究人员开始关注如何利用生成式模型解决更复杂的问题。
2017年，DeepMind公司的AlphaGo在围棋比赛中击败了世界冠军李世石，引起了全球范围内对生成式人工智能的关注。生成式人工智能的研究逐渐成为学术界和工业界的热点。
2018年。WaveNet在语音合成、图像生成等领域取得了显著的性能提升，被认为是当时最先进的生成式模型之一。
2019年，Facebook公司推出了一种名为“StyleGAN”的生成式模型，该模型可以在图像生成任务中实现更加自然、逼真的效果。StyleGAN的出现进一步推动了生成式人工智能的发展，使得研究人员开始关注如何在不同领域之间进行迁移学习。
生成式人工智能的发展历程经历了从早期的图像生成、文本生成到如今的多领域应用。在这个过程中，不断涌现出更加先进、高效的生成式模型和技术，为人类社会的发展带来了巨大的潜力。随着技术的不断进步，生成式人工智能在未来将会有更加广阔的应用前景。
深度学习模型的常见结构
深度学习模型的常见结构
深度学习已经在各个领域展现出了巨大的潜力，并且成为了人工智能领域的热门话题。在深度学习中，模型的结构是至关重要的，它决定了模型的性能和效果。本文将介绍深度学习模型中常见的结构，包括卷积神经网络（CNN）、循环神经网络（RNN）和生成对抗网络（GAN）。
一、卷积神经网络（CNN）
卷积神经网络是一种特殊的神经网络结构，广泛应用于图像识别和计算机视觉任务中。它模拟了人类对视觉信息的处理方式，通过卷积层、池化层和全连接层构成。其中，卷积层负责提取图像的特征，池化层用于降采样和减小计算量，全连接层则将提取的特征进行分类。
二、循环神经网络（RNN）
循环神经网络是一种适用于序列数据处理的模型，广泛应用于自然语言处理和语音识别等领域。与传统的前馈神经网络不同，RNN 具有循环连接的结构，使其能够捕捉到序列数据中的上下文信息。RNN 中的隐藏状态可以储存前面时间步的信息，并传递到后面的时间步中，以此实现对序列数据的有效建模。
三、生成对抗网络（GAN）
生成对抗网络是一种包含生成器和判别器的模型结构，用于生成逼真的合成数据。生成器负责生成伪造数据，而判别器则负责判断生成的数据和真实数据的区别。GAN 通过两个网络相互对抗的方式进行训练，逐渐提高生成器生成真实数据的能力。
四、注意力机制（Attention）
注意力机制是一种用于强化模型重点关注区域的结构。它在自然语言处理和计算机视觉任务中被广泛应用。通过引入注意力机制，模型能够更加准确地聚焦于输入数据中的关键信息，从而提高模型的性能。
五、残差连接（Residual Connection）
残差连接是一种用于解决深度神经网络中梯度消失和梯度爆炸的问题的结构。在残差连接中，模型的前向传播不仅仅包括正常的组件，还包括一个跳跃连接，将前一层的输出直接与当前层的输入相加。通过这种方式，残差连接可以使信息更好地从一个层传递到另一个层，加快训练速度并提高模型性能。
GAN0-生成对抗网络-GAN的分类
GAN0-⽣成对抗⽹络-GAN的分类
1，GAN的发展历史总结
GAN最早是由Ian J. Goodfellow等⼈于2014年10⽉提出的，他的《Generative Adversarial Nets》可以说是这个领域的开⼭之作，论⽂⼀经发表，就引起了热议。⽽随着GAN在理论与模型上的⾼速发展，它在计算机视觉、⾃然语⾔处理、⼈机交互等领域有着越来越深⼊的应⽤，并不断向着其它领域继续延伸。
图⾃李宏毅⽼师的GAN课程
下⾯将按照时间顺序，简单介绍GAN的演进历史中的代表性⽹络
DCGAN
顾名思义，DCGAN[3]主要讨论 CNN 与 GAN 如何结合使⽤并给出了⼀系列建议。由于卷积神经⽹络(Convolutional neural network, CNN)⽐MLP有更强的拟合与表达能⼒，并
在判别式模型中取得了很⼤的成果。因此，Alec等⼈将CNN引⼊⽣成器和判别器，称作深度卷积对抗神经⽹络（Deep Convolutional GAN, DCGAN）。另外还讨论了 GAN 特征的可视化、潜在空间插值等问题。
DCGAN⽣成的动漫头像：
ImprovedGAN
Ian Goodfellow 等⼈[4]提供了诸多训练稳定 GAN 的建议，包括特征匹配、mini-batch 识别、历史平均、单边标签平滑以及虚拟批标准化等技巧。讨论了 GAN 不稳定性的最佳假
设。
PACGAN
PACGAN[5]讨论的是的如何分析 model collapse，以及提出了 PAC 判别器的⽅法⽤于解决 model collapse。思想其实就是将判别器的输⼊改成多个样本，这样判别器可以同时
看到多个样本可以从⼀定程度上防⽌ model collapse。
WGAN
WGAN[6]⾸先从理论上分析了原始 GAN 模型存在的训练不稳定、⽣成器和判别器的 loss ⽆法只是训练进程、⽣成样本缺乏多样性等问题，并通过改进算法流程针对性的给出了改进要点。
vae模型结构 2
vae模型结构
VAE（Variational Autoencoder）是一种生成模型，其核心思想是通过编码器和解码器对原始数据进行编码和解码，从而实现从潜在空间生成原始数据的目标。下面我们将详细介绍VAE模型的结构及其应用。
1.VAE模型概述
VAE模型由两部分组成：编码器和解码器。编码器将原始数据映射到潜在空间，解码器则将潜在空间中的数据映射回原始数据。在训练过程中，VAE通过最大化数据分布与生成分布之间的似然性来学习潜在空间的表示。
2.VAE模型结构分解
（1）编码器（Encoder）
编码器由多层全连接神经网络组成，输入为原始数据，输出为潜在空间的表示。编码器的目标是尽量压缩原始数据，将其映射到一个较低维度的潜在空间中。
（2）解码器（Decoder）
解码器同样由多层全连接神经网络组成，输入为潜在空间的表示，输出为重建后的原始数据。解码器的目标是将从潜在空间中解码出的数据尽可能还原成原始数据。
3.损失函数与训练方法
VAE的损失函数分为两部分：重构损失和KL散度损失。重构损失用于衡量生成数据与真实数据之间的差距，KL散度损失用于衡量潜在空间中真实分布与生成分布之间的差距。通过优化损失函数，VAE模型可以在训练过程中学习到更好的数据表示。
4.VAE的应用与拓展
VAE模型在许多领域都有广泛的应用，如图像生成、文本生成等。此外，VAE模型还可以进一步拓展，如引入条件变量、使用更复杂的网络结构等。
总之，VAE模型作为一种生成模型，通过编码器和解码器在潜在空间中进行数据转换，实现了从潜在空间生成原始数据的目标。
计算机视觉技术中的图像生成方法
计算机视觉技术中的图像生成方法
在计算机视觉技术领域中，图像生成是一个重要的研究方向。图像生成指的是通过计算机算法生成逼真、真实的图像，这一技术在很多领域中有广泛的应用，如虚拟现实、游戏开发、艺术创作等。为了实现图像生成，计算机视觉领域涌现了许多有效的方法，本文将介绍其中几种常见的图像生成方法。
1. 基于生成对抗网络（GAN）的图像生成方法
生成对抗网络（Generative Adversarial Networks）是一种非监督学习的深度学习模型，被广泛应用于图像生成任务中。GAN由生成器（Generator）和判别器（Discriminator）组成。生成器负责生成逼真的图像，而判别器负责判断图像的真实性。通过训练生成器和判别器，并使二者相互竞争，可以达到使生成图像更加逼真的目的。GAN的特点是可以学习到数据的分布特征，并且生成的图像具有多样性和创造性。
2. 基于变分自编码器（VAE）的图像生成方法
变分自编码器（Variational Autoencoder）是一种用于无监督学习的神经网络模型。VAE可以通过学习数据的分布来生成新的数据样本。它通过将输入数据映射到潜在空间中，并通过潜在空间中的随机采样来生成新的数据样本。VAE的特点是可以学习到数据的潜在表示，并通过在潜在空间中进行插值操作来生成新的图像。
3. 基于卷积神经网络（CNN）的图像生成方法
卷积神经网络（Convolutional Neural Networks）是一种专门用于处理图像的神经网络模型。CNN在计算机视觉领域取得了重大的突破，包括图像分类、目标检测等任务。除了传统的图像处理任务，CNN也可以用于图像生成。通过对CNN进行逆向操作，如反卷积和上采样，可以实现图像的生成。此外，可以通过对CNN的某些层进行特定操作，如将特征图与随机噪声相加，来生成新的图像。 4. 基于生成模型的图像生成方法
生成模型是指模型能够从一个潜在空间中生成样本，这些样本与训练数据具有相似的统计特征。除了GAN和VAE之外，还有一些其他的生成模型可用于图像生成，如自回归模型和PixelRNN。此类模型在生成过程中考虑到了像素之间的相关性，能够按照像素的顺序逐步生成图像，生成的图像有较好的结构性。