对抗生成网络(GAN)详解

article/2025/9/24 18:21:07

目录

前言

目标函数

 原理

训练

给定生成器,训练判别器

给定判别器,训练生成器

总结


前言

之前的生成模型侧重于将分布函数构造出来,然后使用最大似然函数去更新这个分布函数的参数,从而优化分布函数,但是这种方法计算比较困难,尤其是维度比较高时,所以作者考虑能不能不用构造一个分布出来,而是构造一个模型自己去学习这个分布。这两种方法有本质的区别,第一种是要完完全全的将分布构造出来,将分布的均值、方差等弄明白,而第二种方法是不需要构造分布,只需要构造模型得到近似的结果就可以。

GAN模型中有两个分布,一个是生成器,一个是判别器,根据他们的名字就可以看出,生成器是生成和真数据相似的分布来欺骗判别器,二判别器是判断出假数据从而不让生成器得逞,原文中作者举了一个很形象的例子,生成器就如假币的贩子,判别器就如警察,假币贩子制造假币,警察识别假币找出假币贩子,是一个对抗的过程。

其实,原始的生成器和判别器很简单,就是一些全连接网络组成,可以通过反向传播进行端到端的训练,训练过程相当于一个不断学习和对抗的过程。

整个过程大概如下图所示,将随机噪音输入到生成器,这里的随机噪音例如可以服从的是高斯分布,生成器根据输入的噪声生成一张假图像,判别器将真实图像和生成的假图像作为输入进行训练,这里的判别器其实就是一个二分类模型,输出为真或假。

目标函数

GAN的目标函数如下所示,很多人都没有对这个函数进行详细的说明,在这里呢我详细的说明一下。

式中,z是随机噪声,p_{z}\left ( z \right )是随机噪声z的分布,G\left ( z,\theta _{g} \right )是生成器,输入为z,其中有一个权重参数\theta _{_{g}}D\left ( x,\theta _{d} \right )是判别器,输入为图像x,他的权重参数为\theta _{d},所以对于GAN来说他训练的是两个模型,是一个对抗的过程,所以在他的目标函数中有一个求最大max和一个求最小min的过程。

GAN的目标函数包括两部分,如图中的红框和绿框:

 判别器D要最大化log\left ( D\left ( x \right ) \right )D\left ( x \right )的含义是将真实图像输入到判别器D中,判别器认为是真图的概率,判别器希望真实图像的概率越大越好,这就对应了式中的maxD,绘制出log\left ( D\left ( x \right ) \right )图像如下。

 

生成器要最小化函数log\left ( 1-D\left ( G\left ( z \right ) \right ) \right )D\left ( G\left ( z \right ) \right )的含义是将噪声z输入到生成器G中得到一个假图G\left ( z \right ),然后将G\left ( z \right )输入到判别器D中,输出判别器认为假图是真图的概率,即D\left ( G\left ( z \right ) \right )。绘制出log\left ( 1-D\left ( G\left ( z \right ) \right ) \right )图像如下,生成器的目标是让判别器认为假图是真图的概率D\left ( G\left ( z \right ) \right )越大越好,即接近于1,而log\left ( 1-D\left ( G\left ( z \right ) \right ) \right )是一个递减的过程,即D\left ( G\left ( z \right ) \right )越大log\left ( 1-D\left ( G\left ( z \right ) \right ) \right )越小,所以生成器的目标变成了让log\left ( 1-D\left ( G\left ( z \right ) \right ) \right )越小越好,这就对应了式中的minG。

 

 原理

 如图,详细和展示了GAN整个训练过程

图中, Z为噪声空间,噪声空间中为均匀分布的随机数,生成器将噪声空间的随机数z映射到图像空间x,随机点映射到图像空间的分布就是绿色曲线所示的高斯分布,而图像中的黑色曲线为真实图像的数据分布,蓝色曲线为判别器预测x为真实数据的概率,蓝色曲线在真实数据的分布出偏高,在生成器生成的数据分布处偏低。

  • 第一步就是训练判别器(图(b)),将曲折的蓝线训练成平滑的曲线,可以很好的分别真实数据和虚假数据。
  • 然后就是训练生成器图(c),将生成器的图像分布绿线逐渐接近真实数据的分布黑线。
  • 最后交替训练判别器和生成器图(d),直到生成器的图像分布绿线和真实数据的分布黑线重合,判别器无法区分两个分布,此时蓝色变成一条水平线。

训练

这部分就是详细说明了GAN的训练过程,包括给定生成器训练判别器,和给定判别器训练生成器,将会涉及到大量的计算公式以及推导。

训练过程对应的伪代码如图,训练过程包括两个,第一个是首先训练k次判别器,然后再训练一次生成器。

训练判别器

  • 首先采样m个随机噪声,生成m个假图像,
  • 然后再采样m个真图像,
  • 最后由损失函数和梯度,更新判别器的权重参数,

其中目标函数和我们之前说的是一样的,只不过是将期望换成了均值。

训练生成器

  • 首先采样m个随机噪声,生成m个假图像,
  • 然后由损失函数和梯度,更新生成器的权重参数,

注意再生成器的目标函数中,不会收到判别器的影响,所以只有生成器的部分。

给定生成器,训练判别器

首先给出结论,再进行证明:

对于给定的生成器G,最优的判别器为

D_{G}^{\ast }=\frac{p_{data}\left ( x \right )}{p_{data}\left ( x \right )+p_{g}\left ( x \right )}

其中p_{data}\left ( x \right )为真实图像的概率,p_{g}\left ( x \right )为假图像的概率

证明

给定生成器最大化判别器的目标函数

 其中,期望的定义为:

 所以式(1)中的期望可以变为积分的形式

 

 上式中既有对x的积分又有对z的积分,其中对于随机噪声z的采样就相当于对假图像的采样,所以可以对积分元素进行统一

 所以,(2)式可以统一对x积分

变换后的式子我们就比较熟悉了,其实就是二分类交叉熵,即 

 对于二分类交叉熵为凸函数,所以可以求得最大值,证明如下

 证明完毕

给定判别器,训练生成器

生成器目标函数:

 其中的判别器D_{G}^{\ast }\left ( x \right )就是我们上面训练好的判别器,代入上式得

那么,上式中当且仅当p_{g}=p_{data}时,生成器的目标函数取得最小值 -log4

证明

证明完毕。

总结

至此,有关GAN的说明基本差不多了,主要说明了一些重点的原理性的东西,一些细节没有进行说明,感兴趣的朋友可以去看原文,最后希望大家能点赞支持!


http://chatgpt.dhexx.cn/article/B9dBoi6D.shtml

相关文章

对抗生成网络(GAN)简介及生成数字实战

一、简介 生成对抗网络(Generative Adversarial Netword,简称GAN),是一种生成式机器学习模型,该方法由伊恩古德费洛等人于2014年提出,曾被称为“机器学习这二十年来最酷的想法”,可以用来创造虚…

对抗生成网络(Generative Adversarial Net)

好久没有更新博客了,但似乎我每次更新博客的时候都这么说(泪)。最近对生活有了一些新的体会,工作上面,新的环境总算是适应了,知道了如何摆正工作和生活之间的关系,如何能在有效率工作的同时还能…

【PaddleOCR-det-finetune】一:基于PPOCRv3的det检测模型finetune训练

文章目录 基本流程详细步骤打标签,构建自己的数据集下载PPOCRv3训练模型修改超参数,训练自己数据集启动训练导出模型 测试 相关参考手册在PaddleOCR项目工程中的位置: det模型训练和微调:PaddleOCR\doc\doc_ch\PPOCRv3_det_train.…

模型微调(Finetune)

参考:https://zhuanlan.zhihu.com/p/35890660 ppt下载地址:https://github.com/jiangzhubo/What-is-Fine-tuning 一.什么是模型微调 给定预训练模型(Pre_trained model),基于模型进行微调(Fine Tune)。相…

fine-tuning

微调(fine-tuning) 在平时的训练中,我们通常很难拿到大量的数据,并且由于大量的数据,如果一旦有调整,重新训练网络是十分复杂的,而且参数不好调整,数量也不够,所以我们可…

大模型的三大法宝:Finetune, Prompt Engineering, Reward

编者按:基于基础通用模型构建领域或企业特有模型是目前趋势。本文简明介绍了最大化挖掘语言模型潜力的三大法宝——Finetune, Prompt Engineering和RLHF——的基本概念,并指出了大模型微调面临的工具层面的挑战。 以下是译文,Enjoy! 作者 | B…

RCNN网络源码解读(Ⅲ) --- finetune训练过程

目录 0.回顾 1.finetune二分类代码解释(finetune.py) 1.1 load_data(定义获取数据的方法) 1.2 CustomFineTuneDataset类 1.3 custom_batch_sampler类( custom_batch_sampler.py) 1.4 训练train_mod…

FinSH

finSH介绍 FinSH 是 RT-Thread 的命令行组件,提供一套供用户在命令行调用的操作接口,主要用于调试或查看系统信息。它可以使用串口 / 以太网 / USB 等与 PC 机进行通信。 命令执行过程 功能: 支持鉴权,可在系统配置中选择打开/关闭。(TODO…

从统一视角看各类高效finetune方法

每天给你送来NLP技术干货! 来自:圆圆的算法笔记 随着预训练模型参数量越来越大,迁移学习的成本越来越高,parameter-efficient tuning成为一个热点研究方向。在以前我们在下游任务使用预训练大模型,一般需要finetune模型…

finetune

finetune的含义是获取预训练好的网络的部分结构和权重,与自己新增的网络部分一起训练。下面介绍几种finetune的方法。 完整代码:https://github.com/toyow/learn_tensorflow/tree/master/finetune 一,如何恢复预训练的网络 方法一&#xf…

11.2 模型finetune

一、Transform Learning 与 Model Finetune 二、pytorch中的Finetune 一、Transfer Learning 与 Model Finetune 1. 什么是Transfer Learning? 迁移学习是机器学习的一个分支,主要研究源域的知识如何应用到目标域当中。迁移学习是一个很大的概念。 怎么理解源域…

飞桨深度学习学院零基础深度学习7日入门-CV疫情特辑学习笔记(四)DAY03 车牌识别

本课分为理论和实战两个部分 理论:卷积神经网络 1.思考全连接神经网络的问题 一般来收机器学习模型实践分为三个步骤,(1)建立模型 (2)选择损失函数 (3)参数调整学习 1.1 模型结构不…

unity sdk(android)-友盟推送SDK接入

注意:一开始想接友盟Unity的SDk,但是导入后缺少各种jar,所以最后还是接了android的,demo文档齐全 官方文档:开发者中心 按照官方文档对接即可, 接入流程 1、项目中com.android.tools.build:gradle配置&…

友盟推送学习

一、首次使用U_Push 1、首先注册友盟账号,进入工作台,选择产品U_Push。 2、创建应用 3、在自己的项目中自动集成SDK 开发环境要求: Android Studio 3.0以上 Android minSdkVersion: 14 Cradle: 4.4以上 在根目录build.gradle中添加mav…

Android 学习之如何集成友盟推送

我是利用Android studio 新建一个空的Android项目。 步骤一 导入第三方库 1.切换Android项目状态为Project状态 2.在main文件下新建 jniLibs文件夹(用来导入PushSDK项目下lib文件中的so文件) 3.在libs文件夹下添加友盟PuskSDK中的 jar 文件&#xff…

用PaddlePaddle(飞浆)实现车牌识别

项目描述:本次实践是一个多分类任务,需要将照片中的每个字符分别进行识别,完成车牌的识别 实践平台:百度AI实训平台-AI Studio、PaddlePaddle1.8.0 动态图 数据集介绍(自己去网上下载车牌识别数据集) 数据…

深度学习(五) CNN卷积神经网络

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 CNN卷积神经网络 前言一、CNN是什么?二、为什么要使用CNN?三、CNN的结构1.图片的结构2.卷积层1.感受野(Receptive Field)2.卷积…

CNN网络实现手写数字(MNIST)识别 代码分析

CNN网络实现手写数字(MNIST)识别 代码分析(自学用) Github代码源文件 本文是学习了使用Pytorch框架的CNN网络实现手写数字(MNIST)识别 #导入需要的包 import numpy as np //第三方库,用于进行科学计算 import torc…

Android删除chartty证书,C/C++知识点之android应用安全分析

本文主要向大家介绍了C/C知识点之android应用安全分析,通过具体的内容向大家展示,希望对大家学习C/C知识点有所帮助。 应用名 :OKEx(OKEx-android.apk) 包名 :com.okinc.okex MD5 :1ffbd328d13e91b661592cdf58516bd2 版…

代码编写过程 - 正确率折线图

获取绘图函数 首先,看到需要画acc和loss图。先去参考现成的,于是打开猫12分类,找到生成折线图的地方。 发现框内的两个函数绘制了折线图。既然是作为函数出现,说明已经有一定的封装,考虑能不能把整个函数搬走用。 由…