参考：Pix2Pix视频解读

一、Pix2Pix是输入图片矩阵而不是标签向量

1、生成器方面        

        Pix2Pix与CGAN之间的联系：CGAN生成器输入的是一个label，而我们现在要做的是把这个lable换成一个图片，如下所示。这个图片是一个建筑物的模式图，但是没有刻画建筑物的细节。

 

         生成器通过噪声noise和模式图两个输入，最后生成一个建筑物的图：

 2、判别器方面

        判别器要做两个方面的事情，一个是判断这个图片是否是真实的建筑物图片，另一个是判断这个建筑物图片是否和模式图相匹配。

3、总体过程

        生成器吃进去一个噪声和一个模式图，生成一张建筑物图片，判别器对建筑物图片进行判别：一个是判断这个图片是否是真实的建筑物图片，另一个是判断这个建筑物图片是否和模式图相匹配。

 二、Auto-encoder（自动编码器）

         生成器使用了“U-Net”结构，也就是用到了编码器。

         深度encoder就是把层数加深，这样的话编码器就有很强的建模能力，能更好地去提取编码。其中Variational Auto Encoder就是给编码上加一些随机噪声，让编码器更加稳定。

         U-net把encoder接到了decoder上面，方便训练。

三、PatchGan

        判别器使用了卷积“PatchGAN”分类器（只在patch的规模下惩罚结构）。

        pix2pix就是一种更强的CGAN，PatchGAN输出的是一个矩阵，采用L1_loss（两张图片相减取绝对值）判别图片真实性。