2014年,Ian Goodfellow和他的同事发表了一篇论文,向世界介绍了生成对抗网络(GAN)。通过对计算图和博弈论的创新性组合,他们表明如果有足够的建模能力,两个相互对抗的模型可以通过普通的反向传播进行共同训练。
模型具有两个不同的角色。给定数据集R,生成器G试图创建类似真实数据的假数据,鉴别器D分辨真实数据或假数据,并计算它们的差异。Goodfellow将G比喻为一群伪造者试图创作真实的绘画作品,而D则是试图分辨真假绘画的侦探团队。(除了这个例子,G从没有接触到真实的数据,只有鉴别器D可以看到。)
理想情况下,D和G都会越来越好,直到G可以完全模仿真实的绘画,并且D不能分辨真假。
在实践中,Goodfellow展示了G使用真实数据集进行无监督学习,找到某种简单的方式表示该数据。正如Yann LeCun所说,无监督学习才是人工智能真正的“蛋糕”。
这种方法是否需要很多代码才能实现?实际上使用PyTorch,我们可以只用50行代码就可以创建一个非常简单的GAN。一共需要考虑5个部分:
-
R:原始数据集
-
I:输入生成器的随机噪声
-
G:模仿原始数据集的生成器
-
D:辨别器
-
不断训练G去欺骗D,而D进行分辨。
1.)R:我们从最简单的R - 正态分布曲线开始。该函数输入均值和标准差,返回一个生成样本数据的函数,这些数据使用带参数的高斯函数生成的。我们的代码中平均值为4.0,标准差为1.25。
2.)I:生成器的输入是随机的,但是为了增加一点难度,我们使用均匀分布而不是正态分布。这意味着模型G不能简单地通过转换或缩放得到R,而是必须以非线性方法生成数据。
3.)G:生成器是标准的前向传播图,两个隐藏层,三个全连接层,双曲正切激活函数。G从I中输入均匀分布的数据样本,以某种方式模仿R的正态分布,即使它没有接触过R。
4.)D:鉴别器与生成器G的代码非常相似。它是有两个隐藏层,三个全连接层的前向图。激活函数是sigmoid。它从R或G获取数据,并输出0到1之间的数字,用来表示“真”或“假”。换句话说,这也是一般的神经网络做的事情。
5.)最后,不断在这两个模型之间交替训练:首先使用用真实的数据集训练D分辨真实数据和虚假数据, 然后训练G生成虚假数据欺骗D。
即使你之前没有接触过PyTorch也可以大概了解上面代码的运行过程。在绿色部分,通过向D输入真实或虚假的数据,并在D的预测结果和真实标签之间应用交叉熵函数。这是“前向传播”的步骤; 然后调用'backward()'函数计算梯度,调用 d_optimizer.step() 更新D的参数。这里用到了G但没有对它进行训练。
在红色部分,对G做同样的过程。注意我们将G的输出作为D的输入(给伪造者一个侦探进行练习),但不对D进行优化,因为不能让辨别器D学习错误的标签。因此我们只调用 g_optimizer.step()。
上面就是所有的过程。当然还有一些其他代码,但GAN主要就是这5个部分。
经过几千轮的迭代,鉴别器D能力提高的很快(相对来说G提高的比较慢),但是一旦到达某种程度,生成器G就会因为有一个相当优秀的对手并开始迅速的提高能力。
经过5,000轮的训练,每轮都训练了生成器G20次,鉴别器D20次。G输出的均值超过了4.0,但随后回到了正确的范围(左)并稳定下来。同样的,标准差刚开始在较低的位置徘徊,但随后上升到正确的1.25范围(右),和数据集R相同。
最终结果的统计数据和数据集R相匹配。但是分布的形状是否相同呢?毕竟,也有均值4.0,标准差为1.25,但与R不同的均匀分布。看一下G的最终分布:
挺好。右下比左下胖一点,可能偏态和峰度受到了原始数据的影响。
生成器G几乎完美还原了原始数据集R,并且辨别器D几乎无法分辨。这正是我们想要的结果。实现这个一共只有不到50行的代码。
提醒:GAN比较挑剔,而且比较脆弱。当它们进入了某种状态,可能会得到其他奇怪的结果。运行示例代码十次(每次超过5,000轮迭代)后得到了下面十个分布结果:
可以看到十次运行中有八次结果符合分布。但有两次不符合。其中一种情况(第5次运行)出现了凹面的分布,均值约为6.0。最后一次运行结果(第10次运行),在值 -11 处有一个狭窄的峰值!当你在其他环境中使用GAN时,它并不像有监督学习那样稳定。但是当它们正常工作时,它们的效果就非常好。