关于GAN的灵魂七问(2)

我们可能问「建模分布」到底是什么意思，会有一些 GAN 并不能学习到的分布吗?会不会有一些 GAN 理论上能学习的分布，但是在给定合理的计算资源下它学习的效率并不高?对于 GAN 来说，这些问题的答案和其他模型给出的会不会存在差别，现在很多都远没有解决。

Augustus 认为我们有两种策略来回答这些问题：

• 合成数据集：我们可以研究合成数据集来探讨到底哪些特征会影响数据集的可学习性。例如在论文《Are GANs Created Equal? A Large-Scale Study》中，研究者就创建了一个合成三角形的数据集。
• 修正现有的理论结果：我们可以利用现有的理论结果，并尝试修改假设以考虑数据集的不同属性。

除了图像合成外，GAN 还能用于哪些地方?

除了图像到图像的转换和领域的自适应等应用外，大多数 GAN 的成功应用都在图像合成中。而 GAN 在图像外的探索主要分为三个领域：

• 文本：文本的离散属性使其很难应用 GAN。因为 GAN 会依赖判别器的梯度信号，且它会通过生成内容反向传播给生成器，所以离散的字符难以更新。目前有两种方法解决这个困难，第一种是令 GAN 只对离散数据的连续表征起作用，第二种则是用梯度估计和实际离散的模型来训练 GAN。
• 结构化数据：GAN 能用于其它非欧氏空间的结构化数据(例如图)吗?这类数据的研究被称为几何深度学习。GAN 在这个领域的进展也不是非常显著，但其它深度学习方法取得的进步也比较有限，因此很难说是 GAN 自身的问题。
• 音频：音频是 GAN 除了图像外最成功的领域，将 GAN 应用于无监督音频合成是第一次严格的尝试，研究人员对各种实际音频操作做出了特殊的限制。

除了这些领域的尝试，图像一直是应用 GAN 最简单的领域，这就会引起一些问题：

我们最终希望 GAN 能在其它连续数据上获得类似图像合成方面的成功，但它需要更好的隐式先验知识。寻找这些先验可能需要仔细思考到底哪些特征才是有意义的，并且领域中的哪些特征是可计算的。

对于结构化数据或离散数据，我们暂时还没有比较好的解决方案。一种方法可能是令生成器和判别器都采用强化学习的智能体，并以 RL 的方式进行训练。但这样又需要大量计算资源，这个问题可能还是需要基础研究的进展。

我们该如何评估 GAN 的好坏，什么时候又该使用 GAN 这种生成模型?

说到评估 GAN，目前有很多方法，但是并没有一种统一的度量方法：

• Inception Score 和 FID：这两个分数都使用预训练的图像分类器，都存在已知问题。常见的批评是这些分数测量「样本质量」而没有真正捕获「样本多样性」。
• MS-SSIM：可以使用 MS-SSIM 单独评估多样性，但该技术也存在一些问题，并没有真正流行起来。
• AIS：它建议在 GAN 的输出上应用高斯观测值模型(Gaussian observation)，并使用退火重要性采样来评估该模型下的对数似然。但事实证明，当 GAN 生成器也是流模型时，这种计算方式并不准确。
• 几何分数：这种方法建议计算生成数据流形的几何属性，并将这些属性与真实数据进行比较。
• 精度和召回率：该方法尝试计算 GAN 的精度和召回率。
• 技能评级：该方法以证明，训练好的 GAN 判别器能够包含用来评估的有用信息。

这些还只是一小部分 GAN 评估方案。虽然 Inception Score 和 FID 相对比较流行，但 GAN 评估显然还不是一个确定性问题。最终，我们认为关于如何评估 GAN 的困惑源于何时使用 GAN。因此，我们将这两个问题合二为一：

我们应该用 GAN 来做什么?如果你想要真正的密集型模型，GAN 可能不是最好的选择。已有实验表明，GAN 学习了目标数据集的「low support」表征，这意味着 GAN(隐式地)将测试集的大部分分配为零似然度。

我们没有太担心这一点，而是将 GAN 研究的重点放在支撑集没问题甚至有帮助的任务上。GAN 可能很适合感知性的任务，如图像合成、图像转换、图像修复和属性操作等图形应用。

最后，虽然花费巨大，但也可以通过人力进行评估，这使得我们可以测量那些真正在乎的东西。通过建模预测人类答案，可以减少这种方法的成本。

如何扩展训练 GAN 的批量大小?

大的 minibatch 已经帮助扩展了图像分类任务——这些 minibatch 能帮助我们扩展 GAN 吗?对于有效地使用高度并行硬件加速器，大的 minibatch 可能非常重要。

乍一看，答案好像是肯定的——毕竟，多数 GAN 中的判别器只是个图像分类器而已。如果梯度噪声成为瓶颈，大的批量可以加速训练。然而，GAN 有一个分类器没有的独特瓶颈：训练步骤可能存在差异。因此，我们提出以下问题：

有证据表明，提高 minibatch 大小可以改进量化结果并减少训练时间。如果这一现象是鲁棒的，说明梯度噪声是非常重要的一个因素。然而，这一结论还没有得到系统性的验证，因此我们相信这一问题还有待解答。

交替训练步骤能否更好地利用大批量?理论上来看，最优传输 GAN 比一般 GAN 具有更好的收敛性，但需要一个大的批量，因为这种 GAN 需要对齐样本和训练数据批量。因此，最优传输 GAN 似乎是扩展到非常大的批量的潜在候选方法。

最后，异步 SGD 可以成为利用新硬件的不错备选项。在这种设定下，限制因素往往是：梯度更新是在参数的「陈旧」副本上计算的。但 GAN 实际上似乎是从在过去参数快照(snapshots)上进行的训练中获益，所以我们可能会问，异步 SGD 是否以一种特殊的方式与 GAN 训练交互。

GAN 和对抗样本之间有什么关系?

众所周知，对抗样本是图像分类任务需要克服的一大难题：人类难以察觉的干扰可以导致分类器给出错误的输出。我们还知道，有些分类问题通常可以有效学习，但鲁棒地学习却极其困难。

（编辑：ASP站长网）