第三，GAN框架要求训练2个神经网络进行对抗，它们的目标往往不够稳定，倾向于产生伪影。为了避免漂移和产生更强的伪影，导致甄别更困难，我们需要限定鉴别器的接收区域为局部接收，而非整张图片接收，这导致每张图像都会产生多个局部对抗性损失。此外，我们还引入提高训练稳定性的方法，即通过使用精炼图像而非当前“精炼器网络”中的现有图像升级鉴别器。
1.1相关工作
GAN框架需要2个神经网络竞争损失，即生成器与鉴别器。其中，生成器网络的目标是在真实图像上绘制随机向量，而鉴别器网络的目标则是区分生成图像与真实图像。GAN网络是由古德弗罗（I. Goodfellow）等人首先引入的，它可以帮助生成逼真的视觉图像。自从那以来，GAN已经有了许多改进，并被投入到有趣的应用中。
（图2：SimGAN概观：我们利用“精炼器网络”提炼模拟器产生的输出图像，并最大限度地减少局部对抗性损失，并进行自正则化。对抗性损失可以欺骗鉴别器网络，从而令其将合成图像误认为真实图像。而自正则化则会最大限度减少合成图像与真实图像的差异，包括保留注释信息，并让精炼图像被用于训练机器学习模型。“精炼器网络”与鉴别器网络也会交替升级。）
王（X. Wang）与古普塔（A. Gupta）利用结构化GAN学习表面法线，然后将其与Style GAN相结合，以生成天然的室内场景。我们提议使用对抗性训练进行递归生成模型（recurrent generative model）训练。此外，最近推出的iGAN能够帮助用户以交互模式改变图像。刘（M.-Y. Liu）等人开发的CoGAN结合GAN可多模态联合分布图像，无需要求应对图像的元组，这有利于开发出联合发布解决方案。而陈（X. Chen）等人开发的InfoGAN是GAN信息理论的扩展，允许有意义的陈述学习。
恩杰尔·图泽尔（Oncel Tuzel）等人利用GAN解决人脸图像超高分辨率问题。李（C. Li）和王（M. Wand）提议Markovian GAN进行有效的纹理合成。洛特尔（W. Lotter）等人在LSTM网络中利用对抗性损失进行视觉序列预测。于（L. Yu）等人提议SeqGAN框架，利用GAN强化学习。许多近来的问题都显示出与生成模型领域相关的问题，比如PixelRNN可利用RNN的softmax损失预测像素顺序。生成网络侧重于使用随机噪声矢量生成图像，与我们的模型相比，其生成的图像没有任何标注信息，因此也无法用于训练机器学习模型。
许多努力都在探索使用合成数据进行各种预测任务，包括视线评估、RGB图像文本检测与分类、字体识别、对象检测、深度图像中手部姿态评估、RGB-D场景识别、城市场景语义分割以及人体姿态评估等。盖伊登（A. Gaidon）等人的研究表明，利用合成数据训练深度神经网络，可以提高其表现。我们的工作是对这些方法的补充，我们使用未标记真实数据提高了模拟器的真实性。
嘉宁（Y. Ganin）与莱姆皮茨基（V. Lempitsky）在数据域适应设置中利用合成数据，了解合成图像与真实图像域的变化过程中保持不变的特征。王（Z. Wang）等人利用合成和真实数据训练层叠卷积码自动编码器，以便了解其字体检测器ConvNet的低级表示形式。张（X. Zhang）等人学习多通道编码，以便减少真实数据与合成数据的域的转变。与经典域适应方法相反，它采用与特定的特征以便适应具体的预测任务，而我们可通过对抗性训练，弥合图像分布之间的差距。这种方法使我们能够生成非常逼真的图像，可以用于训练任何机器学习模型，并执行潜在的更多任务。
2“模拟+无监督”学习
模拟+无监督学习的目标是使用一组未标记的真实图像yi ∈ Y，学习可提炼合成图像X的refiner Rθ(x)，其中θ属于函数参数。让我们用X?表示精炼图像，然后会得出X?：θ= R（X）。在“模拟+无监督”学习中，最关键的要求就是精炼图像X?，以便于其看起来更像真实图像，同时保留来自模拟器的注释信息。为此，我们建议通过最大化减少两个损失的组合来学习：
