当前所在位置:首页>客流资讯>客流行业报道

1021024*1024 分辨率,InsetGAN:惊艳!!!

时间:2022-04-18 小编:ETAG001 点击:4415

作者提出了一个无条件生成方法,通过使用一个或者多个预训练生成器网络生成人的全身图像。该方法的原理图如下所示,给定两个隐向量,将它们分别输入到预训练好的生成器中,并生成对应的图像

作者使用一组损失来描述优化过程中希望最小化的条件。右边给出了不同条件生成的图像,可以发现一开始直接将人脸图像复制粘贴操作会有粗糙的痕迹,而在优化的过程中生成的全身图像人脸部分和身体部分会无缝对接。

Full-Body GAN

在该论文中作者采用了当前最先进的StyleGAN2的网络结构,以前大多数全身人体图像生成或编辑工作都是在分辨率尺度下进行的,而作者首次尝试以的分辨率进行无条件生成工作。由于目标域的复杂性,单个生成器产生的结果有时会产生形状怪异的身体部位和非照片真实感的外观等瑕疵,再加之人类姿势和外观的巨大多样性以及相关的对齐困难,使得单个生成器更难学习。因此,需要多个生成器相互配合去生成全身人体图像。

Multi-GAN优化

为了提高Full-body GAN生成能力,作者先使用特定的生成器去生成身体特定部分区域的图像,然后再将生成结果插入粘贴到Full-body GAN 的生成结果中,这样可以更好地模拟人体的复杂外观和可塑性。

作者证明了使用从全身训练图像中裁剪的面部区域训练的Face GAN可以用于改善Full-body GAN结果的外观,所以可以利用在其他数据集上训练过的人脸生成器来进行人脸增强。类似地,也可以使用专门的手或脚生成器来改善身体的其他区域。如下图所示,作者表明在多重优化过程中可以同时使用多部分生成器。


分享: