- Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks,即用PSGAN生成高分辨率的全身动画。据了解,DeNA的业务涵盖社交游戏、电子商务等领域,此前公司推出的手游《忍者天下》也在中国市场取得了骄人的成绩。昔日忍者化身换装暖暖,DeNA想用GAN做些什么呢?
摘要
本文提出了一种渐进结构—条件生成对抗网络(PSGAN),它是一个能基于姿态信息生成全身的高分辨率图像的新框架。
近年来,许多人都研究过用深度生成模型自动生成图像和视频,这项技术对媒体创建工具来说很有帮助,它可以被用来进行图片编辑、动画制作甚至是电影制作。
就动漫产业角度看,一个能自动生成动画角色的神经网络不仅能为创作者带来诸多灵感,它还能为整个产业节省作画上巨额开支。现在我们已经有了能生成人物脸部图像的GAN,但还没有能生成角色全身图的工具。而且就这些生成脸部图像的神经网络来说,它们的图像质量还达不到工业级作画标准。
因此,开发一个既能生成全身图像,又能生成高质量姿态的GAN将对制作新角色、绘制新动漫大有裨益。但达成这个目标还有两大难点:(1)生成高分辨率图像;(2)用特定的姿态序列生成图像。
为了解决上述问题,我们引入PSGAN,它能根据结构信息,在训练过程中逐步提高生成图像的分辨率,以此细化图像在结构上的细节特征,如生成对象的全身图。同时,我们也在网络上添加了任意的潜在变量和结构条件,让它能基于目标姿势序列生成多样化和可控制的动作视频。