StyleGAN2太好玩了!
什么萌妹子变脸奥巴马,什么美国总统一顿切换……
but,都是国外的有啥意思?来点接地气的!
童话里走出来的刘能叔,你见过吗?
最近,国外两个技术宅Justin Pinkney和Doron Adler开发了一种AI「神奇」,分分钟秒变「迪士尼脸」。假如你想知道自己在迪士尼动画里会是什么样子,只要在网站上上传一张照片就能解锁了。
于是,我们选择了刘能叔。
Toonify Yourself!两个生成器「捏造」迪士尼脸
StyleGAN2大家都不陌生,这个火爆的技术被称作「换脸神器」,是用真实人脸数据集训练而成,但对生成卡通人脸不太在行。
但开发者想到了一个把两个生成器「捏」在一起的好方法。
他们发现,低分辨率层影响的是头部姿势和脸型,高分辨率层控制的是光线和表面质感纹路之类。于是,他们从原始的人脸生成器上提取了高分辨率层;从用迪士尼图片调教过的生成器(用了300张迪士尼图像)上提取了低分辨率层,把它们捏合在一起。
让原始StyleGAN2生成了一堆真实人脸,让迪士尼版StyleGAN2生成了一堆卡通脸。就这样,用一对对的数据为AI提供训练素材。
训练完成之后,只要输入一张人脸照片,生成器就给出迪士尼脸了。
谁动了我的眼镜?
但是目前来说此生成器还不算完美。开发者们表示:该算法在无噪声的高分辨率图像上效果最好,直视镜头似乎也不错。
不过好多网友发现,生成后的图像似乎对眼镜不太友好,比如下面这张:
用男神的照片试试:
好像眼镜也很变形。
对此,开发小哥解释道,因为动画电影中戴眼镜的人物并不多,因此该模型一般会将它们的大部分移除。
训练一个pix2pixHD模型来对任意图像应用转换
该系统采用了深度学习的方法,它是基于蒸馏混合StyleGAN模型到一个pix2pixHD图像到图像转换网络。
最初的Toonification方法涉及到一个昂贵的优化过程,即使用混合的StyleGAN模型对人脸进行编码,这需要在GPU上运行几分钟。
显然,这并不能把它作为一个网络应用程序!
深度学习的一个常见模式是,用更多的神经网络取代代价高昂的优化。于是,他们使用了StyleGAN2精馏中描述的用于前馈图像处理的基本思想,即训练一个pix2pixHD模型来对任意图像应用转换,而不是首先执行优化步骤。
左:原始,中:优化,右:pix2pixHD
这里的新颖之处在于,用于训练过程的图像对是由原始FFHQ模型和混合模型生成的图像对。
虽然pix2pixHD模型只对两种StyleGAN模型生成的图像进行训练,但当训练完成后,所以应该能够将它应用到任何图像上,并得到相同的toonification结果
看!即使是油画脸也完全OK!
你想试试吗?
首先,在手机或相机上拍照,然后前往toonify.justinpinkney.com。
-通过页面顶部的网站上载器浏览照片。
-点击“ Toonify”按钮。
-不久之后,您的Toonified图片就会出现在原始图片的旁边。您可以单击它或将其拖离屏幕以保存它。
还瞅啥呢?赶紧试试啊!