- DeepWarp 是一个网站,来自一位俄罗斯艺术家。
- 这个项目旨在给所有图片中的眼睛加上特效,让眼珠动起来。
- 水准还不是非常稳定,有时候……还挺恐怖的。
你大概还记得那个把涂鸦变成照片的网站 pix2pix,它学习了数千只猫的颜色和纹路,之后又接受了人像训练,能做到把任何手绘的 2D 图像变成类似实景的照片,只是效果有点诡异。
俄罗斯艺术家 Branislav Ulicny 受到了启发,最近做了一个同样折腾人像图片的工具 DeepWarp。在这个网站上,导入的图片会变成动态视频,达成的效果是,图中的眼睛会变成咕噜咕噜转动的眼珠。
做到这点的第一步,算法要识别出眼睛在哪里,以及眼睛到底是不是眼睛。我们试了一下发现,这个部分的结果比预期中的范围小,但一旦识别成功,效果还是挺有趣的。
DeepWarp 可以准确识别面部清晰的人像,并让眼睛动起来。动态的部分不仅仅是眼球,其实包括眼睫毛、眼线、双眼皮的周边细节都可以跟随眼睛的变化而变化。
最终算法生成一段视频供你下载,另外眼睛的动作有四种可选,眼珠可以转动、上下动、左右动、两只眼以不同的方向动……原本严肃的照片变得莫名好笑。
效果的好坏也取决于图像的清晰程度。如果眼睛的部分不够清晰或者太小,整个效果也会诡异又可怕。
一旦眼睛的部分有遮挡比如头发、手指或者眼镜框,算法也会显示识别错误无法生成视频。多个人物出现在画面里,它只能让其中一个人的眼睛动起来(比如图片里的 Katy Perry 和 Howard)。像是卡通、猫猫狗狗的图片它也无法加上特效。
DeepWarp 背后的技术和 pix2pix 是同一套,名叫“生成对抗式网络”(GAN),这是一种用图片转录图片的人工智能技术。两个神经网络相互对抗,生成器(Generator)随机生成一张图片,鉴别器(Discriminator)则要判断生成的图片和真实的样本孰真孰假。二者相互博弈,砥砺相长,最终 pix2pix 用人工智能学会了生成仿真照片,DeepWarp 用照片合成视频。
DeepWarp 是一个开放的网站,它正在学习用户上传的各种图片,你也可以去试试。
题图由 DeepWarp 生成