ZAO用一张照片生成视频,用它却可生成一个3D模型


自从8月30日晚间以来,一款名叫“ZAO”的AI换脸APP风靡朋友圈,用户无需PS,只需一张自拍,即可将本人脸部无痕换到明星头上,生成同款视频或者表情包。无论是视频还是表情包素材,模板众多,包括国内外热门综艺节目、明星、影视剧片段、经典桥段等。但随着朋友圈“换脸”刷屏,随之而来的质疑声也大了起来。

关于换脸技术

其实已经出现好几年了,而且日渐成熟。2014 年谷歌就发布了 GAN (生成对抗网络)。2017 年,有人就换过盖尔·加朵等好莱坞明星的脸,效果极佳。换在情色影片里,也容易理解,毕竟这是最有想象空间的场景。

后来作者把技术开源(称为 Deepfakes),让普通人也有能力做这类模型。不过这种应用且不说在国内,哪怕在海外也会由于肖像权和各种伦理问题,不会完全开放的。

一张图还能做什么

相信大家在各大媒体或者公众号都了解过ZAO都各种隐私风险,这里不再论述。但ZAO用一张图生成一段视频,这的确值得深入探讨。因为一般用户不会像专业视频工作者,有不同机位,不同素材进行是视频合成,然后一张图的确让用户的体验成本降到最低,形成巨大的推广效果。

如果用一张图片,3D打印圈怎么玩

几年前已经有不同客户问我,能否给你一张图,然后帮我3D打印出来,当时我坚定地回答“不可能”,你必须通过扫描或者建模,才难还原一个人像模型。但到了今天,有了人工智能,答案确不一样了。

用AI脑补生成一个脸部模型

早在2017年,就有人通过一张照片生成一个脸部3D模型,而且作者还把这个功能做到他到网站,可供大家一试。先看看扎克伯格照片做出来的效,文章最后给出链接。

中国人到照片可以生成模型吗?

有人说,这玩意是西方人做出来到,东方人生成到模型就没那么像了。那我们马上动手试试用一个东方人到面孔试试。为了避免我被人告我侵犯肖像权,我特意请来已故的美女邓丽君小姐,真是有怪莫怪!

(照片来源于网络,如有侵权,请联系删除)

我们把图片导入到网站,如果没人玩就不用排队,排队也不需要很长时间,导入照片后等待大概一两分钟,结果就出来了。

把模型导出,发现其实头像到质量是比较粗糙的,因为AI程序会先把图片像素缩小到一定程度,然后生成模型,下面左图就是下载后到模型。右图是我做了简单加工的模型。你会看到下图左边有明显到切片效果或者体素化了。

(补充:生成的模型是有两个正反法线方向模型组成(我也无法解释),总之在处理前,需要先用MeshMixer的Separate Shell功能分离出正法线方向的模型。)

用Meshmixer去掉颜色层查看,你会发现对比更明显。

用MeshLab快速美化模型

第一步,打开模型,全选,使用平滑滤镜去除体素化,Filter-> Smoothing, Fairing and Deformation -> Laplacian Smooth, 参数如下

第二步,脸变滑了,但阴影黑斑还在,然后用模糊工具把阴影淡化,具体参数如下。

一点一点,把脸部逐渐美白起来。

总结

在AI的帮助下,以前看似不可能的转换,现在都能实现了。有了这个一图建模方法,是否能够打开一片新的商业模式?嗯嗯,拭目以待!

最后,图片转模型的网址在这里, https://cvl-demos.cs.nott.ac.uk/vrn/