2012年一部叫《刀剑神域》的日本动漫火遍了大半个世界,在这部动漫作品里主人公桐人借助着一款VR设备进入了虚幻世界与女主亚丝娜谈了一场跨越虚拟与现实界限的恋爱。
但试想假如没有一开始就扫描了所有玩家的真身这个前提的存在。那么第一次见面的时候他看到的亚丝娜形象也许是这样的(毕竟你哪知道对方会选什么形象)...
你觉得他们还能恋爱吗?
可是目前像Oculus Social、AltspaceVR、vTime这些已知的VR社交平台都存在一个通病——每个人都的化身都不怎么像人。
这种情况导致你在和对方交互的过程中根本不清楚这个人究竟是谁,就像这样:
近日,一家加州初创公司推出了一款智能 3D 模型软件 Loom.ai ,利用机器学习和计算机视觉技术,根据用户 2D 平面照片,生成 3D 头像。
值得一提的是,Loom.ai所生成的3D头像可以达到以假乱真的效果。
开发初衷
当问及为何会开发这样一项技术时,曾在卢卡斯电影公司,为《加勒比海盗》和《复仇者联盟》做特效的Loom.ai创始人Kiran Bhat 表示,我们认为需要把用户带入到(虚拟空间)体验之中。
员工头像全部采用3D建模
这意味着,要找到一种把普通用户像电影演员那样数字化的方式(但不能那么贵)。
于是,Kiran Bhat和视觉特效艺术家 Mahesh Ramasu bramanian开始了这项研究。由于使用人群定位为普通消费者,那么产品本身就不能和专业数字化设备一样既占空间又难于驾驭。
最终他们才有了将照片扫描技术和A.I技术合二为一的想法,研究之初他们给这一研究项目起了一个代号——Loom.ai。
功能
据该团队介绍,Loom.ai的核心技术是A.I.算法。通过提前录入的人体面部肌肉技术数据,Loom.ai可以找到2D图片中人物面部对应的肌肉组的位置。然后通过深度计算将原本看不到的部分还原出来。
该公司表示,Loom.ai能做到:
1、媲美 3D 扫描的的视觉保真度
2、头像是可动的,像动画人物一样
3、算法生成的 3A 级面部肌肉,自动契合不同脸型
4、头像可以通过嘴巴、眼睛、面部肌肉的活动做出各种表情,表现丰富的情感
5、去除照片光线。生成的头像可以融入各种光线环境,产生不同光照效果
值得注意的是,通过Loom.ai生成的3D头像的眼睛部位采用了该团队自主研发的高频段扫描建模技术,可以最大程度真实还原照片中眼睛的样貌。
俗话说眼睛是人类心灵的窗口,Loom.ai在人眼刻画方面的出色表现还是值得点赞的。另外, Loom.ai 不仅可以做高仿真的细节,还能让头像高度虚拟化,成为可爱的动漫人物。
应用前景
从公布的消息来看团队为用户提供了一个表情包,由Loom.ai生成的3D 头像目前可以表现伤心、快乐、愤怒和好奇这四种情绪。
用户可以通过 Sketchfab (一个 3D 模型的展示、分享网站)来查看生成的头像,并将其应用在相应的3D虚拟世界中的合成动画场景和交互动态。
除此之外,Kiran Bhat在采访中表示,目前Loom.ai 将许可给第三方公司使用,让他们把 3D 头像功能加入自己的VR平台。而且目前已经有不少平台在进行合作,比如Facebook。
在速途网看来,Loom.ai技术可以实现真人的3D建模,这对于游戏来说是十分重要的一环。众所周知,除了VR游戏之外像《第二人生》、《WOW 》和《九阴真经》这些社交类主机游戏里面的人物角色几乎也是一模一样的,如果能让玩家用自己的“真面目”游戏,也应该会更受欢迎吧?
《九阳真经》人物
利用3D扫描来重建高仿真3D人物模型早已不是什么新鲜事了,但是由于受到技术的限制这一技术迟迟未被应用在个人消费者的身上,毕竟这样的成本实在太高,而Loom.ai技术恰好打破了这一尴尬局面。