新浪科技讯 北京时间7月13日早间消息,研究人员开发了一种机器学习算法,可以将声音片段变成能口型一致的视频内容。
研究人员展示的这段视频显示了美国前总统巴拉克·奥巴马(Barack Obama)谈论恐怖主义等多个话题的场景,但这实际上却是使用现有的视频演讲人工生成的片段。
来自华盛顿大学的研究人员相信,该系统可以最终用于改进视频通话,甚至确定某段视频的真伪。
该系统对神经网络进行训练,使之学会观看人类讲话的视频,然后将音频文件转化成真实的口型。之后再将其嫁接到视频中的人脸上。为了实现这一目标,他们将该校图形实验室之前的研究成果,与最新的口型合成技术结合起来。
该技术还可以实现小幅时移,从而让神经网络预测说话者接下来所要表达的内容。该团队之所以选择奥巴马,是因为这套系统需要14小时的视频进行学习,而作为全世界上镜率最高的人之一,奥巴马显然是最佳人选。
“Skype或Messenger这样的视频聊天工具未来可以让任何人收集视频,然后对电脑进行训练。”华盛顿大学的伊拉·开梅尔马切-什利泽曼(Ira Kemelmacher-Shlizerman)说。
由于通过互联网传输音频所需的带宽远低于视频,所以这套新系统或许可以终结故障频频的视频聊天。
“当你使用Skype或Google Hangouts聊天时,会发现连接不太顺畅,分辨率也很低,这令人很不高兴,但音频往往很好。”该论文的联合作者、艾伦学院教授史蒂夫·赛茨(Steve Seitz)说,“所以,如果可以使用音频生成更高质量的视频,那就太好了。”
之前的音频转视频技术重点是录制多个人反复说同一句话的视频,然后尝试捕捉声音与不同口型之间的相关性。但这一过程成本高昂,而且非常耗时。
通过将这一过程调转过来——将视频提供给网络,而不仅仅是音频——该团队可能开发各种算法来判断一段视频的真伪。然而,这种神经网络目前只能一次学习一个人。
“你不能随便找个人就把它的声音转化成奥巴马的视频。”赛茨说,“我们对此非常谨慎,不希望从某个人嘴里说出其他人的话。我们只是把某人说过的话变成此人的视频。”
未来,该算法或许只需要使用1个小时的视频就能识别某人的声音和说话模式,而不必非要14小时的资料。(樵夫)