Deepfake配音可以帮助翻译电影和电视而不会失去演员的原创表演

导读将电视节目和电影字幕或配音为一种新语言时,翻译中究竟会丢失什么?这是一个很难回答的问题,但是对于AI初创公司Flawless的团队来说,这也

将电视节目和电影字幕或配音为一种新语言时,翻译中究竟会丢失什么?这是一个很难回答的问题,但是对于AI初创公司Flawless的团队来说,这也许是我们将来不必考虑的问题。该公司声称它已经解决了这种特殊的语言障碍。一项技术创新可以帮助电视节目和电影毫不费力地打入全球新市场:deepfake配音。

我们经常将“深造假”视为操纵一个人或一个场景的整个图像,但是“无瑕”的技术只关注一个元素:嘴巴。客户向公司的软件提供电影或电视节目中的视频以及人类录制的配音对话。完美无瑕的机器学习模型然后创建与翻译的语音相匹配的新嘴唇动作,并将其自动粘贴到演员的头部。

“当人们观看这段配音的录像时,他们不会因为刺耳的字眼或错误的嘴巴动作而跳出表演,” Flawless的联合创始人尼克·莱恩斯(Nick Lynes)告诉The Verge。“这一切都是为了保留性能并保留原始样式。”

尽管有公司的名字,结果并不是100%完美无缺,但它们是相当不错的。您可以在下面的演示卷轴上看到并听到它们的外观,该演示卷轴上有杰克·尼科尔森(Jack Nicholson)和汤姆·克鲁斯(Tom Cruise)主演的1992年经典法律电视剧《少有好人》的法国配音。我们问了一位讲法语的母语人士,他们对这部影片的处理方式是什么,他们说它在几个地方都没用过,但比传统配音要流畅得多。

使无瑕的技术特别有趣的是它的规模潜力。完美无瑕的音调是,deepfake配音提供了物超所值的价格:它们便宜且可快速创建,尤其是与完整翻拍的成本相比。而且,随着Netflix,Disney Plus和Amazon Prime Video等全球流媒体平台的到来,这种被配音的内容进入国际市场比以往任何时候都更加容易。

正如《华尔街日报》 最近的一篇报道所强调的那样,欧洲对流媒体服务的需求已经饱和,并且公司现在正在海外寻求未来的增长。例如,在2021年第一季度,Netflix新用户中有89%来自欧洲和加拿大以外的地区,而该服务最受欢迎的节目《羽扇豆》是一部巴黎惊悚片。

负责公司国际制作的前Netflix高管埃里克·巴马克(Erik Barmack)告诉《华尔街日报》:“随着越来越多的流媒体意识到,随着时间的流逝,他们的绝大多数消费者都将在欧洲以外,这是您所看到的。” “问题是,您的内容要取得成功需要如何国际化。”

正如Barmack所建议的那样,有多种方法可以满足这一需求。您可以制作具有当地风味的节目,仍然可以吸引国内观众。您可以为新的受众群体翻拍当地的热门歌曲。您可以推出潜艇和配音。但Flawless押注,其技术提供了一种新的选择,这将对电影制片人特别有吸引力。

Lynes说,这是因为公司的Deepfake配音在某种程度上保留了原演员的表演。Flawless的技术基于马克斯·普朗克信息研究所于2019年首次发表的研究。正如您在下面的展示视频中看到的那样,配音产生的配音对表演者的面部表情有些敏感,保留了他们的情感和线条。

免责声明:本文由用户上传,如有侵权请联系删除!