李安的动作科幻电影《双子杀手》里,政府特工亨利正准备退休,却发现被一个比自己年轻 23 岁的克隆体追杀。
为了达到这个效果,李安用动作捕捉特效精致还原人脸,让威尔·史密斯「返老还童」。某位拥有「完美的 23 岁皮肤」的年轻男子,也为克隆体贡献了自己的数据。
但「数字替身」完全可以更贪心,除了有不老的皮囊,还可以有不老的声音。
《星球大战》的达斯·维德(Darth Vader),因身心俱毁而堕入原力的黑暗面,在正传三部曲里为头号反派,也是星球大战系列中最具矛盾与悲剧色彩的人物。
2003 年,美国电影学会将达斯·维德列为百年来第三伟大的电影反派,仅次于《沉默的羔羊》的汉尼拔和《惊魂记》的诺曼·贝茨。
从 1977 年卢卡斯出品第一部《星球大战》以来,詹姆斯·厄尔·琼斯一直为达斯·维德配音,算到如今差不多贯穿了一个人的半生,他的声音也就成了角色的声音。
达斯·维德有力却略为低沉的嗓音,配上深重的呼吸声,令人脊背发凉。
但人类终将老去,琼斯今年已经 91 岁,该考虑结束配音生涯了,他决定将声音授权给乌克兰初创公司 Respeecher。
通过从前的录音和专有的 AI 算法,Respeecher 可以用旧的声音创建新的台词。
最新的成果,便是今年 6 月完结的星球大战衍生剧《欧比旺·克诺比》。
剧中,Respeecher 重现了琼斯几十年前的音色,而不是他在 2019 年《星球大战:天行者崛起》中因岁月而苍老的真实声线。
和 Respeecher 合作的卢卡斯影业声音监督编辑 Matthew Wood 表示,像达斯·维德这样的角色,50 条台词可能需要近 1 万多个文件来回切换,大部分工作都耗在对话的变化和微调上。
一个有趣的细节是,在达斯·维德出场的《欧比旺·克诺比》第 3 集,Respeecher 也被列入了演职员表。
这并不是 Respeecher 第一次和卢卡斯影业合作,它还为星球大战衍生剧《曼达洛人》和《波巴·费特之书》中年轻版的卢克·天行者「配音」。
星球大战三部曲在 1977 年至 1983 年上映,当时饰演卢克·天行者的马克·哈米尔,今年也已经 70 岁了。
《曼达洛人》第二季最后一集,不到 20 岁的卢克·天行者出场,形象是视觉效果公司 Lola VFX 用 Deepfake 和替身制作的,声音则由 Respeecher 负责「克隆」。
Respeecher 所做的是,输入数小时的高质量录音,用 AI 语音合成软件和音频超分辨率算法分析语音,直到系统具备「克隆」能力。
就像克隆羊需要 DNA,克隆声音也是有输入才有输出,录音的说话风格、起伏跌宕等细节都非常重要。
所以,这项工作仍然与人高度相关。「技术还不会创造表演」,没有过往的真人表演,那么 Respeecher 就束手无策。
从这个角度看,Respeecher 的 AI 如同搭乘时光机的发声装置——它重现了某人过去的某个特定时刻。
为了让年轻的天行者重现,Respeecher 收集了马克·哈米尔 1983 年前后的配音、采访、对白补录、无线电广播等资源。
这里还有一处难点:让近 40 年历史的数据听起来像是昨天刚录制好的。
最终,卢克·天行者只在两部衍生剧说了几行话。不过,无需以数量论短长,确保合成语音无法与原始语音区分,观众完全意识不到真实与否,才是 Respeecher 想要的结果。
这家成立于 2018 年的初创公司目标很简单:克隆不让人起疑的人类语音。
克隆名人声音,并不是第一次,也不会是最后一次。
2022 年上映的《壮志凌云:独行侠》是 1986 年《壮志凌云》的续集,片中「冰人」卡赞斯基再次被 62 岁的瓦尔·基尔默(Val Kilmer)搬上银幕。
但回归没有那么容易,从 2014 年接受喉癌治疗开始,基尔默永远失去了他的声音。
所以,《壮志凌云:独行侠》的剧本从基尔默的现实生活取材,「冰人」也患有癌症并通过打字交流,在片中只说了一句简短的台词。
而在现实生活中,基尔默的声音已经通过 AI「恢复」。2020 年,基尔默开始与 AI 语音公司 Sonantic 合作。
收到数小时的旧录像后,Sonantic 首先在不破坏语音内容的前提下去除背景噪音,再从音频中生成脚本,并将音频和文本一块块地配对,然后语音引擎用这些数据训练语音模型。
难点在于,基尔默提供的数据比他们以往的项目少了大约 10 倍。为此,Sonantic 研究了新的算法,最终生成了 40 多种不同的语音模型,把其中最好的一个交给基尔默。
有了自定义语音模型,基尔默和他的团队输入文本,选择合适的模式,调整音调、节奏等参数,就能实现逼真的交流。