7亿投资的郑爽未播剧该如何拯救?AI换脸给出答案
商业

7亿投资的郑爽未播剧该如何拯救?AI换脸给出答案

2021年02月07日 10:48:03
来源:创氪网

(以上为封面图)

导语: 欢迎来到AI看脸的时代

郑爽代孕事件,作为今年内娱的天字一号大瓜,现在已经基本尘埃落定。

官方正式定调:“不会为丑闻劣迹者提供发声露脸的机会和平台”,这意味着广电总局向郑爽开出了正式的“封杀令”。

目前,那些和郑爽签约的合作方已经纷纷撤下和她相关的宣传内容,刚刚官宣了郑爽成为代言人的Prada,只能任由眼泪Prada、Prada地往下流……

这些郑爽代言的宣传可以撤下,那些有郑爽参演的影视剧,可该怎么办?据统计,郑爽的丑闻风波还牵连到超11家影视公司、12家品牌方,包括4部待播电视剧《翡翠恋人》、《只问今生恋沧溟》(原名《倩女幽魂》)、《绝密者》、《刘老根4》,1部待播献礼片电影《1921》和1部在播综艺《追光吧!哥哥》。

郑爽客串的影视剧目暂且不提,由她主演的三部未播电视剧《翡翠恋人》《绝密者》《只问今生恋沧溟》,据保守估计,累计投资金额加起来超过7亿元。无数主创人员的辛勤付出可能因此打了水漂。

倒霉作品的自救:用AI换脸切割“劣迹艺人”

如何拯救被劣迹艺人牵连的倒霉作品?通常剧作方或节目组会采用删减镜头、打马赛克、换人重拍、换脸等多种手法,和劣迹艺人彻底切割干净。

对于非主要演员,删减镜头是此前最常用的方式,比如《小时代4》中剪掉了柯震东的全部正面清晰镜头,但对于绝对主演来说,这一方式对剧情的改动过大,影响观感,一旦涉及演员镜头过多,很难完全删减根除,最终只能被迫下架。

选择换人重拍最能保证效果,但无疑增加了巨大的时间和经济成本,比如此前《捉妖记》找到井柏然去重拍柯震东的戏份,成本就追加了7000万。

基于上述的问题,AI换脸的方案在近些年开始被更多地考虑。以郑爽的电视剧《美人私房菜》中的片段为例,孵化自清华大学人工智能研究院的AI企业瑞莱智慧RealAI团队近期展示了一段利用AI深伪合成技术为郑爽换脸的效果视频。

在视频片段中,郑爽的脸被替换成了两位素人的脸,整段视频已经完全看不到郑爽的影子,两个目标人物的面部特征完全被替换到郑爽的脸上,就连一颗痣也没有放过。看过的人纷纷表示,换脸视频毫无违和感!当然,如果剧作方能找到替代演员,剧中郑爽的脸可以被替换成杨幂、赵丽颖等任意女演员的脸。

为影视剧人物换脸,深度合成技术已做好准备

在以前,传统影视剧后期制作中通常利用CG技术来实现面部的替换。CG技术首先对换脸后的人物(最终出现在荧幕上的人物)进行细致的扫描,建立他面部的数字模型。之后在真实拍摄时,要求“替身”演员佩戴动捕装置进行拍摄。最终将捕捉到的“替身”演员的动作映射到荧幕演员的数字模型上,至此完成面部替换。

不难发现,CG技术通常是基于有计划的、在拍摄环节就开始筹备的人物换脸,投入非常之大,对于事后补救类的换脸需求无能为力。同时,CG技术的制作成本高昂。据报道,CG技术特效换脸每分钟的价格在10w左右,最低市场报价也会在5~6w。据报道,《速度与激情7》中仅利用CG技术“复活”保罗部分的花费就高达5000w美元。

而利用AI深度合成的技术进行面部替换,成本会大幅降低。RealAI团队介绍,AI深度合成的最主要投入在于算法开发环节,算法开发完成后,由机器学习自动实现面部替换,不需要大量人工处理。据估计,一部30集左右的影视剧通过AI深度合成技术换脸,制作周期仅需1~2周,提高制作效率的同时,将大幅降低制作投入成本。

RealAI团队还创新性地提出了将人类知识先验和模型正则化引导学习跨域语义空间的方法,提升生成视频的逼真度,保证在强日光、夜间等复杂场景中的稳定换脸效果。如下面两个换脸片段,换脸效果均达到了影视级别的应用效果。

《太阳的后裔》换脸片段:强日光场景

《太阳的后裔》换脸片段:夜间场景

除了面部替换外,RealAI团队表示,表情操纵、人脸属性编辑、全脸合成等深度合成的技术,还被应用于影视剧本地化嘴型修改、虚拟IP打造等场景中。

表情操纵案例

全脸合成:你能看出上面这些照片AI生成的假脸吗?

换脸其实不神秘:AI如何实现一秒换脸剧中人?

根据瑞莱智慧RealAI团队介绍,AI换脸的背后主要采用的是依赖于深度学习技术开发的深度伪造内容生成算法,而深度学习技术具有准确表达复杂、高维、大规模数据,能够通过学习的方式自动提取特征的能力。

图: 深度伪造视频生成流程示例

AI换脸的通用方法主要包含三步:

1、图像采集与预处理

准备大量的A和B两个人物面部的图片数据集,包含两个人物的不同角度、不同光照、不同情绪等丰富场景的数据。对于换脸前的原始人物,可使用其需要换脸的影视作品中的图像。对于换脸后的人物,可在影棚中1个小时内完成标准化的图像采集流程。将以上的图像素材作为模型训练的准备。

2、自动编码器生成网络训练

将A和B的原始图像经过编码器编码,提取人脸图像的潜在特征,将高维图片降维得到向量表示。编码完成再通过解码器,将低维向量扩展到高维图片,重构A和B的人脸图像。模型训练环节,将预处理后的A和B的大量图像放入网络中进行训练,最终得到A和B人脸替换的自动编码器模型。训练完成后,两个解码器可以分别恢复A和B的人脸。

图:自动编码器结构原理示意图

3、图像生成

模型训练完成后,即可实现A和B互相换脸的效果。通过将模型中A和B的解码器互换,然后选取A的一张图像作为原始图像,在编码器编码完成后,基于解码器B进行解码,进而生成将A的脸换至B的身体上的视频。在此基础上,通过对图像融合技术的优化,消除多种融合不良的问题,完成高质量的人脸替换。

以上三步,就可以轻松完成AI换脸。不过,相信很多人看完都会有一种“高手教你画条龙,你却只会画彩虹”的感觉。但其实,具体的过程就交给算法专家,制作方只看效果就好了。

未来,无论是想避免五毛特效抠图,或者避免被删减成预告片般的剧集内容,低成本的AI换脸或许将成为影视公司应对劣迹艺人封杀的新一根“救命稻草”。