一种基于多任务学习模型的ai换脸视频检测方法 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利(10)授权公告号(45)授权公告日(21)申请号202010844086.1(22)申请日2020.08.20(65)同一申请的已公布的文献号申请公布号cn111950497(43)申请公布日2020.11.17(73)专利权人重庆邮电大学地址400065重庆市南岸区南山街道崇文(74)专利代理机构重庆市恒信知识产权代理有限公司50102专利代理师陈栋梁(51)int.cl.g06v20/40(2022.01)g06v10/774(2022.01)g06k9/62(2022.01)g06n3/08(2006.01)g06v40/16(2022.01)g06v10/82(2022.01)g06v10/26(2022.01)(56)对比文件cn111353395a,2020.06.30cn111353392a,2020.06.30cn109102462a,2018.12.28cn111476727a,2020.07.31cn111368764a,2020.07.03us2019005305a1,2019.01.03us10552977b1,2020.02.04陈鹏等.融合全局时序和局部空间特征的伪造人脸视频检测方法.《信息安全学报》.2020,全《中国优秀硕士学位论文全文数据库信息科技辑》.2020,全文.davidecozzolino等.efficientdense-fieldcopy–moveforgerydetection.ieeetransactionsinformationforensicssecurity》.2015,全文.审查员(54)发明名称一种基于多任务学习模型的ai换脸视频检测方法(57)摘要本发明请求保护一种基于多任务学习模型的ai换脸视频检测方法，属于计算机视觉与深度学习领域，包括以下步骤：预先训练基于多任务学习的模型来检测被修改的换脸视频，并为每个查询定位修改的区域，此模型为自动编码器包括一个y型自动解码器。利用半监督学习方法来提高网络的生成性，利用多任务之前共享有价值的信息，减少激活损失函数、分割损失函数和重建损失函数的总和，并使用优化器进行优化，进而提高性能。对于视频输入检测，对所有帧的概率进行求平均，得出输入为真或假的概率。本发明有利提高ai换脸视频检测。权利要求书2页说明书4页附图2页cn1119504971.一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，包括以下步骤：s1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；s2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征提取模型为一个自动编码器，自动编码器带有一个y型解码器，y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能，y型解码器以半监督的方式训练；s3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提取，将预处理后的视频放入步骤s2训练好的特征模型进行分类和细分；s4:到最后的激活层输出视频每帧篡改概率以及与输入视频每帧相对应的分割图，对视频每帧篡改概率进行求平均，最后得出输入是否为虚假视频；所述自动编码器可以在分类、分段和重建过程共享有价值信息，从而减少损失来提高性能，具体的损失函数如下：激活损失函数：其中n是样本数，a表示激活潜在特征；分割损失函数：其中n是样本数，s为真实部分；重建损失函数：其中n是样本数，表示重建图像，x表示原来图像；总损失函数：rec表示lactrec的权重，这个三个权重相等且等于1，l为总损失，为三个损失的加权总和，通过调整总损失函数，提高整体性能。2.根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，所述步骤s1中用于虚假视频生成的算法选用deepfake、face2face和faceswap在内的相关开源算法。3.根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，在步骤s1中用于训练的虚假视频为3000个，未修改的视频为1000个，其中每个数据集分为720个视频用于训练，140个视频用于验证，140个用于测试，每个训练视频只用200帧来训练，验证和测试视频采用10帧用于验证和测试，并裁剪面部区域。4.根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，其特征在cn111950497于，所述步骤s3还使用滑动窗口方法来分割脸部区域。5.根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，所述步骤s3进行分类和细分，具体步骤包括：所述的多任务学习模型的训练方式为利用真是视频提取的样本与随机参数输入至deepfake、faceswap和face2face模型中生成模型提取的样本进行对比学习，所述样本分割人脸区域，由多任务学习模型识别出虚假人脸区域眨眼不自然表情拼接，对真假视频进行分类，从而定义损失函数。cn111950497一种基于多任务学习模型的ai换脸视频检测方法技术领域[0001]本发明属于计算机视觉与深度学习领域，具体涉及一种基于计算机与深度学习算法的虚假视频检测方法，用于快速准确判定虚假生成的视频文件以及定位视频篡改部位。背景技术[0002]伴随着深度学习的发展，ai换脸技术越来越多，技术也越来越成熟，ai换脸的效果也越来越好，伴随着ai换脸这项技术的发展，也带来不少的负面影响。随着市面上ai换脸软件的泛滥，越来越多的人利用一部手机和一些照片就能合成虚假的视频，对社会产生了严重的影响，因此需要对视频的真实性进行鉴别。[0003]目前公开的ai换脸视频检测中，仅仅是从单一的特征去检测，例如基于眨眼的，基于嘴型的，基于皮肤边缘的，导致检测性能不佳。计算过程中，大多数检测方法把整个图像考虑计算，大大增加计算费用，从而不能高效并准确检测换脸视频。[0004]本发明主要提出一种利用多任务学习模型解决了ai换脸视频检测不能高效并且准确的问题。发明内容[0005]本发明旨在解决以上现有技术的问题。提出了一种基于多任务学习模型的ai换脸视频检测方法。本发明的技术方案如下：[0006]一种基于多任务学习模型的ai换脸视频检测方法，其包括以下步骤：[0007]s1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；[0008]s2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征模型为一个自动编码器，自动编码器带有一个y型解码器，y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能。y型解码器以半监督的方式训练；[0009]s3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提 取，将预处理后的视频放入步骤s2训练好的特征模型进行分类和细分； [0010] s4:到最后的激活层输出视频每帧篡改概率以及与该输入视频每帧相对应的分割 图，对视频每帧篡改概率进行求平均，最后得出输入是否为虚假视频。 [0011] 进一步的，所述步骤s1中用于虚假视频生成的算法选用deepfake、face2face和 faceswap在内的相关开源算法。 [0012] 进一步的，在步骤s1中用于训练的虚假视频为3000个，未修改的视频为1000个，其 中每个数据集分为720个视频用于训练，140个视频用于验证，140个用于测试，每个训练视 频只用200帧来训练，验证和测试视频采用10帧用于验证和测试，并裁剪面部区域。 [0013] 进一步的，所述自动编码器可以在分类、分段和重建过程共享有价值信息，从而减 少损失来提高性能，具体的损失函数如下： cn111950497 [0014]激活损失函数： [0015] [0016] 其中n是样本数，a 表示激活潜在特征。[0017] 分割损失函数： [0018] [0019] 其中n是样本数，s 为真实部分；[0020] 重建损失函数： [0021] [0022] 其中n是样本数， 表示重建图像，x 表示原来图像；[0023] 总损失函数： [0024] rec[0025] rec表示l act rec的权重，这个三个权重相等(等于1)，l为总损失，为 三个损失的加权总和，通过调整总损失函数，提高整体性能。 [0026] 进一步的，所述步骤s3还使用滑动窗口方法来分割脸部区域。 [0027] 进一步的，所述步骤s3进行分类和细分，得出脸部区域和每帧篡改概率，具体步骤 包括： [0028] 所述的多任务学习模型的训练方式为利用真是视频提取的样本与随机参数输入 至deepfake、faceswap和face2face模型中生成模型提取的样本进行对比学习，所述样本分 割人脸区域，由多任务学习模型识别出虚假人脸区域眨眼不自然表情拼接，对真假视频进 行分类，从而定义损失函数。 [0029] 本发明的优点及有益效果如下： [0030] 本发明的创新主要是设计了一种多任务学习模型去检测ai换脸视频，通过执行一 项任务获得信息的信息与另一项任务共享，从而增强了这两项任务的性能，相比以往的检 测模型，单独去使用一个标准检测，计算费用减少并且准确率有所提高。 附图说明 [0031] 图1是本发明提供优选实施例一种基于多任务学习模型的换脸模型检测方法网络 概述图； [0032] 图2为本发明的带有y型解码器的自动编码器网络结构图。 具体实施方式 [0033] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详 细地描述。所描述的实施例仅仅是本发明的一部分实施例。 [0034] 本发明解决上述技术问题的技术方案是： cn111950497 [0035]如图1所示，预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和 未修改的视频，其中分为训练集、验证集和测试集； [0036] 所述用于虚假视频生成的算法为deepfake、face2face和faceswap相关开源算法， 数据集来自开源的faceforensics和faceforensics ，所述用于的虚假视频为3000个，未 修改的视频为1000个，其中每个数据集分为720个视频用于训练，140个视频用于验证，140 个用于测试，每个训练视频只用200帧来训练，验证和测试视频采用10帧用于验证和测试， 并裁剪面部区域，减少计算费用。。 [0037] 如图1所示，所述检测网络概述，视频输入，再将输入视频进行预处理，预处理包括 对图像脸部进行提取。再将预处理的放入预先训练好的多人学习模型，进行分类和细分，得 出脸部区域和每帧篡改概率，对每帧的篡改概率汇总得出视频是否为ai换脸视频。 [0038] 预先训练特征提取模型，再将训练好的特征提取模型保存； [0039] 如图2所示，设计了一个自动编码器，带有一个y型解码器，用于检测和分割操作面 部图像，带有y型解码器的自动编码器。将编码特征的激活用于分类。到最后的激活层输出