一种基于多任务学习模型的ai换脸视频检测方法 -pg电子娱乐平台

(19)国家知识产权局(12)发明专利(10)授权公告号(45)授权公告日(21)申请号202110624171.1(22)申请日2021.06.04(65)同一申请的已公布的文献号申请公布号cn113361395(43)申请公布日2021.09.07(73)专利权人中山大学地址510275广东省广州市新港西路135号(72)发明人(74)专利代理机构北京沃知思真知识产权代理有限公司11942专利代理师(51)int.cl.g06v20/40(2022.01)g06v10/774(2022.01)g06v40/16(2022.01)g06v10/26(2022.01)g06n3/08(2006.01)(56)对比文件wo2019169895a1,2019.09.12cn106023063a,2016.10.12张怡暄等.基于帧间差异的人脸篡改视频检测方法.《信息安全学报》.2020,(第02期),第54-77页.zekunsunetal.improvingdeepfakesdetectionthroughprecisegeometricfeatures.《https://arxiv/pdf/2104.04480.pdf》.2021,第1-10页.审查员(54)发明名称一种基于多任务学习模型的ai换脸视频检测方法(57)摘要本发明公开了一种基于多任务学习模型的ai换脸视频检测方法，属于计算机视觉与深度学习领域，该检测方法具体步骤如下：(1)用户上传待检测视频；(2)构建人脸图像伪造检测器；(3)对视频进行逐帧取图；(4)对提取出的图片进行图片筛选；(5)对剩余图片进行换脸检测；(6)将检测结果反馈给用户；本发明能够避免计算机感染病毒，降低用户信息被窃取的风险，保护用户财产安全，同时人脸图像伪造检测器可以不断进行更新学习，不断提高其工作效率，方便工作人员查看，防止工作人员手动记录出现误差，提高工作人员的工作效率。权利要求书2页说明书5页附图1页cn1133613951.一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，该检测方法具体步骤如下：（1）用户上传待检测视频：用户通过外部输入设备向计算机上传待检测视频，其中，外部输入设备具体为键盘、鼠标或触控屏中的一种，视频上传成功，用户将其放入检测软件；（2）构建人脸图像伪造检测器：检测软件接收到视频，并开始与互联网进行数据交互，并对其中换脸检测数据进行数据抓取，同时对抓取的数据进行安全检测，并开始构建人脸图像伪造检测器；（3）对视频进行逐帧取图：人脸图像伪造检测器开始自行扫描待检测视频，并对视频数量进行计算，同时进行检测排序，视频排序完成，人脸图像伪造检测器对视频进行逐帧取（4）对提取出的图片进行图片筛选：图片提取完成，开始构建图片筛选器，构建完成，图片筛选器开始与特征信息库进行数据交互，并开始对提取出的图片进行对比筛选；（5）对剩余图片进行换脸检测：对筛选后的图片进行伪造检测，并将检测结果分别录入xlsx工作表中，并在该xlsx工作表中标注检测时间；（6）将检测结果反馈给用户：将检测结果通过显示设备反馈给用户，同时用户可通过输入设备对xlsx工作表进行检索查看，并通过打印设备对其进行打印处理，其中，显示设备具体为crt显示屏、lcd显示屏或led显示屏，其中，打印设备具体为激光打印机、喷墨打印机或针式打印机；所述安全检测具体步骤如下：步骤一：从互联网上实时抓取faceforensics、face2face、faceswap以及deepfakes数据集，同时启动防火墙；步骤二：防火墙开始对各数据集中的数据进行检测，并对其中的病毒数据进行删除，同时将删除的病毒数据记录在云端病毒信息库中；步骤三：数据检测完成，将faceforensics、face2face、faceswap以及deepfakes数据集训练成当前最佳的人脸图像伪造检测器；所述检测排序具体步骤如下：第一步：开始收集用户上传的视频信息，并将其按照上传时间先后，进行排序；第二步：用户通过外部输入设备对视频进行排列调整，人脸图像伪造检测器开始依据用户调整信息对视频排列顺序进行更新；所述逐帧取图具体步骤如下：s1：将待检测的视频按照一帧进行视频分割处理，并将分割完成的片段分别标记为a1、a2、a3、…、an，其中，n为自然数，且n大小依次增加；s2：将a1～an转换为图片，并将其按照切割时间进行排序；所述对比筛选具体步骤如下：ss1：图片筛选器开始从特征信息库中提取人类特征信息，并将其处理生成对比数据；ss2：将a1～an分别与对比数据进行比对，并将其中不包含人类特征的图片删去，同时将经过筛选的图片分别标记为b1、b2、b3、…、bm，其中，m为自然数，且m大小依次增加；所述伪造检测具体步骤如下：p1：将b1～bm依次进行色彩空间转换，并开始对比转换前后边缘、纹理以及表面的差cn113361395p2：若低对比度边缘与高对比度边缘一样明亮，则开始对比纹理差异，若低对比度边缘与高对比度边缘的明亮度存在差异，则判断该视频为换脸视频；p3：若纹理细节较多的区域的着色高于光滑的表面，则开始对比表面差异，若纹理细节较多的区域的着色低于光滑的表面，则判断该视频为换脸视频；p4：若表面在转换前后着色都一致，则判断该视频非换脸视频，若表面在转换前后着色不一致，则判断该视频为换脸视频；p5：检测完成，将视频名称以及判断结果进行数据匹配，同时将匹配完成的数据有序的录入xlsx工作表中,并在该xlsx工作表中标注检测时间。2.根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，其特征在于，步骤（6）中所述检索查看具体步骤如下:pp1：使用者通过输入设备输入需要查找的初级时间段x；pp2：使用者输入初级时间段x后再次输入次级时间段x；pp3：使用者输入完初级时间段x和次级时间段x后，计算机即会将使用者需要的内容从xlsx工作表调出并通过显示设备显示出来。cn113361395一种基于多任务学习模型的ai换脸视频检测方法技术领域[0001]本发明涉及计算机视觉与深度学习领域，尤其涉及一种基于多任务学习模型的ai换脸视频检测方法。背景技术[0002]ai换脸就是通过ai人工智能技术，把别人的脸换成自己的脸，而且脸部表情自然，效果逼真，整个过程你只需要通过一张照片，然后用ai技术可以在zao软件上使用自己的照片替视剧或者小视频中的人物，从而生成以自己为主角的视频，伴随着深度学习的发展，ai换脸技术越来越多，技术也越来越成熟，ai换脸的效果也越来越好，伴随着ai换脸这项技术的发展，也带来不少的负面影响，比如，deepfakes展示了如何使用计算机图形学和视觉技术进行视频换脸，进而破坏别人的声誉，随着科技的不断发展，ai换脸技术逼真程度逐渐提高，有时人类都无法分辨真伪；因此，发明出一种基于多任务学习模型的ai换脸视频检测方法变得尤为重要； [0003] 经检索，中国专利号cn111950497a公开了一种基于多任务学习模型的ai换脸视频 检测方法，虽然该发明计算费用减少并且准确率有所提高，但在收集网络数据集时，对其并 不进行安全检测，会导致计算机感染病毒，容易导致用户信息被窃取，危害用户财产安全； 此外，现有的基于多任务学习模型的ai换脸视频检测方法无法将检测结果有效的反馈给用 户，容易导致用户记录错误，降低用户工作质量；为此，我们提出一种基于多任务学习模型 的ai换脸视频检测方法。 发明内容 [0004] 本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于多任务学习 模型的ai换脸视频检测方法。 [0005] 为了实现上述目的，本发明采用了如下技术方案： [0006] 一种基于多任务学习模型的ai换脸视频检测方法，该检测方法具体步骤如下： [0007] (1)用户上传待检测视频：用户通过外部输入设备向计算机上传待检测视频，其 中，外部输入设备具体为键盘、鼠标或触控屏中的一种，视频上传成功，用户将其放入检测 软件； [0008] (2)构建人脸图像伪造检测器：检测软件接收到视频，并开始与互联网进行数据交 互，并对其中换脸检测数据进行数据抓取，同时对抓取的数据进行安全检测，并开始构建人 脸图像伪造检测器； [0009] (3)对视频进行逐帧取图：人脸图像伪造检测器开始自行扫描待检测视频，并对视 频数量进行计算，同时进行检测排序，视频排序完成，人脸图像伪造检测器对视频进行逐帧 [0010](4)对提取出的图片进行图片筛选：图片提取完成，开始构建图片筛选器，构建完 成，图片筛选器开始与特征信息库进行数据交互，并开始对提取出的图片进行对比筛选； cn113361395 [0011](5)对剩余图片进行换脸检测：对筛选后的图片进行伪造检测，并将检测结果分别 录入xlsx工作表中，并在该xlsx工作表中标注检测时间； [0012] (6)将检测结果反馈给用户：将检测结果通过显示设备反馈给用户，同时用户可通 过输入设备对xlsx工作表进行检索查看，并通过打印设备对其进行打印处理，其中，显示设 备具体为crt显示屏、lcd显示屏或led显示屏，其中，打印设备具体为激光打印机、喷墨打印 机或针式打印机。 [0013] 进一步地，步骤(2)中所述安全检测具体步骤如下： [0014] 步骤一：从互联网上实时抓取faceforensics、face2face、faceswap以及 deepfakes数据集，同时启动防火墙； [0015] 步骤二：防火墙开始对各数据集中的数据进行检测，并对其中的病毒数据进行删 除，同时将删除的病毒数据记录在云端病毒信息库中； [0016] 步骤三：数据检测完成，将faceforensics、face2face、faceswap以及deepfakes数 据集训练成当前最佳的人脸图像伪造检测器。 [0017] 进一步地，步骤(3)中所述检测排序具体步骤如下： [0018] 第一步：开始收集用户上传的视频信息，并将其按照上传时间先后，进行排序； [0019] 第二步：用户通过外部输入设备对视频进行排列调整，人脸图像伪造检测器开始 依据用户调整信息对视频排列顺序进行更新。 [0020] 进一步地，步骤(3)中所述逐帧取图具体步骤如下： [0021] s1：将待检测的视频按照一帧进行视频分割处理，并将分割完成的片段分别标记 为a1、a2、a3、…、an，其中，n为自然数，且n大小依次增加； [0022] s2：将a1～an转换为图片，并将其按照切割时间进行排序。 [0023] 5、根据权利要求1所述的一种基于多任务学习模型的ai换脸视频检测方法，进一 步地，步骤(4)中所述对比筛选具体步骤如下： [0024] ss1：图片筛选器开始从特征信息库中提取人类特征信息，并将其处理生成对比数 [0025]ss2：将a1～an分别与对比数据进行比对，并将其中不包含人类特征的图片删去， 同时将经过筛选的图片分别标记为b1、b2、b3、…、bm，其中，m为自然数，且m大小依次增加。 [0026] 进一步地，步骤(5)中所述伪造检测具体步骤如下： [0027] p1：将b1～bm依次进行色彩空间转换，并开始对比转换前后边缘、纹理以及表面的 差异； [0028] p2：若低对比度边缘与高对比度边缘几乎一样明亮，则开始对比纹理差异，若低对 比度边缘与高对比度边缘的明亮度存在明显差异，则判断该视频为换脸视频； [0029] p3：若纹理细节较多的区域的着色高于光滑的表面，则开始对比表面差异，若纹理 细节较多的区域的着色低于光滑的表面，则判断该视频为换脸视频； [0030] p4：若表面在转换前后着色都一致，则判断该视频非换脸视频，若表面在转换前后 着色不一致，则判断该视频为换脸视频； [0031]