AAAI 2025 | 开放世界的深伪检测，北交大团队：解决好无配对数据挑战很重要-人工智能-PHP中文网

AAAI 2025 | 开放世界的深伪检测，北交大团队：解决好无配对数据挑战很重要

花韻仙語

发布： 2024-12-23 12:39:41

转载

997人浏览过

aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

现有的深伪检测方法大多依赖于配对数据，即一张压缩图像和其对应的原始图像来训练模型，这在许多实际的开放环境中并不适用。尤其是在社交媒体等开放网络环境（OSN）中，图像通常经过多种压缩处理，导致图像质量受到影响，深伪识别也因此变得异常困难。

现有方法虽然在特定条件下取得了一些进展，但在面对开放世界中大量无配对数据的挑战时，往往难以提供理想的检测效果。

近日，AAAI 2025 接收结果公布，收录了一篇北京交通大学赵耀、陶仁帅团队联合苏黎世联邦理工学院的研究工作，论文题目为《ODDN：Addressing Unpaired Data Challenges in Open-World Deepfake Detection on Online Social Networks》。

该工作提出了一个创新的深伪检测任务——非配对数据下的开放世界深伪检测。该任务针对真实社交媒体检测场景下配对数据在实际获取中数量较少的窘境。

论文地址：https://arxiv.org/pdf/2410.18687

此外，该工作还提出了针对新任务下的新方法，即使用多任务学习、梯度取反、梯度矫正等方式，提出 Backbone 提取特征中与压缩相关的信息，令模型关注生成模型产生的伪造特征，为处理真实社交媒体下的压缩 Deepfake 图像提供了新的思考。

^{图 1：任务总览图}

方法概览

新提出的方法 ODDN 包含两个核心组件：开放世界数据聚合（ODA）和压缩丢失梯度校正（CGC），有效降低了配对数据稀缺和压缩影响带来的性能损失。

^{图 2：ODDN 模型结构图}

研究者设计了两个下游任务：一个是基础的二分类任务，该分支优化 backbone 提取伪造相关的特征；另一个是判别图片是否被压缩的二分类任务，该分支通过梯度取反操作，使得该分支梯度在 backbone 的优化方向与设定分类目标相反，backbone 提取与压缩不相关的特征。

同时，将 Unpaired Data 以压缩有无、真假将数据分为四类，然后计算四个簇的聚类中心。

之后再计算分别计算压缩与未压缩的真假簇聚类中心距离，对应公式如下。

对于 Paired Data 因为其稀少性，继续采用之前工作使用的高效方法，即使用 HSIC 度量 Paired Data 数据分布的相似性。

虽然两个下游任务设定的优化是合理的，但是实际训练过程中，两个任务中产生的 Loss 在回传时，可能会出现优化方向的冲突。如何确定最合适的方向呢？研究者采用 PCGrad，将冲突的梯度投影到另一个梯度的法向量上，确保非冲突梯度之间的互补，对齐和促进不同梯度之间的交互，确保优化过程 backbone 的梯度始终处于对主线伪造检测任务产生积极影响的方向。