近年来，以深度伪造（Deepfake）为代表的生成式人工智能技术进入爆发式增长阶段。在人脸方面，基于生成对抗网络（GAN）、自编码器与扩散模型（Diffusion）的换脸、人脸重建、人脸编辑技术已经能够生成肉眼难以分辨的伪造图像与视频。为此，我们自研了 GuardFusion 多模态融合检测模型， 在模型结构上，我们首先通过投影层将视觉 1280 维、音频 32 维、文本 512 维的差异化特征，统一映射至 256 维公共特征空间， 同时创新引入瓶颈融合 Transformer 机制，摒弃传统全量跨模态注意力的高开销结构，通过少量可学习瓶颈 Token 完成跨模态信息交互，将计算复杂度从 O(N²) 降至 O(3·N·B)。在保留多模态融合能力的同时，大幅轻量化模型。
luo11creator/deepfake_fight: 近年来，以深度伪造（Deepfake）为代表的生成式人工智能技术进入爆发式增长阶段。在人脸方面，基于生成对抗网络（GAN）、自编码器与扩散模型（Diffusion）的换脸、人脸重建、人脸编辑技术已经能够生成肉眼难以分辨的伪造图像与视频。为此，我们自研了 GuardFusion 多模态融合检测模型， 在模型结构上，我们首先通过投影层将视觉 1280 维、音频 32 维、文本 512 维的差异化特征，统一映射至 256 维公共特征空间， 同时创新引入瓶颈融合 Transformer 机制，摒弃传统全量跨模态注意力的高开销结构，通过少量可学习瓶颈 Token 完成跨模态信息交互，将计算复杂度从 O(N²) 降至 O(3·N·B)。在保留多模态融合能力的同时，大幅轻量化模型。
