项目状态: 正在进行中 🚧
这是一个专注于复现和学习AI生成图像（AIGC）检测与溯源领域论文的项目。我将在这里记录相关论文的阅读笔记、核心思想、复现代码、遇到的问题以及相关的学习资源。
通过网盘分享的文件: 论文、代码、数据集及权重
链接: https://pan.baidu.com/s/1a5jwm4dT78IM6A2fU2OlLg?pwd=8888 提取码: 8888
--来自百度网盘超级会员v5的分享
随着生成对抗网络（GAN）和扩散模型（Diffusion Model）等技术的飞速发展，AI生成图像的逼真度越来越高，引发了对虚假信息传播、版权和安全的担忧。本项目旨在：
- 系统性学习和梳理伪造图像检测与溯源领域的核心技术与方法。
- 复现该领域的经典或前沿论文，深入理解其核心原理与实现细节。
- 跟踪最新的技术趋势，特别是针对扩散模型等新型生成模型的检测方法。
- 沉淀和总结关键技术概念、专业术语，并锻炼科研与工程能力。
图像篡改检测的核心在于破坏了图像在统计特性上的连续性与完整性。常见的篡改操作主要有三类：拼接 (Splicing)、复制-粘贴 (Copy-Move) 和 擦除 (Inpainting/Removal)。
为什么要将图像分块 (Patch) 处理？
- 聚焦局部特征: 篡改通常发生在局部区域，分块有助于模型捕捉全局特征难以发现的细微痕迹。
- 降低计算开销: 避免因处理高分辨率全图而带来的巨大计算负担。
- 屏蔽语义干扰: 许多篡改痕迹与图像的语义内容无关，分块处理可以帮助模型专注于底层的伪造特征而非图像说了什么。
DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models (ACM 2024)
- 核心贡献: 首篇针对文生图（Text-to-Image）模型的伪造检测与模型溯源的研究。
- 发现: 不同的T2I模型（如Stable Diffusion, GLIDE）会留下独特的指纹，可用于检测和溯源。研究还发现，提示词（Prompt）的内容会影响生成图像的可检测性，例如包含“person”的提示词生成的图像更难被检测。
- 论文: https://arxiv.org/pdf/2210.06998
- 代码: https://github.com/CHELSEA234/HiFi_IFDL
- 核心贡献: 首次系统性地提出和验证了“GAN指纹”的概念。
- 发现: 每个GAN模型都会在生成的图像中留下独特的、肉眼不可见的指纹。这种指纹不同于可见的“伪影(artifacts)”，它稳定存在于图像的不同频域和空间块中，可以像识别相机型号一样，用于追溯图像是由哪个具体的GAN模型生成的。
- 论文: https://arxiv.org/abs/1811.08180
Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions (CVPR 2020)
- 核心贡献: 指出当前主流生成网络（GAN, VAEs）未能准确复现实在图像的频谱分布。
- 问题: 核心问题在于上采样操作（如转置卷积）会显著改变信号的频谱属性，导致生成图像中出现高频噪声或高频信息缺失。
- 解决方案: 提出在生成器的损失函数中加入“频谱正则化”，并增大末端卷积层的滤波器尺寸。
- 论文: https://arxiv.org/abs/2003.00067
- 代码: https://github.com/cc-hpc-itwm/UpConv
- 核心方法: 设计了一个双分支网络来融合全局和局部特征，以提升检测器的泛化能力。
- 架构:
- 全局分支: 提取图像整体的结构与内容特征。
- 局部分支: 通过一个补丁选择模块（PSM）从多个图像块中提取精细的伪造痕迹 (fine-grained artifacts)。
- 融合: 使用注意力机制融合双分支的特征，进行最终分类。
- 论文: https://arxiv.org/pdf/2203.13964
- 核心思想: 提出一种仅使用真实图像进行训练的异常检测范式。
- 方法: 通过学习大量真实图像的共性（commonality），将其特征映射到一个紧凑的“噪声-特征”子空间中。当检测新图像时，只需判断其特征是否落在这个子空间内，从而判断真伪。这种方法旨在解决伪造技术层出不穷、难以收集所有类型伪造样本的问题。
- 论文: https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136890333.pdf
- 核心目标: 提出一种能够规避伪造检测的攻击方法，旨在生成能骗过人眼和AI检测器的图像（AIGC-S任务）。
- 方法: 与传统对抗攻击在空间域添加可见噪声不同，该方法通过精心设计的扰动，使得修改后的AI生成图像在频域上与真实图像高度相似，从而达到“隐身”的目的。
- 论文: https://arxiv.org/pdf/2311.05260 (注意：您笔记中的Arxiv链接
2408.05669可能有误，已更正为已发表版本)
- 高频 vs. 低频 (Frequency Domain)
- 低频 (Low Frequencies): 对应图像中平缓、大面积的区域，如天空、墙壁，构成了图像的整体轮廓和结构。
- 高频 (High Frequencies): 对应图像中剧烈变化的部分，如物体的边缘、细节和纹理。伪造过程常在高频域留下痕迹。
- 指纹 (Fingerprints) vs. 伪影 (Artifacts)
- 伪影 (Artifacts): 通常指早期或训练不足的生成模型产生的、肉眼可见的图像缺陷，如不自然的纹理、棋盘格等。
- 指纹 (Fingerprints): 指生成模型（特别是其上采样等操作）留下的、系统性的、肉眼不可见的痕跡。每个模型都具有独特的指纹，是模型溯源的关键依据，常在频域或噪声分布中体现。
- 傅里叶功率谱 (Fourier Power Spectrum)
- 一种分析工具，用于显示图像（或信号）在不同频率成分上的能量分布。它是检测伪造痕迹（如周期性噪声）的有力手段。
- 方位角积分 (Azimuthal Integration)
- 在分析傅里叶功率谱时常用的一种方法。它通过对频谱图上与原点等距的所有点（即同心圆）进行积分，将二维频谱转换为一维曲线。这个曲线可以忽略方向性，量化图像在不同频率上的总体能量强度，常被用作损失函数的一部分。
| 英文 | 中文翻译 | 释义/语境 |
|---|---|---|
| Visual Forensics | 视觉取证 | 对图像、视频等多媒体内容的真实性和来源进行鉴别的技术领域。 |
| Model Attribution | 模型溯源 | 确定一个给定的AI生成内容是由哪个具体模型或架构创建的。 |
| Steganalysis | 隐写分析 | 用于检测数据中是否存在隐藏信息的技术。 |
| Disinformation | 虚假信息 | 故意制造和传播的、旨在欺骗或误导的虚假内容。 |
| Misinformation | 错误信息 | 无意中传播的不准确信息。 |
| Telltale signs | 蛛丝马迹 | 指示或暴露某事真相的细微线索或迹象。 |
| Surrogate classifier | 替代分类器 | 在攻击场景中，当目标模型未知时，攻击者训练一个功能相似的模型来模拟目标，以生成对抗样本。 |
| From scratch | 从头开始 | 指训练模型时不使用任何预训练权重，所有参数都进行随机初始化。 |