这篇论文在讲什么

CVPR 2026 Findings 录用，来自韩国研究团队。核心问题是：Stable Diffusion 为什么会记住训练数据中的特定图片？

不是数据泄露，而是一个隐藏在 CLIPTokenizer 里的结构性缺陷——且修复方法简单到难以置信。

论文核心发现

研究团队将输入 token 分为四类：<startoftext>、<prompt>、<endoftext>、<pad>，对应嵌入向量 v^sot、v^pr、v^eot、v^pad。

关键发现：

  • v^pr（prompt 嵌入）在记忆化案例中贡献极小——你写的提示词本身并不是驱动记忆的关键
  • v^pad（padding 嵌入）才是罪魁祸首——因为它与 v^eot 存在结构性的重复
  • CLIP 训练时只有 v^eot 被明确优化，v^pad 作为其复制品被无意放大，导致模型过度依赖 v^eot，从而触发记忆化
换句话说：SD 的记忆化问题，本质上是 <pad> token 的嵌入与 <eot> 嵌入长得太像，而训练时只有 <eot> 被优化，最终模型把 <pad> 的影响当成了 <eot> 的信号来用。

两种推理时修复策略

  • 将分词器的默认 <pad> 从 <eot> 替换为 ! token，并遮蔽 v^eot
  • 部分遮蔽 v^pad 嵌入

两种方法均可在不降低生成质量的前提下抑制记忆化，且无需事先检测，可直接部署。

重要意义

这篇论文的价值不止于修复 SD。它揭示了一个更普遍的问题：当代模型的记忆化风险，可能并不来自模型本身，而来自数据处理流程中那些看似无害的工程选择。分词器设计、嵌入初始化——这些底层细节，正在以我们未预期的方式影响模型行为。

参考信息

论文：Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

arXiv：https://arxiv.org/abs/2605.02908

代码：https://github.com/quasar529/sd-clip-mem