BrushNet

Paper：BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

论文的核心是图像修复，现有方法可以分成两类：

• 采样策略修改。不用训练新模型，只是在每个 denoisin step 把未遮挡区域 copy 回来。比如 Blended Latent Diffusion。
• 专门训练的 Inpainting Model，把 Noisy Latent，Masked Image Latent，Mask 一起送入 UNet 通道。然后微调整个 Inpainting UNet. 效果好，但是条件信息和生成信息太早混入一起。

BrushNet 的核心思想：把图像条件提取和图像生成解耦。

image.png

首先用 VAE 提取 masked image latent，然后 mask resize 成对应的分辨率。然后和 noisy latnet 拼接起来，用一个旁支网络提取特征。

其实思想和 ControlNet 类似，只不过 BrushNet的旁支网络强调像素级强约束。

总结：

BrushNet 借鉴了 ControlNet“冻结主 diffusion model + 额外可训练分支 + 特征注入”的思想，但针对 image inpainting 重新设计了旁支。它把“图像条件提取”和“文本引导生成”解耦：主 UNet 负责根据文本生成，BrushNet 分支只负责从 masked image 和 mask 中提取纯图像约束特征，再逐层注入到冻结主 UNet 中。