FreqCa

FreqCa：对Token分出高低频，执行不同策略

Paper：FreqCa: Accelerating Diffusion Models via Frequency-Aware Caching

image.png

图a和b：特征在相邻时间步之间的余弦相似度。

• 低频：高度相似，但有突变。可以直接复用。
• 高频：随着 Interval 增大，相似度衰减得非常严重。适合用高阶时序预测器。

image.png

论文发现：

• 低频成分（决定大体结构和轮廓）在时间步之间高度相似，但不连续（容易突变）；
• 而高频成分（决定局部细节和边缘）虽然相似度低，但随时间变化的轨迹却非常平滑、连续。

因此，不应该用同一种策略对待它们。作者提出将特征进行频率分解，各自采取最适合的策略。

策略：

• 低频复用，高频埃尔米特预测。
• 然后每个Block不进行缓存，只缓存最后一个Block输出的完整特征。然后拆分成高低频，并执行不同的策略。

注意：如何分解高低频？

• 对每个 channel 进行 FFT
• 然后每个 Token 就被分成了高低频两种。