ZEUS

Paper:ZEUS: Accelerating Diffusion Models with Only Second-Order Predictor

目前主流的免训练加速方法(如跳步或特征缓存)在高倍率加速(如超过2倍速)时,面临两个核心困境 :

  • 高阶预测器误差爆炸:像 TaylorSeer 等方法试图用高阶泰勒展开()来预测被跳过的步骤,但在高倍率加速下,“真数据”极度匮乏,高阶预测依赖大量先前近似的“假数据”或遥远的历史数据,导致方差和误差指数级放大(过冲现象,产生严重伪影) 。
  • 部署与内存开销沉重:现有的特征缓存(Feature Caching)方法需要层层缓存庞大的中间层激活张量,导致内存开销随模型深度暴增,在 14B 等视频大模型上极易跑满 GPU 显存 。

如何在不改变模型权重、不引入复杂架构修改、不增加显存负担( 内存开销)的前提下,实现高倍数()且画面不崩塌的稳定加速?

创新点 1:基于稀缺观测集的二阶局部预测器

作者指出,在高倍率跳步时,一个局部窗口内只有当前步 是刚算出来的“真数据” 。利用当前步的真实输出 加上它与前一步预测值 后向差分,就组成了无须额外计算成本的“最小充分观测集” :

将两者相加便推导出了核心的二阶外推预测公式,用于预测被跳过的步骤

创新点2:避免误差放大的交错重用机制

如果连续跳过 个步骤(),若连续套用上述公式(链式外推),误差会线性放大导致轨迹崩塌(Predictor-only 的通病) 。ZEUS 巧妙地设计了一个周期为 2 的交错循环重用机制

image.png

ZEUS
https://d4wnnn.github.io/2026/06/15/Notion/ZEUS/
作者
D4wn
发布于
2026年6月15日
许可协议