LongLive1.0 与 LongLive2.0中的Rope设计

首先参数有很大的不同:

LongLive1.0 LongLive2.0
基座 Wan2.1-T2V-1.3B Wan2.2-TI2V-5B
num_frame_per_block 3 8
local_attn_size (recent) 12 帧 32 帧
sink_size 3 帧 8 帧(推理)/ 0(训练)
token/frame 1560(480×832) 880(720p 采样,24*880 常量)
recent 窗口 token 12×1560 = 18,720 32×880 = 28,160
RoPE 绝对位置(start_frame) 绝对 + multi-shot 相位偏移 φ=8

首先是 LongLive 1.0

  • Sink:永远用前3帧,RoPE 永远是 0,1,2
  • Recent:最近9帧+当前3帧, RoPE 用单调递增的绝对位置
  • Prompt切换:
    • sink 不重写
    • recent 重写:最近帧用新的prompt,位置编码不变。
  • 交互式的上限:大概60s

然后是 LongLive 2.0

  • Sink:
    • global sink:前 8 帧,RoPE 永远 0~7
    • pinned sink:新 shot 首 chunk 8 帧,RoPE 是其绝对帧号+shot偏移
  • Recent:
    • 窗口总 32 帧 = sink 8 + 24(含当前 8 帧 chunk),即 16 帧纯历史
    • RoPE 用单调递增的绝对位置(+ shot 相位偏移)
  • Prompt切换:
    • global sink 不重写
    • pinned shot sink:把新 shot 首 chunk 钉住,替代旧 sink
    • recent 不重算(无 recache),只是继续滚动;新旧 shot 共享同一窗口
    • RoPE 变化:每个新 shot 的帧号与全局 sink(0–7)保持 k×8 的固定相位差
    • 切换时,添加前缀:"The scene transitions. " ,后续 chunk 用原 caption
  • 生成上限:绝对 RoPE 下受 1024 位置表约束

LongLive1.0 与 LongLive2.0中的Rope设计
https://d4wnnn.github.io/2026/10/24/Notion/LongLive1.0 与 LongLive2.0中的Rope设计/
作者
D4wn
发布于
2026年10月24日
许可协议