LongLive1.0 与 LongLive2.0中的Rope设计
首先参数有很大的不同:
| LongLive1.0 | LongLive2.0 | |
|---|---|---|
| 基座 | Wan2.1-T2V-1.3B | Wan2.2-TI2V-5B |
num_frame_per_block |
3 | 8 |
local_attn_size (recent) |
12 帧 | 32 帧 |
sink_size |
3 帧 | 8 帧(推理)/ 0(训练) |
| token/frame | 1560(480×832) | 880(720p 采样,24*880 常量) |
| recent 窗口 token | 12×1560 = 18,720 | 32×880 = 28,160 |
| RoPE | 绝对位置(start_frame) |
绝对 + multi-shot 相位偏移 φ=8 |
首先是 LongLive 1.0
- Sink:永远用前3帧,RoPE 永远是 0,1,2
- Recent:最近9帧+当前3帧, RoPE 用单调递增的绝对位置
- Prompt切换:
- sink 不重写
- recent 重写:最近帧用新的prompt,位置编码不变。
- 交互式的上限:大概60s
然后是 LongLive 2.0
- Sink:
- global sink:前 8 帧,RoPE 永远 0~7
- pinned sink:新 shot 首 chunk 8 帧,RoPE 是其绝对帧号+shot偏移
- Recent:
- 窗口总 32 帧 = sink 8 + 24(含当前 8 帧 chunk),即 16 帧纯历史
- RoPE 用单调递增的绝对位置(+ shot 相位偏移)
- Prompt切换:
- global sink 不重写
- pinned shot sink:把新 shot 首 chunk 钉住,替代旧 sink
- recent 不重算(无 recache),只是继续滚动;新旧 shot 共享同一窗口
- RoPE 变化:每个新 shot 的帧号与全局 sink(0–7)保持 k×8 的固定相位差
- 切换时,添加前缀:
"The scene transitions. ",后续 chunk 用原 caption
- 生成上限:绝对 RoPE 下受 1024 位置表约束
LongLive1.0 与 LongLive2.0中的Rope设计
https://d4wnnn.github.io/2026/10/24/Notion/LongLive1.0 与 LongLive2.0中的Rope设计/