音视频生成提速54倍！TurboT2VA：分布蒸馏与轨迹蒸馏的联合蒸馏方案

文本到音视频联合生成的成本来自两个方向：长采样轨迹要求模型反复执行前向计算，而高分辨率音视频 token 又让每一次前向都很重。只减少采样步数，单步计算仍然昂贵；只优化算子，多步采样带来的重复计算依然存在。TurboT2VA 的思路是同时处理这两层——训练端压缩步数，推理端压缩单步开销。

按论文与官方仓库口径，在单张 NVIDIA H20、1024×1792 分辨率、121 帧的测试设置下，TurboT2VA 把生成器耗时从 318.74 秒降至 5.83 秒，实现 54.67 倍生成器加速。这个数字是两层优化叠加后的结果，而不是单一技术的功劳。

需要先明确口径：高分辨率数字统计的是生成器耗时，不包含模型加载、音视频解码、封装和磁盘读写。因此 54.67 倍对应的是这一测试口径下的生成器加速，不能直接等同于端到端产品体验的提速倍数。

TurboT2VA 在模型 LTX-2 上把 40 步教师蒸馏为 4 步学生，训练顺序是 dCM warmup、sCM refinement、sCM+DMD 联合优化，三个阶段沿用同一个学生模型，变化的是训练目标及其引入时机。

第一阶段使用离散一致性蒸馏（dCM），学生在离散噪声水平之间学习一致的预测，先确定粗粒度的联合去噪结构。论文认为 dCM 不需要连续时间的轨迹切线估计，适合作为大模型蒸馏的 warmup。第二阶段引入 sCM，学生进一步学习教师的连续生成轨迹；对音视频任务而言，这一阶段需要同时保留画面中的运动演变、声音事件的发展，以及两者的时间对应关系。第三阶段保留 sCM 并加入分布匹配蒸馏（DMD），推动生成结果向教师分布靠近。

论文比较了直接联合训练与分阶段训练：直接使用 sCM+DMD 可以收敛，也能生成合理结果；分阶段方案进入联合训练阶段后，在相同训练步数下取得了更高的 Javis Score。作者对这一现象的解释是，过早加入分布匹配时，学生尚未学到覆盖足够广的生成轨迹，就开始受到较强的分布级约束，可能削弱从教师轨迹中继承的多样性。这一解释属于作者观点，来源未给出独立验证。

论文还称，纯 sCM 更偏向保留多样性，纯 DMD 更偏向感知质量，分阶段联合方案在两者之间取得更好的平衡。这一判断来自论文自述，属于来源主张而非第三方结论。样本多样性本身需要结合不同随机种子的生成结果与独立的多样性评估来判断，来源未给出完整多样性数值。