淘宝TaoMate-H3开源：三步生成「分钟级」音视频连续创作

TaoMate-H3 最直接的变化发生在生成节奏上。传统整段视频反复去噪的方式需要等待整段完成，而 TaoMate-H3 以小片段为单位推进，每个片段仅需三步去噪。团队通过少步 LoRA 将每个小片段的去噪过程压缩为三步，沿 0→16→33→49 的时间状态推进。这意味着模型优先完成当前片段，再生成后续内容，无需等待整个视频完成去噪。

在当前五秒提示词配置下，每个段落分为四个 chunk，主体 chunk 约为 1.4 秒，尾部片段较短。模型依次完成这些片段，并利用历史上下文继续生成。每个片段完成后，模型基于最终生成的音视频状态更新 KV 缓存，供下一片段使用。少步生成减少了反复迭代的计算量，分块处理则使模型能够更早产出第一段内容。

这种节奏上的改变，直接对应到首段内容的产出时间。团队自测显示，在 8×NVIDIA H20 96 GB 机器上输出 480×864 十秒视频时，首段最终 latent 的就绪时间由 170.052 秒缩短至 6.148 秒，加速 27.66 倍。首段 latent 就绪对应模型完成第一段生成、可交给 VAE 解码的时间。对于需要及时反馈的内容生产，这种逐段产出方式有助于缩短等待，并为边生成边播放提供基础。

TaoMate-H3 在同一生成过程中处理声音与画面，既支持人物讲话、歌唱和角色对白，也支持海浪、车辆运动、爆炸等环境与动作音效。声音参与模型的生成过程，为口型、表情和动作提供时间上的配合。

为了让局部片段仍然具备段落级的声音参照，系统在内部先准备覆盖当前提示词段落的音频去噪轨迹，再将对应时间位置的音频 latent 用于引导各个小片段。三次去噪更新分别对齐音频轨迹中的三个状态，最终音频 latent 与引导轨迹的干净终点保持一致。音频引导贯穿生成过程，有助于稳定台词的展开节奏，减少短片段续写时的重复起句。

为衔接不同段落的音色与语气，系统将上一段最后约一秒的干净音频作为只读参考。新音频在这一参考下继续生成，参考本身保持不变；最后统一解码各段音频 latent，得到连续的声音输出。这一设计针对的是流式生成把视频拆成短片段后，一句台词的停顿、语速和结束位置需要在完整段落内安排的问题。

借助持续更新的音视频 KV 缓存和分段音频引导，模型能够跨越提示词边界延续前面的内容。创作者可以逐段调整讲解重点或表演内容，组织更完整的商品介绍和角色叙事。

缓存采用「起始视觉参照 + 近期音视频上下文」的组织方式。起始参照保留人物与场景的初始信息，近期上下文随生成进度滚动更新，使模型能够跟随最新的动作与声音继续创作。这种方式将历史缓存控制在固定规模内，避免其占用随视频时长不断增长，为分钟级连续生成提供了稳定的上下文支持。

在长视频中，提示词可以变化，媒体时间线仍需连续。TaoMate-H3 使用全局连续的 RoPE 位置编码，随音视频进度移动当前文本的时间坐标，并将文本右边界对齐到当前媒体的起点，使新提示词对应正在生成的内容。切换提示词时，系统保留已有音视频 KV，同时区分新生成内容与编解码所需的尾部上下文。历史内容仅用于衔接，不重复生成。针对长时间续写中的亮度和色调变化，模型还以首个片段的视觉统计为参照，对后续视频 latent 进行均值与方差对齐，减轻画面观感的漂移。

训练阶段采用 Self Forcing 的自回归训练思路，让模型以自身生成的历史片段为条件，继续生成后续内容。这使训练过程能够接触实际续写中的历史状态，缓解仅依赖真实历史训练所带来的训练与推理分布差异。这一训练方式与少步推理、KV 缓存共同构成了流式续写的基础。

团队在同一台 8×NVIDIA H20 96 GB 机器上，对原版 MiniMax H3 与 TaoMate-H3 进行了测试，输出均为 480×864、十秒视频。TaoMate-H3 的纯 DiT 计算耗时由 169.572 秒降至 14.810 秒，加速 11.45 倍；首段最终 latent 的就绪时间由 170.052 秒缩短至 6.148 秒，加速 27.66 倍。

在上述十秒配置下，TaoMate-H3 共生成八个小片段，执行 24 次生成前向和 8 次 KV 更新。单机八卡采用 TP2 × Ulysses4 并行，并结合高效注意力、算子融合及部分线性层的选择性低精度计算，降低推理开销。这些优化既提升了整段内容的生成效率，也缩短了首段内容的产出时间，为分块解码、播放和交互应用开发提供了基础。

需要明确的是，上述性能数据均来自团队在同一台 8×H20 96 GB 机器上的自测，输出为 480×864 十秒视频，缺乏第三方独立验证。三步去噪、分钟级续写等能力描述也均为团队自述，未见外部评测。演示案例（背包、木梳、窗边演唱、月夜少女与白狐、日落海岸、爆炸等）均为官方展示，未提供客观质量评估。

本次开源包含推理代码、LoRA 权重及示例提示词，可从 GitHub 与 Hugging Face 下载。项目基于 MiniMax H3，遵循 MiniMax H3 Community License。使用前需按 README 完成环境安装并下载 MiniMax H3 基础权重。

运行环境要求 Linux、Python 3.10/3.11、CUDA 12.8 与 PyTorch 2.8，提供单机 4 卡或 8 卡推理入口。已验证的运行配置为 8×H20 96 GB。公开推理入口会自动运行整套流程并保存最终视频。

模型支持 480p、768p、1080p 级横竖屏输出。仓库内的十秒示例可通过替换提示词文件修改场景、台词与动作；通过时长和分辨率参数，可以进一步生成更长的视频或切换横竖画幅。

团队表示仍在持续优化推理速度，进一步缩短首段内容与后续响应的等待时间。团队也计划在不久后陆续发布并开源新的 FL2AV 流式模型，进一步拓展到 Ref2AV，并同步开放相应权重，支持更丰富的音视频创作方式。但 FL2AV 与 Ref2AV 模型的发布时间与具体能力尚未明确。

在能力边界上，模型在更长时长或更高分辨率下的稳定性与一致性未在来源中说明；音视频 KV 缓存固定规模对超长视频记忆效果的影响也未给出量化证据。这些是判断 TaoMate-H3 能否从演示走向稳定生产的关键变量。

从应用场景看，TaoMate-H3 面向需要持续生成声音与画面的创作场景。用户可以用一条提示词描述完整场景，也可以按段安排台词、动作和情节；模型在保留历史上下文的基础上继续生成，使相邻段落共享人物、声音和场景信息。演示覆盖了商品讲解、人物演唱、动漫对白、风景与电影特效等不同内容类型，但均未提供客观质量评估。