罗福莉剧透小米MiMo-V3架构：HySparse2让预填充提前退出

MiMo-V2.6刚发布，罗福莉就开始剧透MiMo-V3。据量子位报道，MiMo-V3将采用新架构，核心是HySparse2，指向的是Agent执行长任务时越来越重的输入处理问题。Agent生成一次工具调用可能只需几十个token，但搜索结果、网页、代码和执行日志却能一口气回来几万字；轮次增加后，模型既要处理新输入，也要保留足够历史供后续检索。

这构成一个明确的取舍：团队想让模型少花力气处理输入、少占内存保存历史，同时还能从很长的记录里找准线索。需要强调的是，MiMo-V3尚未发布，目前公开的是架构论文层面的设计与分析，实际产品里的延迟与任务表现还要等模型落地后再看。

小米此前的HySparse已用上稀疏注意力，让少量全注意力层查看更完整历史，再由后续稀疏层复用其选出的内容和缓存。但长输入在预填充阶段仍需经过所有模型层。HySparse2进一步调整层间依赖，让预填充可以在中途结束：模型被划分为前段self-decoder与后段cross-decoder，前段结合全注意力与滑动窗口注意力，后段结合全注意力与稀疏注意力。

两段之间的KV Bridging只连接全注意力层：后半段全注意力层从前半段对应层的隐藏状态生成K和V，同时保留各自独立的投影参数；后半段内部的KV Reuse则让稀疏层复用同一混合模块中全注意力层的KV Cache和token选择结果。论文所说的两级KV共享，指的就是这两处设计。

仅有跨层共享还不够。上一代设计中稀疏层另设一条滑动窗口注意力分支，其缓存依赖后半段逐层计算得到的隐藏状态；若保留它，长输入仍需进入后半段构建缓存，预填充就无法完全提前退出。HySparse2拿掉这条独立分支，改为强制将最近的token纳入稀疏选择，局部信息仍被保留，但与远处选出的token使用同一套共享KV Cache。论文展示的模型共有49层，采用预填充与生成分开部署时，预填充节点只需放前25层和相关投影模块，所需模型内存接近减半；在这套配置里，预填充阶段执行全注意力的也只有一层。

减少输入计算之后，长历史中的信息能否被准确找回，取决于稀疏层如何选择内容。上一代HySparse按块挑内容，一个64-token的块里即使只有少量内容相关，整块也会占用选择预算。论文指出这种方式在早期预训练评估中没有表现出明显劣势，但面对跨越多轮工具调用的Agent任务，检索精度不足的问题变得突出。

所以HySparse2把选择粒度改到单个token。论文中的配置是挑选1024个全局token，再强制保留最近128个token，这样既能去较早历史里找分散线索，也不会漏掉眼前刚收到的工具结果；后续稀疏层继续复用这些选中位置及其缓存。对需要跨越多轮工具调用找证据的Agent来说，有限的注意力名额究竟给谁，会直接影响它能否把前面的线索接到当前任务上。

消融实验里，在保持骨干结构和注意力预算一致、仅比较按块选与按token选的情况下，在32k及以下的长上下文测试中，按token选择让RULER-v2提高6.57个百分点，双线索MRCR-v2提高8.14个百分点，GraphWalks提高5.55个百分点。HySparse2也没有完全撤掉全注意力：团队认为少量全注意力层既有助于维持模型能力，也能用完整的注意力分数帮后面的稀疏层选出值得看的token，就无须再单独训练一个检索模块。

架构改了这么多，最终还得看模型能不能把事做对。小米团队用相同数据和训练安排，对比了HySparse2、HySparse以及Hybrid SWA三种注意力设计。预训练后的普通知识、推理和代码项目中，HySparse2的成绩有升有降，整体与对照模型大致可比；优势主要出现在长上下文能力上。加入Agent数据、再经过后续训练后，差距变得更明显：HySparse2在论文评估的各个上下文长度上，MRCR-v2和RULER-v2检索成绩均领先两个对照架构，Agent轨迹与长距离依赖相关的困惑度也更低。

到了256k上下文，HySparse2在RULER-v2拿到58.45，上一代HySparse是32.61，Hybrid SWA是35.74。按测试长度取平均，它的MRCR-v2和RULER-v2成绩比HySparse分别高11.30和19.81个百分点。成本上，在100万token处，论文分析得出的预填充计算量，HySparse2比HySparse降低约2.92倍，比Hybrid SWA降低约5.02倍；采用FP8缓存时，三者的KV Cache占用分别为2.69GB、6.72GB和12.09GB。

这里需要划清边界：5.02倍比较的是预填充计算量，不是实际响应速度；论文的长上下文能力测试评估到256k，100万token对应的是计算量与缓存分析。MiMo-V3尚未发布，实际产品里的延迟与任务表现，还要等模型落地后再看。不过HySparse2的取向已经很清楚——Agent执行任务时，工具会不断送回大量新内容，历史里的关键线索又不能丢。MiMo-V3能把论文里的改进带进多少实际任务，将是接下来更值得关注的结果。