meng shao (X)
1 个来源小米 Mimo 团队发布 MiMo-V3 新注意力架构 HySparse2
小米 Mimo 团队宣布 MiMo-V3 的新注意力架构 HySparse2，该架构通过两级 KV 共享机制，同时降低 prefill 计算量、KV cache 大小并提升长程检索精度。在 80B-A3B MoE 模型上，1M tokens 时 prefill FLOPs 仅为上一代 Hybrid SWA 的 1/5，KV cache 为其 1/4.5，而 RULER-v2、MRCR-v2 等长程检索基准反而大幅领先。HySparse2 论文已发布。