德国AI联盟发布开源30B模型Soofi S，在英语和德语基准测试中均领先

Soofi S采用Nvidia Nemotron 3 Nano的混合架构，结合Mamba-2层和标准注意力层。在52层中，仅有6层需要KV缓存，这带来了显著的内存优势：在40K上下文和32个并行请求下，Soofi S每GPU每秒生成的token数约是14-24B参数稠密模型的8倍。与阿里Qwen3.5 35B-A3B类似，其吞吐量从4K到256K token几乎保持不变，而传统稠密模型则急剧下降。

这种架构的核心突破在于，它证明了通过精心设计的混合模型，可以在保持较小激活参数的同时，达到甚至超越更大规模模型的表现。Soofi S的激活参数仅32亿，但在英语和德语多项基准中领先于OLMo 3 32B和Apertus 70B——后两者均采用传统稠密架构。不过，模型在德语竞赛数学（Minerva MATH-DE）上仅得56分，远落后于Qwen3.5 35B-A3B（76.5分）和Gemma 3 27B（65.6分），这可能与较小的激活参数限制了世界知识存储有关。

Soofi S的训练数据约27万亿token，分为三个阶段。第一阶段使用20万亿通用数据，德语占比7.2%；第二阶段6万亿高质量数据，德语占比升至15.3%；第三阶段用于扩展上下文至百万token。数据来源包括德语网络文本HPLT、开源德语Common Corpus、商业授权Genios语料库（含916家德国出版物的1.93亿篇文章）以及机器翻译和合成德语文本。

这一数据策略直接提升了模型的德语能力：与Nvidia Nemotron基准相比，Soofi S的德语通用能力提升15.1分，科学测试GPQA-Diamond提升9.6分，且英语性能未受影响。在德国特定区域知识测试INCLUDE-DE上，Soofi S与更大规模的Qwen3.5 35B-A3B以61.2分并列第一。这表明针对性的语言数据分配可以有效提升模型在特定语言上的表现，而不牺牲通用能力。

Soofi S是首批完全在德国电信工业AI云（位于慕尼黑）上训练的大型模型之一。训练历时2026年3月至5月，使用512块Nvidia B200 GPU，总计约25.3万GPU小时。该数据中心完全使用可再生能源，冷却水来自Eisbach运河，废热用于周边社区供暖。

项目由德国AI协会协调，参与者包括弗劳恩霍夫IAIS和IIS、德国人工智能研究中心（DFKI）、达姆施塔特工业大学、维尔茨堡大学等。资金来自德国联邦经济事务和能源部，属于欧洲IPCEI-CIS项目。目标是构建一个可在主权基础设施上运行且用于工业测试的开放欧洲AI模型家族。这种开放模式避免了重量级模型的许可证限制，为欧洲企业提供了可审计、可定制的选择。

尽管Soofi S在大多数基准上表现出色，但在某些任务上存在明显弱点。在RULER长上下文测试中，当需要从超过32K token的文本中提取频繁出现的单词时，Soofi S的命中率骤降至约3%，而架构相似的Nemotron仍保持60-64%。作者归因于训练数据中缺乏专门用于提取任务的合成数据。

另一个弱点是德语竞赛数学，Soofi S得分56，远低于竞争对手。此外，在自然问题（NaturalQuestions）开放事实检索上，模型也落后于同级别产品。这大概率与模型只有3B活跃参数、世界知识存储容量有限有关。混合架构在高效推理的同时，也带来了知识容量的权衡。未来版本可能需要通过增加活跃参数或改进训练数据来弥补这些短板。