2026年7月15日的更新：发布后，批评者认为Soofi S在经典的Chinchilla扩展法则的标准下被严重“过度训练”。谷歌DeepMind在2022年发布了这些法则，描述了如何在固定的计算预算下平衡模型大小和训练数据。他们确定的最佳比例大约是每个参数20个标记。Soofi S超越了这个比例。拥有约27万亿个标记和300亿个参数，它的比例达到几百比一。仅考虑每个标记激活的32亿参数时，这个比例跃升至几千比一。项目技术领导层的一部分Michael Fromm对这种批评进行了反驳。他认为这些规则并不简单地适用于专家混合(Mixture-of-Experts, MoE)架构。“有新研究表明，旧的密集模型扩展法则不再适用于MoE架构，”Fromm说。原因在于MoE模型的构建方式。单个专家在看到相同文档时受益，因此在大型高质量数据集中的重复数据相较于密集模型问题较小。作为比较，Fromm提到Nvidia，它在训练自己的模型时使用了多达25万亿个标记。2026年7月13日的原始文章：Soofi S是第一款完全在德国电信的工业人工智能云上训练的大型语言模型之一。这款开放的30B模型采用了一种精简的混合架构，训练数据组合有意地向德语倾斜。由KI Bundesverband（德国人工智能协会）协调的德国研究联盟发布了Soofi S 30B-A3B，这是一款开放语言模型，根据其预训练报告，在完全开放模型中，达到了英语和德语基准的最高分，超越了之前的领先者如OLMo 3 32B和Apertus 70B。得益于其混合Mamba-Transformer架构，Soofi S即使在很长的上下文中也能保持吞吐量，而像Apertus 70B和Qwen3 32B这样的密集模型则急剧下降。| 图片：Soofi采用了一种为长上下文构建的精简架构Soofi S是一种专家混合模型。它总共有316亿个参数，但每个生成的标记仅激活约32亿个参数。这使得它的计算成本更接近3B模型，而非传统的30B模型。该联盟采用了Nvidia的Nemotron 3 Nano架构，没有修改，这是一个将Mamba-2层与标准注意力层相结合的混合设计。与典型转换器的关键区别在于内存行为。在传统模型中，用于注意力计算的KV缓存会随着上下文长度线性增长。对于长输入和多个并行请求，重新加载该缓存成为瓶颈。Soofi S的52层中仅有6层保持这样一个缓存。实际的收益体现在生成吞吐量上。在上下文长度为40,000个标记时，进行32个并行请求，Soofi S每个GPU每秒生成的标记数量约是14至24亿参数范围内的密集模型的八倍。尽管随着上下文增长传统模型的吞吐量显著下降，但Soofi S在4000到256000个标记的范围内几乎保持不变。唯一在测量中显示出类似行为的模型是阿里巴巴的Qwen3.5 35B-A3B，它也使用了一种混合架构。围绕德语构建的训练组合该联盟总共处理了约27万亿个标记，分为三个阶段。在第一阶段，模型从大约20万亿个来自网络、代码、数学和特定领域文本的广泛混合中学习语言基础知识。接下来的第二阶段有约6万亿个来自更高质量来源的标记，设计用于加深早期学习的模式。然后更短的第三阶段通过训练长达一百万个标记的非常长文档来延长上下文窗口。在三个训练阶段中，数据组合向更高质量的来源和显著更大比例的德语数据倾斜。| 图片：Soofi有意关注德语。在第一阶段，德语占训练组合的7.2%；在第二阶段，这一比例上升到15.3%。在Nvidia的Nemotron参考配方中，所有非英语语言加起来仅占约5%。对于数据来源，该联盟结合了来自HPLT的德语网络文本、公开许可的德语Commons语料库、FinePDFs和FineWiki的德语部分，以及含有916家德国出版物的1.93亿篇新闻文章的商业许可Genios语料库。机器翻译和合成生成的德语文本丰富了组合。在对16个其他开放模型的评估中，Soofi S根据报告在德语和英语的整体评分方面领先于所有完全开放模型。这包括来自艾伦人工智能研究所的OLMo 3 32B和苏黎世联邦理工学院及洛桑大学的Apertus 70B。与每个欧洲主权基准相比，该模型在所有德语基准测试中均表现优异。