A重点72
Hugging Face Blog
1 个来源LFM2.5-Encoders：在CPU上实现快速长上下文推理
文章介绍了LFM2.5-Encoders，这是一种专为在CPU上高效进行长上下文推理而设计的新模型。它旨在提高处理长序列时的速度和性能，无需依赖专用硬件。
返回信息流
新闻事件
SynthePulse Insight · AI 深度解读
LFM2.5-Encoders：在CPU上实现快速长上下文推理的新一代编码器
版本 1 · 1 个来源
Liquid AI发布LFM2.5-Encoder-230M和350M，在长上下文推理中比ModernBERT-base快约3.7倍，且匹配更大模型的性能。
- LFM2.5-Encoder-230M和350M支持8192 token上下文，CPU推理速度约为ModernBERT-base的3.7倍。
- 在GLUE、SuperGLUE和多语言任务上，350M模型排名第四，前三名均为更大模型（含3.5B模型）。
- 230M模型在多数基准上超越ModernBERT-base和所有EuroBERT模型。
- 模型从LFM2.5解码器初始化，通过双向注意力掩码和非因果卷积改造为编码器。
- 训练分两阶段：短上下文（1024 token）通用语言能力，然后长上下文（8192 token）适应。
- 提供零样本提示路由、策略检查、拼写检查、PII检测等CPU演示。
展开章节目录模型架构与训练
模型架构与训练
LFM2.5-Encoders从LFM2.5解码器骨干（230M和350M）初始化，通过三项改造变为双向编码器：双向注意力掩码（每个token可看到两侧token）、非因果短卷积（对称填充以混合相邻token）、以及30% token掩码的掩码语言建模。
训练分两阶段：首先在1024 token上下文的网络语料上进行短上下文掩码语言建模，获得通用语言能力；然后在8192 token上下文的完整数据混合上进行长上下文适应，强化事实、法律和多语言能力。
性能基准测试
在GLUE、SuperGLUE和多语言分类的17个任务上，对14个模型进行全微调并报告五次独立种子的平均分数。LFM2.5-Encoder-350M排名第四，前三名均为更大模型，包括一个近10倍大小的3.5B模型。LFM2.5-Encoder-230M击败了ModernBERT-base和所有EuroBERT模型，且两者均显著优于Liquid AI自家的LFM2.5-Retrievers。
推理速度：CPU与GPU
在CPU上，LFM2.5-Encoder-230M在所有序列长度上速度最快，甚至比更小的ModernBERT-base在短输入上更快。随着输入长度增加，ModernBERT的吞吐量急剧下降，而LFM2.5-Encoders先上升后趋于平稳。在8192 token时，ModernBERT-base每次前向传播需超过90秒，而LFM2.5-Encoder-230M仅需约28秒，速度提升约3.7倍。
在GPU上，ModernBERT-base在约1K token以下领先，而LFM2.5-Encoders从约2K token开始领先，表明长输入时LFM2.5-Encoders更快。
应用演示与使用指南
Liquid AI提供了基于微调LFM2.5-Encoders的CPU演示，包括零样本提示路由、零样本策略检查、拼写检查、PII检测（覆盖16种语言的40种个人信息）以及掩码扩散文本生成。
用户可通过Hugging Face transformers库加载模型，支持Flash Attention 2加速。模型为开放权重，提供微调教程。
可信度边界
本文信息来源于Liquid AI在Hugging Face博客上的官方发布，属于第一方来源。所有性能数据均为公司自述，未经独立验证。
核心结论
LFM2.5-Encoders在长上下文CPU推理上实现了显著的速度提升，同时保持了与更大模型竞争的性能，为高吞吐、低成本的NLP应用提供了实用选择。
主报道
Hugging Face Blog
主报道来源