返回信息流
新闻事件
S信号85
Hugging Face Blog
1 个来源

使用 LFM2.5-2.6B 在本地部署代理

Liquid AI 发布了 LFM2.5-2.6B,这是一个紧凑型语言模型,旨在实现本地代理的部署。该模型强调在边缘设备上的高效运行,使开发人员能够在本地环境中构建和运行 AI 代理。

SynthePulse Insight · AI 深度解读

LFM2.5-2.6B:边缘设备上的智能体新标杆

版本 1 · 1 个来源

Liquid AI 发布 LFM2.5-2.6B,一款专为端侧智能体设计的小型语言模型,在工具调用和多步任务上媲美四倍大的模型,同时保持低内存占用和高推理速度。

  • LFM2.5-2.6B 支持工具调用和多步工作流,可在笔记本电脑和手机等日常硬件上运行。
  • 在指令遵循和工具使用基准上表现最佳,部分指标超越四倍大的模型。
  • 推理速度:Apple M5 Max 上 220 tok/s,AMD Ryzen CPU 上 113 tok/s,内存占用低于 2.5 GB。
  • 训练过程包含四阶段后训练:SFT、教师专业化、多领域策略蒸馏和智能体强化学习。
  • 模型已上线 Hugging Face,支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX。
展开章节目录模型定位与核心能力

模型定位与核心能力

LFM2.5-2.6B 是 Liquid AI 于 2026 年 8 月 4 日发布的 2.6B 参数语言模型,专为端侧智能体设计。它支持工具调用和多步工作流,能够在笔记本电脑和手机等日常硬件上运行,使开发者可以在设备端部署智能体,保护数据隐私,并避免云推理费用。

根据官方博客,该模型在工具使用、指令遵循和多步智能体任务上可与四倍大的模型竞争,被称为“同类最佳智能体”。其预训练数据量约为 34T tokens,并通过中期训练将上下文窗口扩展至 128K。

训练方法与技术细节

后训练过程分为四个阶段:两轮监督微调(SFT),重点加权智能体数据;教师专业化,为数学、代码、工具使用等领域训练专家教师;多领域策略蒸馏(MOPD),将专家教师蒸馏到单一学生模型;智能体强化学习(Agentic RL),在真实智能体框架中进行多轮强化学习。

Agentic RL 流水线将模型优化、推理和环境执行分离,通过训练引擎、回放引擎和沙箱服务协同工作。黑盒框架(如 OpenClaw 或 Hermes Agent)无需修改即可集成,同时捕获 token 级轨迹用于训练样本重建和验证。

基准测试表现

官方基准测试显示,LFM2.5-2.6B 在指令遵循和工具使用方面表现突出。在 IFBench 上得分 59.17,Multi-IF 得分 80.07,IFStruct 得分 85.49,均超过对比模型。在工具使用方面,ToolSandbox 得分 77.83,BFCLv4 得分 56.88,仅次于 Qwen3.5-9B。

在智能体任务上,Claw-Eval 平均分 62.85,与 Qwen 系列相当,但优于 Gemma 模型。在数学基准 AIME25 上得分 51.87,接近 Qwen3.5-4B 的 49.33,但低于 Qwen3.5-9B 的 56.07。在代码基准 LiveCodeBenchv6 上得分 59.41,落后于所有对比模型,官方承认代码能力是短板。

推理性能与部署

得益于 LFM2 架构,LFM2.5-2.6B 在 CPU 上解码速度达 220 tok/s(Apple M5 Max)和 113 tok/s(AMD Ryzen AI Max+ 395),内存占用低于 2.5 GB。在 GPU 上,高并发下输出速度接近每秒 15K tokens,单张 H100 每天可处理约 1.3B tokens。

模型发布首日即支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等推理框架,并提供了浏览器 WebGPU 演示。开发者可通过 transformers 库加载模型,兼容 transformers>=5.0.0。

可用性与展望

LFM2.5-2.6B 和 LFM2.5-2.6B-Base 已可在 Hugging Face 下载。官方提供了在 OpenClaw、Hermes Agent 和 Pi 等框架中运行本地智能体的指南。

该模型旨在实现“AI 随处运行”的愿景,为高吞吐量的端侧智能体工作负载提供解决方案。

可信度边界

本报告基于 Liquid AI 官方博客,所有基准数据均为官方自测结果,未经独立验证。性能数据可能因硬件和配置而异。

核心结论

LFM2.5-2.6B 展示了小型模型在端侧智能体领域的潜力,但代码能力较弱,且基准数据需独立验证。

主报道

Hugging Face Blog

主报道来源