返回信息流
新闻事件
A重点81
机器之心
1 个来源

Perplexity 推出本地优先 AI 智能体框架 Portable Computer,实现零成本推理

Perplexity 发布了 Portable Computer,一个专为端侧模型设计的 AI 智能体框架,利用 Qwen 3.8 27B 等本地模型实现零推理成本。该框架在本地运行,仅在必要时调用外部服务,从而保护隐私并降低成本。在基准测试中,其性能优于通用框架,展示了本地 AI 的潜力。

SynthePulse Insight · AI 深度解读

Perplexity Portable Computer:本地优先智能体的设计哲学与实测

版本 1 · 1 个来源

Perplexity 推出 Portable Computer,一个围绕端侧模型 Qwen 3.8 27B 设计的本地优先智能体框架,宣称能以接近零推理成本处理知识工作,同时保护隐私。本文基于官方博客与机器之心报道,拆解其设计原则、基准测试数据与局限。

  • Portable Computer 默认全栈本地运行,模型、框架、对话和轨迹均在用户设备上,敏感数据不离开设备,本地推理不产生费用。
  • 框架针对端侧模型优化:最小化系统提示、按需加载技能、上下文压缩、将 MCP 连接器转为命令行工具、强制沙盒执行。
  • 在 BrowseComp 网络搜索测试中,Computer 准确率 66.7%,优于 Pi(50.2%)和 Hermes(43.9%),且耗时和 token 消耗最低。
  • 在 ParseBench-100 多模态文档理解中,Computer 得分 65.1%,远超 Hermes(34.6%)和 Pi(13.9%),但布局仍是难点。
  • 通过顾问升级(如 Claude Opus 5),Terminal Bench 2.1 得分从 59.6% 提升至 73.0%,API 成本约 0.415 美元,但仍低于前沿模型单独表现(82.4%,0.65 美元)。
  • 后训练模型 PPLX 27B 在内部 Local Knowledge Work Bench 上得分 85.4%,高于基础模型的 82.6%,但 token 消耗增加。
展开章节目录本地优先的动机与设计原则

本地优先的动机与设计原则

Perplexity 推出 Portable Computer,旨在利用可本地部署的模型(如 Qwen 3.8 27B)实现接近云端大模型的效果。其核心动机是应对 Token 消耗和数据隐私问题:闭源模型 API 每次请求都会将私有信息带离设备,而本地推理不产生费用,数据留在设备边界内。

框架设计遵循几个关键原则:上下文效率(保持核心框架简洁,技能按需加载,支持上下文压缩)、连接器作为命令行工具(避免 MCP 服务器庞大的工具定义占用上下文)、自我验证(模型或钩子触发验证以提升性能)、沙盒执行(OS 级沙箱限制进程、文件路径和网络访问,且默认启用,不可降级)。

协调器是确定性框架代码,而非大模型,负责维护循环、构建上下文和执行策略;本地模型提出下一步操作,协调器在沙箱中执行。外部功能(如网络搜索、连接器、顾问)仅在用户启用并批准时才会跨越设备边界。

基准测试:框架本身的性能

为单独评估框架性能,Perplexity 使用相同的 Qwen 3.8 27B 模型(未后训练)在 DGX Spark 上对比 Portable Computer 与开源框架 Hermes、Pi。网络搜索测试基于 1266 个 BrowseComp 任务:Computer 准确率 66.7%,Pi 50.2%,Hermes 43.9%;平均运行时间 402.1 秒,token 85.2 万,比 Hermes 少 61% 时间和 16% token,比 Pi 少 51% 时间和 70% token。

多模态文档理解在 ParseBench-100(100 个任务,涵盖图表、布局、表格、文本、格式各 20 个)上:Computer 平均得分 65.1%,Hermes 34.6%,Pi 13.9%;Computer 耗时 60.6 秒/任务,token 20.1k,远低于 Hermes(108.3 秒,32.1k)和 Pi(410.5 秒,829.1k)。Computer 在所有五个类别中领先,但布局仍是三者的共同难点。

顾问升级与后训练:弥补差距

对于超出端侧模型能力的复杂任务,框架提供顾问工具:本地模型可请求更强大的前沿模型(如 Claude Opus 5)提供规划、歧义解决、故障恢复或结果验证。升级可选,用户可控制启用和批准方式;顾问仅接收经批准的上下文,无法直接访问设备文件或工具,且发送前会应用 PII 分类器标记敏感信息。

在 Terminal Bench 2.1(89 个编码任务)上,完全本地化的 Qwen 3.8 27B 得分为 59.6%,升级到 Claude Opus 5 顾问后提升至 73.0%,每次部署 API 成本约 0.415 美元;单独运行 Claude Opus 5 得分为 82.4%,成本 0.65 美元。升级以约三分之二的前沿成本弥补了五分之三的差距,但无法完全消除。

Perplexity 还利用合成数据对 Qwen 3.8 27B 进行后训练(拒绝采样微调 + 强化学习),生成 PPLX 27B。在内部 Local Knowledge Work Bench(53 个任务,覆盖七个知识工作类别)上,基础模型下 Computer 得分 82.6%(Pi 77.6%,Hermes 74.0%),PPLX 27B 将得分提升至 85.4%,但 token 消耗增加,预计运行时间 250 秒。

局限与未来方向

尽管本地优先方法在成本和隐私上优势明显,但端侧模型在绝对性能上仍不及前沿模型。在 Terminal Bench 2.1 高难度编码任务中,本地模型在所有测试平台上均落后于前沿模型,顾问升级只能缩小差距,不能完全消除。

Perplexity 认为,随着芯片、模型和设备的进步,本地处理的知识工作范围和质量将持续扩展。他们计划发布技术报告详细描述训练过程,并开源评估基准。

可信度边界

本文主要基于 Perplexity 官方博客(经机器之心转载)的自我报告,所有基准测试均由 Perplexity 自行设计或选择,可能存在利益偏向。部分数据(如 BrowseComp、ParseBench-100、Terminal Bench 2.1)为第三方基准,但测试条件由 Perplexity 控制。PPLX 27B 的得分来自内部基准,尚未经独立验证。

核心结论

Perplexity Portable Computer 展示了本地优先智能体的可行性:通过精心设计的框架和后训练,端侧模型能在知识工作场景中接近前沿模型表现,同时显著降低成本并保护隐私。但高难度任务仍需云端顾问,且所有性能数据均来自 Perplexity 自身,需谨慎解读。

主报道

机器之心

主报道来源