Unsloth 让开源决策模型 Laya 在本地部署，最低仅需 4GB 内存

Unsloth 这次发布的核心卖点可以压缩成一个数字：4GB。官方称开源决策模型 Laya 可在本地部署，最低仅需 4GB 内存，并覆盖 CPU、Mac、Windows、Linux 以及 GPU 环境。对长期把决策类模型放在云端的团队来说，这个数字直接指向一个诱人的可能性——分类、路由这类“小事”不必再出门。

但恰恰是这个数字最含糊。有评论者追问，“最低 4GB”指的是模型权重峰值，还是包含 KV 缓存与上下文的整机占用；在 Mac 上，是按统一内存计算，还是按进程 RSS 计算。这两个口径的差别可能相当大，而目前没有任何第一方说明给出答案。

需要强调的是，4GB 这一要求本身属于厂商声明，不是被独立复现的结论。在口径澄清之前，把它当作采购或部署的硬指标，风险由使用者承担。

Laya 并非单一模型，而是按用途分出的三个版本。默认的 Multilingual 版本体积 678 MB、需 4 GB 内存，支持 100 多种语言、1024 token 上下文。English 版本体积 846 MB、需 5 GB 内存，采用更大的 encoder，但上下文只有 512 token。Typed Decisions 版本同为 846 MB、5 GB 内存，针对发票、安全事件、客服与 agent 轨迹场景做了优化。

这组规格透露出的取舍值得注意：默认版用更小的体积换来了更长的上下文和更广的语言覆盖，而 English 版把预算花在更大的 encoder 上，上下文反而减半。也就是说，“4GB”这个宣传口径对应的是默认版，选择 English 或 Typed Decisions 的用户面对的是 5GB 门槛。

这些体积、内存与上下文数字同样来自厂商与转述者，100 多种语言与 1024 token 上下文等规格未获第三方确认。

官方给出的性能画像是：首次请求加载模型需 10 至 20 秒，之后在 CPU 上为亚秒级响应。GPU 被定位为可选加速，显存不足时会自动回落到 CPU 继续服务。

这套描述如果成立，意味着 Laya 的定位不是高吞吐在线服务，而是常驻进程式的轻量决策组件——一次冷启动的代价，换取后续每次调用的低延迟。GPU 回落机制则试图消除“有没有显卡”这一部署前置条件。

但亚秒级 CPU 响应与 10–20 秒首次加载都缺乏独立复现验证，GPU 显存不足自动回落 CPU 的实际表现与稳定性同样未知。这些是厂商给出的性能预期，不是实测结论。

Laya 通过 Unsloth Desktop 以兼容 Jev 的 API 方式提供服务。从 Jev 迁移的步骤被描述得相当轻：安装 typesafe-sdk，把 TYPESAFE_BASE_URL 指向 http://localhost:8888，SDK 默认的 jev-latest 会映射到设置中所选的模型。安装本身可通过 Unsloth Desktop 或一键脚本完成，并在 Settings → API → Decision API 中开启。

文档中最被反复强调的工程建议是：用 probabilities 而非 confidence 设定决策阈值，例如写成“当 technical 概率 > 0.8 时触发”。原因在于 Laya 的 confidence 计算公式与 Jev 不同，在 Jev 上调好的 confidence 阈值不能直接沿用。这是迁移过程中最容易被忽略、也最容易导致线上行为漂移的一处。

除 confidence 公式差异与 choice 选项的 token 预算截断外，来源称迁移没有其他行为差异，迁移成本被设计得很低。不过“成本很低”属于厂商与转述者的判断，实际迁移难度仍待验证。

Laya 的接口限制是明确的：单请求最多 64 个问题，每个 choice 最多 255 个选项，每个 score 最多 10 档。这些数字构成了使用上的硬边界，超出即无法表达。

更隐蔽的一条限制是 choice 的 token 预算。各选项共享固定 token 预算，带描述的选项超过约 20 个后，标签会被截断。这意味着选项数量在 255 的上限之内，实际可用规模可能远小于 255——一旦每个选项都带描述，约 20 个就是需要警惕的临界点。

对从 Jev 迁移的用户来说，这条截断规则是除 confidence 公式之外唯一被点名的行为差异，值得在迁移前先做一轮选项规模的核对。

把所有数字放在一起看，Laya 的发布信息高度集中在部署门槛与接口兼容性上，而恰恰缺少两类关键数据：一是 4GB 内存要求的统计口径，二是各版本在真实生产场景下的准确率与可靠性。后者没有任何来源提供数据。

这意味着当前的判断只能停留在“能不能跑起来”这一层，而“跑起来之后决策质量如何”仍是一个空白。对于把 Laya 用于发票、安全事件这类对错误容忍度较低的场景，这个空白比 4GB 还是 5GB 更值得关注。

综合来看，Laya 的本地化承诺在纸面上相当完整：低内存门槛、跨平台、兼容 Jev 的 API、明确的接口限制。但这些描述全部来自 Unsloth 官方推文及转述者，缺少第一方独立验证。在口径澄清与第三方复现出现之前，它更适合被当作一个值得试用的候选，而不是一个可以直接替换生产决策链的既定方案。