Segment Anything Model 3

SAM 3.1 的核心创新在于对象复用（object multiplexing），它使模型能够在单次前向传播中同时追踪最多 16 个对象。此前，每个对象都需要独立的前向传播，计算资源消耗随对象数量线性增长。通过复用，冗余计算被消除，内存瓶颈得到缓解。

这一改变直接带来了速度提升：对于中等数量对象的视频，处理吞吐量从每秒 16 帧提升至 32 帧（单块 H100 GPU），实现翻倍。Meta 表示，这使得实时对象追踪在复杂视频中成为可能，同时降低了对 GPU 资源的需求，让高性能应用能在更小、更易获取的硬件上运行。

SAM 3.1 采用全局推理（global reasoning）方法，将所有追踪对象作为一个整体进行处理，而非独立处理每个对象。这种整体视角不仅简化了计算流程，还提升了拥挤场景下的追踪准确性。

全局推理与对象复用协同工作：复用减少了重复计算，而全局推理则确保模型在共享特征时不会丢失对单个对象的辨识能力。Meta 强调，这一组合在保持高精度的同时，显著提升了处理效率。

SAM 3.1 是 SAM 3 的更新版本，而 SAM 3 本身引入了提示式概念分割（promptable concept segmentation）能力，支持文本提示（开放词汇的短名词短语）和图像示例提示，突破了固定标签集的限制。这使得模型能够分割“条纹红伞”等细微概念，而不仅仅是“人”这样的常见类别。

为了评估这一能力，Meta 创建了 Segment Anything with Concepts (SA-Co) 基准数据集，涵盖图像和视频中的提示式概念分割。SAM 3 在该基准上相比现有系统取得了 2 倍的性能提升。此外，SAM 3 还保留了 SAM 1 和 SAM 2 中的视觉提示（掩码、框、点），进一步增强了灵活性。

Meta 还构建了结合 AI 与人工标注的新型数据引擎，以获取大规模、多类别、带分割掩码和文本标签的高质量数据。这一引擎解决了网络数据中此类标注稀缺的问题，尤其针对视频中每个对象类别的完整掩码标注这一耗时任务。

SAM 3 和 SAM 3D 已用于 Facebook Marketplace 的“View in Room”功能，帮助用户在购买前可视化家居装饰品（如灯具或桌子）在自家空间中的样式和适配度。

在创意工具方面，SAM 3 即将集成到 Instagram 的 Edits 应用中，使创作者能够通过一次点击对视频中特定人物或对象应用动态效果。此外，Meta AI 应用的 Vibes 功能以及 meta.ai 网站也将推出基于 SAM 3 的新创作体验，包括 AI 视觉创作工具和 AI 生成视频的混剪功能。

Meta 还与 Conservation X Labs 和 Osa Conservation 合作，利用 SAM 3 发布了首个公开可用的野生动物监测视频数据集。

SAM 3.1 作为 SAM 3 的即插即用替代品发布，模型权重、更新后的代码库和研究论文均已公开。用户可通过 Segment Anything Playground 在线体验模型能力。

SAM 3 的模型权重、评估数据集（SA-Co）和微调代码也已一并发布。Meta 鼓励社区下载使用，并探索在创意媒体修改中的应用。