了解更多

Meta 于 2025 年 12 月 16 日发布 SAM Audio，自称是首个统一多模态音频分割模型。该模型支持三种提示方式：文本提示（如输入“狗叫”）、视觉提示（点击视频中说话的人或发声物体）以及行业首创的时间段提示（标记目标音频出现的时间段）。这些提示可单独或任意组合使用，旨在让用户以自然方式隔离复杂音频混合中的特定声音。

SAM Audio 的核心架构采用基于流匹配扩散 Transformer 的生成式建模框架。它将音频混合与一个或多个提示编码为共享表示，然后生成目标音轨和残差音轨。Meta 还开发了配套的数据引擎，结合高级音频混合、自动化多模态提示生成和伪标签流水线，以生成逼真的训练数据。模型在包含语音、音乐和通用声音事件的真实与合成混合数据上训练。

PE-AV 是 SAM Audio 背后的技术引擎，基于 Meta 于 2025 年 4 月开源的 Perception Encoder 构建。PE-AV 通过提取帧级视频特征并与音频表示对齐，实现视听信息的时间同步。它整合了 PyTorchVideo、FAISS 和对比学习框架，在超 1 亿视频上训练，数据来自开放数据集和合成字幕流水线。Meta 将 PE-AV 比喻为“耳朵”，而 SAM Audio 是“大脑”。

Meta 还发布了 SAM Audio-Bench（首个野外音频分割基准）和 SAM Audio Judge（首个自动评估模型）。SAM Audio Judge 旨在以接近人类感知的方式评估分割质量，弥补传统指标依赖参考音轨的不足。所有模型和工具即日起在 Segment Anything Playground 开放试用。

2026 年 3 月 10 日，Meta 与 World Resources Institute 联合发布 Canopy Height Maps v2 (CHMv2)，包括开源模型和全球地图。CHMv2 的核心改进在于用 DINOv3 自监督视觉模型替换了 v1 中的 DINOv2 骨干。DINOv3 在 SAT-493M 卫星图像数据集上预训练，能够从阴影、纹理和树冠形状等视觉线索中学习树高特征，无需大量人工标注。

CHMv2 的 R² 从 v1 的 0.53 跃升至 0.86，意味着预测与实测值的拟合度大幅提升。模型在高大树木上的偏差显著减少，使预测结果更可信。训练数据集通过增加地理多样化的高质量激光雷达样本得到扩展，Meta 还构建了自动匹配工具并开发了针对冠层高度估计的专用损失函数。

CHMv1 已在多国落地：英国森林研究机构用于国家森林监测；欧盟联合研究中心用于 2020 年全球森林覆盖图，并计划将 CHMv2 用于 3 Billion Tree Initiative（2030 年前种植至少 30 亿棵生物多样性树木）；美国亚特兰大、巴尔的摩等 10 个城市将其用于 Cities for Smart Surfaces 城市规划工具。WRI Ross Center 还将在 Cool Cities Lab 场景规划工具中使用这些地图。

Meta 承认 CHMv2 仍面临挑战，包括数据稀疏区域的预测改进、视角几何效应处理以及时间覆盖扩展以支持变化检测。所有模型和地图已在 Google Earth Engine 和 GitHub 开放。