OlmoEarth平台：行星尺度的地理空间推理

Ai2此前发布了OlmoEarth系列地球观测基础模型，在约10TB多模态卫星数据上预训练，可用于森林砍伐监测、粮食安全和野火风险等应用。但Ai2发现，大多数环境领域的组织缺乏管理完整模型生命周期的工程团队，包括数据标注、微调和大规模推理。基于运营Skylight和EarthRanger等平台超过十年的经验，Ai2构建了OlmoEarth平台，旨在提供从微调评估到大规模推理的基础设施。

地球观测推理的规模与典型ML模型不同：单个微调任务可能移动TB级数据并运行数小时。输入数据可能来自多个提供商，使用不同投影和分辨率，且可能缺失或被云遮挡。输出本身是地图，每个预测必须与周围区域精确对齐。数据获取和预处理往往比模型推理本身更耗时，因此高效的数据管道至关重要。

平台将推理任务分为三个阶段：数据获取与预处理（CPU，高I/O）、推理（GPU）、后处理（CPU）。每个阶段匹配不同的硬件配置，避免将昂贵的GPU用于CPU擅长的任务。平台通过多进程数据加载器持续为GPU提供数据，并将输出直接流式传输到对象存储。

OlmoEarth Run执行层将地理区域划分为分区，每个分区分配给一个计算实例，再细分为更小的窗口供模型处理。分区之间略有重叠，最终拼接时消除接缝。由于分区独立，同一阶段可在数千个实例上并行运行。

以生成覆盖整个北美的野火风险图为例，峰值时使用了约19,600个CPU和994个GPU，网络吞吐量超过168 GB/s。并行化将估计4,737小时的串行计算缩短至约30.5小时，加速155倍。但并行度受云配额限制，是可调参数之一。其他可调参数包括输出分辨率、模型大小和缓存策略。

给定地理区域和时间范围，平台需确定哪些卫星影像应输入模型。这涉及跨不同提供商的目录、格式和发布延迟进行查询。对于光学影像（如Sentinel-2），通常选择云量最少的场景；对于合成孔径雷达，极化通道可能更重要。

平台依赖公共STAC目录和开放标准，但大规模推理可能产生数千个并发元数据查询，远超ESA或微软行星计算机等外部STAC API的处理能力。为此，平台维护自有元数据索引，通过AWS Open Data的SNS通知或定期轮询上游索引来更新。索引存储场景元数据及像素位置指针，运行时选择最佳源并对云优化格式（如COG或Zarr）进行窗口读取，避免下载整个场景。