重新构想独立：Meta的AI模型助力匹兹堡大学变革辅助机器人技术

匹兹堡大学人类工程研究实验室（HERL）领导的RAMMP项目，获得美国卫生高级研究计划局（ARPA-H）最高4150万美元资助。ARPA-H是美国专注于变革性生物医学突破的研究资助机构。项目合作伙伴包括辅助技术公司ATDev。

美国约有550万轮椅使用者，每年超过10万起与轮椅相关的伤害在急诊室接受治疗，多由绊倒和跌倒引起。项目旨在通过集成先进机器人、新型操作系统和数字孪生技术，解决当前辅助移动平台设计的不足。

RAMMP集成了Meta的多个开源AI视觉模型，包括DINO（自监督视觉Transformer）和Segment Anything Model（SAM）。DINO擅长从无标注数据学习视觉表征，适用于标注数据稀缺的场景；SAM能以最少提示识别并勾勒图像或视频中的任意物体。

DINOv3作为紧凑高效的“视觉大脑”，可叠加轻量级任务模块（如物体检测、运动跟踪），实现视觉数据复用和功耗节约。SAM则用于自动标注训练数据，使团队能快速生成覆盖各种角度、高度、背景和光照条件的高质量标注。

感知系统基于RF-DETR轻量检测模型，使用DINOv2嵌入微调，并通过SAM自动标注数据。结合数据增强和多视角策略，系统实现了实时360度环境感知和自适应物体检测。

在电池供电、尺寸和重量受限的硬件上部署DINOv3和SAM面临显著工程挑战，包括电池寿命、散热、网络连接不可靠等。项目采用边缘计算，直接在设备上处理摄像头图像和传感器数据，确保即时响应。

工程师通过降低内存占用、使用低精度推理、部署适合实际条件的格式来优化模型。在实用分辨率和高效批处理下，模型在紧凑硬件上保持快速可靠，有时需牺牲少量边界精度或特征细节以换取速度和稳定性。

RAMMP项目参谋长Sivashankar Sivakanthan表示：“对于辅助机器人，性能不是由基准准确率衡量的，而是系统能否在日常生活的不可预测性中可靠运行。在设备上运行DINOv3和SAM，才能实现用户可信赖的实时感知，无需依赖连接或牺牲安全。”

原型已集成基于DINO的工具，可查询机器人图像传感器以检测自动门按钮、杯子和路缘/地面，用于导航辅助。工程师正专注于语音和触摸输入，让用户选择和交互周围物体。

自然语言与图像数据结合，允许用户以更自然的方式查询环境和发出指令，直接降低认知负荷和上下文切换成本。例如，用户只需说“捡起桌上的杯子”即可操作。

当前挑战包括确保模型输出的准确性和时间一致性，以及跨用户提示和输入的鲁棒性和可预测性。

HERL领导项目，凭借生物医学工程和用户中心研究的深厚专业知识设定愿景；ATDev提供工程视角，将转化研究变为现实设备。两者结合学术领导力与技术创新的优势。

项目强调用户中心设计，目标是让辅助技术反映真实世界的复杂性，增强用户信心、独立性和物理安全。