NVIDIA NeMo Switchyard：跨模型路由AI代理工作负载

NVIDIA 发布了 NeMo Switchyard，这是一个用于在多个 AI 模型之间路由代理工作负载的工具，以优化成本、延迟和准确性。该工具允许开发者根据任务需求动态选择最合适的模型，避免将所有请求发送到最大的模型。