微软发布AI智能体LLM路由方案，最高节省85%成本

微软发布了一个用于在Azure Kubernetes服务上路由AI智能体流量的参考架构，结合了RouteLLM、agentgateway和Kubernetes Gateway API Inference Extension。该方案通过将简单调用路由到低成本模型，可节省高达85%的成本，但需根据实际流量校准阈值。