A重点71
机器之心
1 个来源openJiuwen协同昇腾推出「算力亲和」技术,显著降低推理时延与存储占用
华为团队联合打造的openJiuwen开源智能体平台与昇腾协同,推出「算力亲和」技术,通过Agent Hint机制实现KV Cache的主动管理,使首token时延降低一半,推理存储占用下降25%。该技术打通了Agent框架与推理引擎的语义通道,有望提升多智能体任务的推理效率。
华为团队联合打造的openJiuwen开源智能体平台与昇腾协同,推出「算力亲和」技术,通过Agent Hint机制实现KV Cache的主动管理,使首token时延降低一半,推理存储占用下降25%。该技术打通了Agent框架与推理引擎的语义通道,有望提升多智能体任务的推理效率。
主报道
主报道来源