AI Agent安全不能只靠Prompt了：上海AI Lab探索Agent安全进化新范式

上海人工智能实验室联合复旦大学、上海交通大学、香港科技大学和浙江大学提出SHE与SafeEvolve两项工作，探索大模型Agent的安全进化新范式。SHE从完整执行轨迹出发，将安全Harness拆解为System Prompt、Rule Bank、Safety Memory和Tool Policy四类组件，通过轨迹诊断实现局部修订与验证。SafeEvolve进一步将经过验证的Harness安全经验写入Policy model，通过Harness-use SFT等阶段提升模型自身的安全决策能力。