AI系统在压缩上下文时悄悄丢弃用户指令

AI模型在处理长对话时，上下文窗口成为瓶颈。为缓解这一问题，AI实验室开发了上下文压缩技术（即“压缩”），通过总结对话历史来释放空间。然而，这一过程不可避免地会丢失细节。宾夕法尼亚州立大学的研究人员系统性地研究了哪些细节会丢失以及损失有多严重。

研究发现，最易丢失的是“会话约束”——即用户为本次会话设定的行为规则，例如“在做出任何更改前先与我确认”或“不要在回复中使用我的名字”。这些约束不属于任务本身，也不是永久性的系统指令，因此非常脆弱。压缩系统旨在保持任务连续性，保留目标、当前状态和后续步骤，而用户强加的附加条件则被丢弃。