HaluMem：首个智能体记忆系统操作级幻觉评测基准发布

当AI助手把用户的新职位说错时，直觉上会归因于模型在回答时“胡说”。但错误未必发生在回答那一刻：它可能在整理对话时就记错了职位，也可能保留着旧记录没有完成更新，还可能拿到了正确记忆却在回答时换成另一个头衔。三种故障对用户呈现的都是同一句错误答案，修复方向却完全不同。

HaluMem的切入点正在这里。现有记忆评测主要采用端到端问答：输入一系列对话，提出问题，比较回答与标准答案。这能衡量系统最后答得怎么样，却很难说明它为什么答错。HaluMem为中间操作也提供可以核对的标准答案，把评测深入到记忆提取、记忆更新和记忆问答三个环节，追踪错误究竟在哪里产生、又如何影响后续回答。

该工作由中国电信研究院与上海记忆张量（MemTensor）公司等研究者提出，论文题目为《HaluMem: Evaluating Hallucinations in Memory Systems of Agents》，作者包括Ding Chen、Simin Niu、Kehang Li、Peng Liu、Xiangping Zheng、Bo Tang、Xinchi Li、Feiyu Xiong、Zhiyu Li。论文已被EMNLP 2026主会接收，项目与arXiv论文均已公开。需要说明的是，“首个面向智能体记忆系统的操作级幻觉评测基准”这一首创性表述来自论文方与报道方，尚无第三方独立确认。

HaluMem分别检查三个问题。记忆提取：该记的信息是否被完整、准确地记录，有没有把虚构细节也写进去。记忆更新：新信息出现后，旧记忆是否得到正确修改，有没有漏改、改错或留下冲突。记忆问答：系统最终能否利用记忆给出正确回答，错误回答与因信息缺失而无法回答各占多少。

这些检查按对话时间顺序展开，在相关会话处理完成后立即触发。由此，评测不再只得到一个总分，还能看到不同操作阶段的具体问题。报道给出的两个例子说明了这种区分：用户说“我最近开始喜欢鹦鹉了，以前确实不喜欢”，系统却提取成“用户不喜欢鹦鹉”，错误发生在写入记忆的第一步；用户明确表示健康状况变差，系统却按助手的错误回忆把健康状态更新为“良好”，即使后续检索没有出错，回答也已经建立在错误记录之上。

还有一种更隐蔽的情况：助手自己编出的细节被记忆系统当成了用户事实。对话中AI可能顺口提到一个并不存在的朋友或经历，用户没有明确确认，系统却把它存进长期记忆。一次未经证实的表达，就可能成为下一次回答的“依据”。