港科大提出 LexAgentHallu：追踪法律智能体的隐性幻觉

法律大模型正从单轮问答走向智能体：系统不再只生成一段文字，而是规划任务、调用检索工具、读取材料，并依据中间结果继续行动。港科大研究团队提出的 LexAgentHallu，正是把观察对象从最终答案扩展到完整轨迹，并将错误定位到具体步骤。

这一转向的理由在于错误的传导方式变了。把法规名称写错可能只留下文本错误；把已失效规定当成现行法、或把下位规范当成上位法，却可能改变后续的规则选择、事实适用和救济建议。智能体的风险因此不只来自编造，也包括找到真实材料却用错、调用正确工具却填错参数、看到相关结果却误读其支持范围。

LexAgentHallu 因此沿执行轨迹逐步检查：系统如何规划、调用了什么工具、读到了什么结果、保留了哪些信息，以及怎样把事实与规则连接起来。评测不再只问结论对不对，还要检查支撑结论的理由是否真实、准确、前后一致。

LexAgentHallu 建立了一套双层分类体系。第一层关注法律内容本身，包括法源、法律原则、程序规则和事实适用等错误；第二层关注智能体执行过程，包括规划与推理、记忆，以及工具调用与观察结果理解等错误。两层合计包含 7 个中层类别和 27 个细粒度子类。

分类的目的不是给错误换一组名称，而是让问题可被定位：法源伪造需要核验引用，事实-规则错配需要重新检查要件，工具参数错误需要约束调用接口，记忆偏移则指向上下文管理。

基准构建围绕难例和可核验展开：研究团队从多类法律任务中收集数据，过滤容易样本，再由具备法律训练背景的标注者核对答案、法源和推理轨迹，最后完成幻觉分类与专家复核。最终收录 3414 个实例，覆盖 17 个法律类别和 6 类任务。

论文评测了 18 种闭源和开源智能体配置。结果显示，即使表现最好的配置，仍有 89% 的执行轨迹至少出现一次幻觉；所有系统在法律内容层面的幻觉频率都不低于 87.5%。

这组结果并不等于所有法律回答都有同样风险。它说明的是，在这套强调困难样本和完整执行轨迹的评测中，当前系统很难从头到尾保持一条干净、可核验的推理链。

模型、工具和编排方式还会共同改变错误分布。ReAct 式的行动-观察循环在整体幻觉和法律内容幻觉上更有优势；法律专用工作流更能压低过程性错误；预先规划再执行的方式在本实验中没有表现出稳定领先。因此部署智能体时，不能把模型、工具和流程拆开评估。

论文提出 RAWR 指标，即 Right-Answer-Wrong-Reason，只观察最终答案正确的样本，再检查这些样本的执行轨迹中是否仍存在幻觉。结果显示，在答案正确的前提下，平均仍有 68% 的轨迹包含至少一种法律内容幻觉，37% 的轨迹包含至少一种智能体过程幻觉。

正确答案只能说明结论命中，不能证明推理链是干净的。对法律咨询、合同审查和诉讼辅助等应用来说，用户需要的不只是一个看起来正确的句子，还需要能够追溯、核验并经得起反问的理由链。如果系统只在输出端给出结论，却不暴露引用、推理和工具调用的质量，错误就可能在答案正确的表象下继续留存。

不同任务的幻觉频率并不均匀。开放式、长链条、需要综合事实与规则的任务更容易暴露法律内容和过程错误：判决分析的法律内容幻觉频率达到 1.00，案例分析为 0.95；过程性幻觉中判决分析达到 0.83，判决预测为 0.71。较短输出并不必然安全——只要任务要求多步证据整合、期限判断或规则适用，规划和记忆仍可能成为风险点。

论文还分析了 27 个细粒度幻觉子类之间的共现关系，结果显示这些错误并非随机散点，而会形成具有结构的组合。程序期限错误与救济路径错误的共现提升度达到 2.82，程序步骤错误与程序后果错误达到 2.59；最强的跨组信号出现在法源层级错误与法律立场混淆之间，提升度达到 7.07。

这意味着很多看似分散的错误可能共享同一个上游原因：法源层级一旦判断错误，后续的规则立场和事实适用就可能一起偏移；程序时钟一旦算错，期限、步骤和救济路径也可能连续出问题。对系统治理来说，高风险错误可被视为早期信号——一旦检测到法源层级、期限计算、程序步骤或事实要件映射异常，就应触发二次检索、规则校验或人工复核，而不是等最终答案生成后再被动纠错。

落到产品中，智能体至少需要三道检查：生成前明确边界，确认适用法域、任务范围和可回答程度，在管辖权、时效或程序路径不清楚时不直接给出确定判断；执行中验证依据，持续核对检索结果、引用来源、关键事实和工具返回值；输出前检查一致性，核对法源效力、程序期限、构成要件和救济路径。评测对象也应从单一模型扩展为模型-工具-工作流整体。

论文同时提醒谨慎外推：LexAgentHallu 主要基于中国法律体系，并集中于单智能体场景；迁移到普通法、多法域检索或多智能体协作时，法源权威性、先例适用和程序规则都需要重新定义。