蚂蚁集团与浙大提出TRACE框架，实现流式对话中的情绪理解

现有情绪识别研究大多采用离线设置：模型先拿到完整视频、音频或对话文本，再输出情绪标签。但真实的人机交互不是这样运作的——在实时视频对话、具身交互和远程会议中，信息是不断到来的，系统必须在观察尚不完整时就形成判断，并随着新证据调整。

论文把这种落差归纳为三个关键挑战：信息尚未完整却需及时判断；模型的高置信度不代表判断可靠；多模态推理有效但调用存在成本。换句话说，流式情绪理解要回答的不只是“这是什么情绪”，还包括“现在的判断是否可靠、是否值得继续等待、是否需要更多证据”。

TRACE 正是围绕这三个问题设计的。它由在线情绪判断、轨迹可靠性评估和上下文重判三个相互衔接的模块构成，目标是在识别效果与响应效率之间取得平衡。

TRACE 的核心假设是：判断是否可靠，不仅取决于模型此刻有多自信，也取决于这个判断是如何形成的。模型连续多次判断为“悲伤”，与模型先后在“喜悦”“惊讶”“悲伤”之间切换，即使最终置信度相同，可靠性也可能不同。

论文的验证子集分析为这一假设提供了数据支撑：当预测类别没有发生切换时，在线判断准确率为 72.6%；发生一次切换时降至 38.3%；发生三次切换时为 24.1%。预测轨迹中的波动，确实提供了单次置信度之外的信息。

更关键的是，轨迹不稳定的样本往往更能从上下文重判中获益。在发生一次类别切换的样本中，上下文重判带来 74 次有效纠正，而将原本正确判断改错的情况为 19 次。这为“把复杂推理用在刀刃上”提供了依据。

在线情绪判断模块以 Qwen2.5-Omni-3B 为基础，持续处理音频前缀，利用语调、停顿、节奏和能量变化等线索，形成随时间更新的情绪概率分布。训练时，团队对不同长度的音频前缀进行监督，并按观察进度分配权重，让模型学习在证据尚不完整时形成初步判断。

轨迹可靠性评估模块综合分析置信度、预测分布的不确定性、类别切换和分布稳定性等信息，同时估计两个问题：当前判断出错的风险有多大？引入上下文后，有多大可能纠正当前错误？基于这两个估计，系统在三种动作中动态选择——直接输出、继续等待、请求重判。

当系统请求重判时，基于 Qwen2.5-Omni-7B 的上下文重判模块会结合当前话语的多模态信息、前文背景、历史摘要和已有预测轨迹重新分析。该模块不仅输出情绪标签，还生成判断依据，并更新对话摘要，为后续话语提供背景信息。在线设置仅使用已到达的信息，后续话语只用于离线对比分析。

为了研究不完整观察下的情绪理解，团队基于《老友记》前两季构建了 StreamMER 数据集。它包含 8926 条话语样本，其中 8111 条训练样本、815 条测试样本，标注话语的视频总时长约 10.33 小时。

数据集以约 1.5 分钟的连贯场景组织数据，保留理解当前情绪所需的前文线索，覆盖喜悦、愤怒、中性、焦虑、惊讶、悲伤和尴尬等主要情绪类别。

标注流程采用模型辅助与人工核验结合：使用 Gemini-3.1-Pro 生成初始标注，再由三名标注人员独立检查与投票，并对分歧样本进行讨论。约 30% 的初始情绪标签在人工核验中得到修改。

在评测设计上，在线模块仅观察已经到来的音频前缀，按需调用上下文重判，并将额外延迟和推理成本纳入评估。这使得研究者能够同时考察模型“识别得准不准”“何时作出判断”以及“为判断付出了多少计算成本”。

在 StreamMER 上，论文报告 TRACE 将仅使用在线音频判断的准确率从 59.87% 提升至 69.47%，相较仅在线判断提升了 9.60 个百分点，同时避免了 44.42% 的上下文重判调用。

在 MELD 和 MER2024 上，团队采用离线多模态情绪理解设置进行补充验证，TRACE 分别减少了 45.37% 和 41.79% 的重判调用。

效率方面，论文报告 TRACE 的实时因子（推理耗时与输入时长之比）为 0.091，低于全量上下文重判的 0.127，降幅约为 28.3%。在流式决策策略实验中，TRACE 的平均决策时间为 3.10 秒，全量重判策略为 4.05 秒。

论文还展示了一个典型案例：随着音频逐步输入，模型的预测从“喜悦”转向“惊讶”，轨迹并不稳定；当 TRACE 触发上下文重判后，模型结合带有指责意味的语气、直视的目光以及对质式对话内容，将情绪修正为“愤怒”。

首先需要明确的是，上述所有性能数字——准确率、重判减少比例、实时因子、决策时间——均来自论文作者自报，缺少第三方独立复现验证。它们反映的是论文实验设置下的结果，而非经过外部确认的普遍结论。

其次，StreamMER 基于《老友记》前两季构建，其情绪表达与真实人机交互场景的分布差异尚不明确。约 30% 的初始标签在人工核验中被修改，标注质量与一致性对结论的影响程度也未被量化。

论文自身也指出，TRACE 在更复杂、细微情绪表达上的理解能力仍待进一步探索；更精准的调用策略与更丰富的真实交互数据仍是未来方向，当前方案并未覆盖。此外，论文链接指向的 arXiv 编号与 2026 年时间线的一致性，无法从来源中核实。