返回信息流
新闻事件
机器之心
1 个来源

Nature Machine Intelligence|人脑信号可直接引导语言模型进行鲁棒推理

北京大学、清华大学和微软亚洲研究院的研究者在 Nature Machine Intelligence 发表研究,发现语言模型内部表征与人脑推理相关脑区的任务态 fMRI 活动存在部分对齐。研究进一步利用脑信号诱导的方向,在推断阶段干预模型表征或在训练阶段微调模型参数,将表征对齐转化为改善推理鲁棒性的神经引导。该工作将语言模型与大脑的关系从相关性分析推进到功能性神经引导,为脑启发人工智能提供了新路径。

SynthePulse Insight · AI 深度解读

脑信号能否真正“引导”语言模型:从表征对齐到鲁棒推理的一条新路径

版本 1 · 1 个来源

北京大学、清华大学与微软亚洲研究院的研究者在 Nature Machine Intelligence 发表研究,声称语言模型内部表征与人脑推理相关脑区的任务态 fMRI 活动存在部分对齐,并进一步用脑信号诱导的方向去干预模型表征或微调参数,从而改善推理鲁棒性。本文只依据该报道梳理其证据链、数字与边界。

  • 研究把语言模型与人脑的关系从“表征是否相似”推进到“脑信号能否用于改善模型”,提出神经引导(NARI 推断期干预、NARF 参数微调)两条路径。
  • 整体推理任务下,模型表征平均可解释推理相关脑区约 76% 的可解释方差,且演绎推理脑区与多重需求网络显著高于核心语言网络。
  • 但按两类推理问题分别分析时,神经可预测性明显降至约 27%,说明细粒度层面模型与人脑表征差异仍存。
  • NARI 对纳入分析的原始错误问题实现 100% 纠错覆盖,优于随机脑信号基线与随机方向基线。
  • NARF 与语言监督结合后,准确率平均提升约 2.2 个百分点,并可泛化至命题推理与自然语言一阶逻辑推理,最高提升达 13.2 个百分点。
  • 实验主要聚焦基础演绎推理,fMRI 时间分辨率难以追踪复杂思维的快速变化,作者提出 EEG、MEG 等更高时间分辨率模态作为未来方向。
展开章节目录一个被重新提出的问题:相似不等于可用

一个被重新提出的问题:相似不等于可用

语言模型与人脑是否以相似方式推理,长期停留在“表征对齐”层面:在相同刺激或任务下分别提取模型隐藏状态与脑活动,再比较两类表征结构是否一致。常用指标是神经可预测性(neural predictivity,也称 brain score),即用模型表征预测脑活动,并以预测结果与真实神经响应的相关程度衡量对应关系。

该报道引用的背景观点指出,支持语言加工的核心脑网络与支持推理等复杂思维的系统可以相互分离,语言更接近服务于交流的信息传递系统,而非复杂思维的必要条件。既有 NeuroAI 研究已发现语言模型内部表征与人脑语言网络活动存在一定对应,多模态大模型也能形成与人类物体概念表征部分相似的结构,但对逻辑推理这类超越语言加工本身的高阶任务,系统证据仍缺乏。

由此产生的开放问题是:即使模型与人脑存在相关性对齐,这种对应是否具有功能意义,即人脑信号能否反过来用于引导模型进行鲁棒推理。该研究声称把这一关系从相关性的表征分析推进到功能性的神经引导。

对齐有多深:76% 与 27% 之间的落差

研究使用公开的任务态 fMRI 数据,参与者完成三段论推理与传递关系推理两类任务,并判断结论能否由前提推出;为减少语义干扰,问题主要由伪词、虚构名称和受控属性关系构成。模型侧选取 Qwen、Llama、Mistral、Phi 和 Gemma 等系列的 10 个开源模型,参数规模覆盖 1.5B 至 72B,并提取内部激活表征。

结果显示,当考虑整体推理任务时,模型表征平均可以解释推理相关脑区约 76% 的可解释方差,且存在区域特异性:演绎推理脑区和多重需求网络中的神经可预测性显著高于核心语言网络,这一趋势在不同模型家族中保持一致。

但报道同时给出反向证据:当对两类推理问题分别分析时,神经可预测性明显下降至约 27%,表明在更细粒度层面上模型与人脑表征的差异仍然存在。即便如此,模型的神经可预测性仍显著高于未训练模型,并保持区域特异性。报道的结论是“部分对齐”——模型捕捉到与人脑推理活动部分共享、具有脑区特异性的结构,但在具体推理类型内部仍有明显差异。

从相关到干预:NARI 与 NARF 两条路径

研究提出的神经引导方法先学习从模型隐藏状态到 fMRI 空间的线性映射,然后针对模型回答错误、而人类回答正确的问题,计算映射后的模型表征与真实脑活动之间的相似度指标,并对模型隐藏状态求梯度,得到模型隐空间中的神经引导方向。该方向由模型表征与大脑表征的联合结构决定。

第一种用法是神经活动引导的表征干预(NARI):在模型推断过程中直接修改内部表征、不更新参数。报道称,对于纳入分析的原始错误问题,NARI 最终实现 100% 的纠错覆盖,显著优于仅保留模型表征结构的随机脑信号基线和随机方向基线。进一步聚合多个问题和参与者产生的成功干预方向后,可得到可迁移到新问题的通用方向,在多个模型上提升新推理问题的测试表现,并可一定程度扩展至具有思维链的模型推理过程。

第二种用法是神经活动引导的表征微调(NARF):通过微调使模型中间表征接近脑信号引导的目标,把表征层面的知识内化到参数中。报道援引既有研究指出,语言模型对即使相对简单的推理问题仍存在鲁棒泛化问题,例如前提呈现顺序会显著影响模型表现;因此训练使用 fMRI 实验中的三段论与传递关系问题,测试则引入新问题、不同前提顺序与数量、以及不同逻辑类型的推理问题。结果显示,微调后的模型在不同前提数量和排列顺序下均获得稳定提升,正确与错误逻辑问题在中间层中的分离也更加清晰,性能增益还能迁移至命题推理。

与语言监督互补:2.2 与 13.2 个百分点

研究进一步声称,神经引导带来的增益与常规语言层面监督是互补的。语言监督通过最终输出词元的交叉熵损失直接约束模型给出正确答案,NARF 则同时推动中间表征朝更接近人脑任务态神经活动的方向变化;两种目标分别作用于最终行为和内部表征,因此可以共同参与训练。

报道给出的结果是:加入脑信号引导后,模型准确率相较仅使用语言监督有一致提升,平均约 2.2 个百分点,且提升可泛化至具有不同逻辑结构的命题推理以及自然语言一阶逻辑推理,最高提升可达 13.2 个百分点。研究还测试了采用合成训练数据进行语言监督的设定,结果显示神经引导仍具有额外增益;内部表征的层级轨迹分析显示,神经引导相比仅使用语言监督可对正确与错误逻辑问题的中间表征形成更具区分性的推断轨迹。

框架还被扩展至 Human Connectome Project 的关系加工任务,报道称任务态脑活动也能诱导有效的表征干预方向,神经引导也能在语言监督基础上带来一致增益,表明该框架并不局限于单一演绎推理数据集。

边界与不确定性:基础演绎推理与 fMRI 的时间分辨率

报道明确列出当前实验的局限:主要聚焦基础演绎推理,fMRI 的时间分辨率难以追踪复杂思维过程中的快速变化。作者提出,未来更高时间分辨率的 EEG、MEG 等模态数据,以及覆盖更复杂认知过程的神经数据,可能支持更细粒度的分析与引导。

需要区分证据层级:上述 76%、27%、100% 纠错覆盖、2.2 与 13.2 个百分点等数字,均来自该微信公众号对 Nature Machine Intelligence 论文的转述,属于二手报道;本文未获得第一方论文原文核对,因此这些数字与结论应视为来源主张而非独立确认事实。

同样属于来源主张的还有“脑信号引导方向包含更一般的推理相关信息”“模型学到的是跨问题、跨推理类型的表征知识”等解释性判断。这些判断由报道中的实验现象支持,但其一般性与机制仍待更多独立验证。

可信度边界

本文仅依据机器之心对 Nature Machine Intelligence 论文《Beyond representational alignment with brain-guided language models for robust reasoning》的报道撰写,未查阅论文原文、预印本或代码仓库。文中所有具体数字(76%、27%、100%、2.2、13.2 个百分点等)与结论均为该二手报道的来源主张,未经第一方或第三方独立核实;读者应将其视为待验证的研究声明,而非已确认事实。

核心结论

该研究提出的核心转变是:不再只问模型与人脑表征是否相似,而问脑信号能否作为额外学习信号改善模型推理鲁棒性。报道给出的证据显示存在部分且具脑区特异性的对齐,并可转化为推断期干预与训练期微调;但细粒度对齐下降、实验限于基础演绎推理、fMRI 时间分辨率不足,以及数字均来自二手转述,构成当前结论的主要边界。

主报道

机器之心

主报道来源