偏好对齐也能在推理时完成！256-16384个控制参数达到DPO水准

偏好对齐的常规路径是 RLHF、DPO 这类通过反馈优化模型权重的方法。但这项研究把注意力移到了另一个环节：支持目标的计算可能已经存在，问题在于它是否稳定地主导生成。论文提出的直接隐状态对齐（DHSA），把承载偏好计算的推理时隐状态作为直接适配空间，基座权重保持冻结。

这个转向意味着对齐的对象从「模型参数」变成了「推理过程中的状态」。论文给出的理由是，外部偏好描述的是最终行为，而模型内部运行的是层层计算；仅找到对生成「影响大」的组件，还无法判断它在推动目标还是抵消目标。

为了回答「偏好在推理中如何形成」，团队提出残差竞争图（RCM），将外部指定的偏好映射回推理时的原生计算。其具体操作以 RCM-Zero 为例：对同一输入，比较组件正常写入与写入置零后的后续计算，让模型继续完成生成。如果正常写入时目标行为相对备选行为更占优，这项原生作用就在支持目标；反之是在抵消目标。两者的差值给出作用的方向与强度。

借助 RCM，团队在不同偏好任务中观察到：同一次预测形成时，支持目标与抵消目标的作用可以共存，论文称之为残差竞争，其普遍程度随任务而异。有些组件平均支持目标，有些平均抵消目标；同一组件也可能随输入改变作用方向。这种竞争也出现在模型已经给出目标回答的样本中。

论文还给出一个知识冲突案例：模型原本坚持自身知识，仅将一个注意力头的输出置零，它就转向按给定资料回答。输入和基座权重都没变，一处局部状态变化便改变了生成的回答。这一案例属于论文自述，用于说明局部状态改变对最终行为的影响。

一个容易被忽略的发现是：DPO 训练会显著重组内部作用，并能削弱部分抵消效应，但这些效应仍可能保留。论文没有给出保留程度的明确量化。

这构成对「对齐即权重改写」这一默认假设的限定：输出更符合偏好，并不意味着内部作用已经一致。反过来说，如果抵消效应在 DPO 之后仍可能残留，那么仅靠权重层面的优化未必能完全消除内部竞争——这是从论文观察出发的推断，而非论文直接结论。

因果激活状态转移（CAST）是论文给出的具体实现。RCM 选出少量偏好相关接口，CAST 通过常向量或低秩映射学习局部调整，在组件写回残差流之前改变状态，让模型从这里继续生成。

训练方式上，本文以 DPO 形式的成对偏好目标训练 CAST，只更新控制器，不更新基座权重。控制器与基座权重分离，能够在推理时启用或移除，也能叠加到 DPO 模型上。干预时机可以选择覆盖提示处理与生成全过程，也可以只在提示处理（prefill）阶段介入，通过改变提示计算与缓存状态影响后续生成。

论文称部分设置仅在 prefill 阶段干预即可，但未说明具体是哪些设置。论文还称将 SFT 上学到的控制器迁移到 DPO 模型，只校准强度，还能进一步改善表现，但未给出具体改善幅度。这两点均属作者自述。

实验在 ConFiQA、IMDb 和 TL;DR 上展开，分别模拟 RAG 知识冲突、考察情感控制与开放式摘要。模型包括 GPT-2-large（0.774B）、GPT-J（6B）、Qwen2（7B）、Llama-3 及其 LION 版本（8B）；RCM 定位实验还覆盖 Qwen2.5（14B）。

论文称，在三类任务中，CAST 部署时仅启用 256–16,384 个控制参数，就达到了与 DPO 相竞争的对齐水平。选位对照被用来支持 RCM 对干预的指导作用。

需要明确的是，这一性能结论为作者自述，缺乏第三方独立验证。论文也未给出跨任务的统一量化结论，残差竞争的普遍程度随任务而异。因此「256 个参数达到 DPO 水准」应被理解为论文的主张，而非已被独立复现的事实。

论文称 DHSA 的适用范围可继续拓展到其他状态变换与学习目标，并提出未来可将 PPO、GRPO 等强化学习方法以及 MOPD 等蒸馏方法用于隐状态控制器训练，但这些仍有待探索与验证。

从已披露的信息看，这套方法的定位是：为冻结的基座提供一种独立于权重、可按需启用的偏好适配方式，并让机制分析进入实际对齐。它是否能在更大模型、更多任务上稳定复现论文自述的水平，目前没有独立证据。