SPEX与ProxySPEX算法：大规模识别LLM关键交互

大型语言模型（LLM）的行为通常不是由孤立组件决定，而是源于特征、训练数据与内部组件之间的复杂依赖。现有可解释性方法——特征归因、数据归因与机制可解释性——都面临同一根本障碍：规模化复杂性。随着特征、数据点或组件数量增长，潜在交互数量呈指数级增长，穷举分析在计算上不可行。

归因的核心是消融：通过移除输入片段、训练子集或内部组件，观察输出变化。每次消融都伴随高昂成本，无论是推理调用还是重新训练。因此，目标是以最少的消融次数计算归因，而 SPEX 正是为此设计。

SPEX（Spectral Explainer）借鉴信号处理与编码理论，其关键洞察是：虽然总交互数量庞大，但真正有影响力的交互相对稀少，且通常只涉及少量特征（低阶性）。这两个性质将困难的搜索问题转化为可解的稀疏恢复问题。

SPEX 通过策略性选择的消融，将大量候选交互合并为组合信号，再利用高效解码算法分离这些信号，从而识别出对模型行为负责的具体交互。该方法在特征归因中表现出色，尤其在输入规模扩展至数千特征时，仍能保持高忠实度。

在 SPEX 基础上，ProxySPEX 识别出复杂模型中常见的另一结构性质：层级性——若高阶交互重要，其低阶子集往往也重要。这一观察带来显著的计算成本改善：ProxySPEX 以约 10 倍更少的消融次数达到与 SPEX 相当的性能。

这一改进使得交互发现能够应用于更大规模的模型与数据集，为特征、数据与组件归因开辟了新应用。

在情感分析任务中，SPEX 在短输入上与现有交互技术（Faith-Shap、Faith-Banzhaf）的忠实度相当，但在上下文扩展至数千特征时，SPEX 仍保持高性能。相比之下，LIME 和 Banzhaf 等边际方法虽能处理该规模，但因无法捕捉复杂交互而忠实度显著较低。

在改良版电车难题中，GPT-4o mini 在修改后的问题上正确率仅 8%。标准归因方法 SHAP 将“trolley”的单个实例识别为主要因素，但替换为同义词对预测影响甚微。SPEX 则揭示出两个“trolley”实例与“pulling”“lever”之间的高阶协同，这一发现符合人类直觉。当这四个词被替换为同义词后，模型错误率降至近零。

数据归因旨在识别对模型预测最负责的训练数据点。交互分析在此同样关键：冗余交互（如语义重复）可能强化错误概念，而协同交互则对定义决策边界至关重要，单个样本无法形成。

ProxySPEX 被应用于在 CIFAR-10 上训练的 ResNet 模型，识别出多种困难测试点的显著交互示例。协同交互通常涉及语义不同的类别共同定义决策边界，例如汽车与跑车、卡车、红色送货车的视觉特征共享；冗余交互则倾向于捕捉视觉重复。