推荐系统只会「猜你喜欢」，却未必「听你的」？中科院团队提出多智能体黑盒可控性评估框架

传统推荐系统评估指标如Recall、Hit Rate和NDCG主要衡量模型能否根据历史准确预测下一次交互，回答“系统猜得准不准”，但难以判断外部用户能否引导系统改变推荐方向。中国科学院信息工程研究所提出的CtrlBench-Rec框架，将评估从静态预测扩展到动态外部引导，关注用户需要多少轮交互才能推动系统改变推荐方向、哪些内容可以被引导出来、哪些兴趣能够被塑造。

该框架将推荐系统视为完全不透明的黑盒，不访问模型参数、梯度、召回逻辑和内部用户表示，仅通过搜索、点击等外部行为接口进行测量。这使其适用于无法获得内部信息的线上推荐系统，可作为算法审计和用户控制机制设计的基础工具。

CtrlBench-Rec设计了三个递进任务：目标内容发现（考察能否使系统持续暴露指定内容）、兴趣画像塑造（判断能否改变推荐结果反映的兴趣结构）、流行度偏置缓解（检验能否推动系统减少热门依赖进入长尾区域）。这三个任务分别对应显式目标、隐式兴趣表示和系统内生偏置，构成分层测量。

单个Agent难以在有限预算内充分探索黑盒系统，因此框架采用多智能体机制：先根据真实用户属性和历史行为构造一批具有不同偏好的初始Agent，分别进入黑盒环境探索；然后对Agent画像和行为轨迹进行编码与聚类，使相似策略的Agent进入同一组，组内交换经验后由用户画像融合模块提炼出更集中的控制策略，形成少量Super Probes。这些Super Probes不修改推荐模型，而是作为优化后的外部探针继续测试系统响应能力。

实验覆盖MovieLens-1M和Amazon Toys & Games两个数据集，构建NARM、SASRec、TwHIN-BERT、BGE和Qwen3.5-4B五类黑盒推荐环境。在第20轮交互时，CtrlBench-Rec在五种架构上的覆盖率均高于同规模随机探针：NARM为3.72%，SASRec为8.95%，TwHIN-BERT为12.07%，BGE为27.41%，Qwen3.5-4B为13.93%。外部可控性并不随模型参数规模单调增加，更可能取决于推荐架构、物品表示以及目标语义与检索机制的匹配程度。

不同内容类别的外部可控性差异显著。在MovieLens-1M中，Film-Noir仅占全部物品约1.1%，最终覆盖率为6.8%；Romance物品数量更多，覆盖率却只有6.4%，低于规模更小的War类别。论文认为，一些中等流行类别内部语义过于分散，缺少明确的表示中心，因此同样难以被持续引导。这表明外部可控性不仅受流行度影响，也与目标类别在系统表示空间中的结构有关。

将交互预算扩展到200轮后，CtrlBench-Rec的累计覆盖率在约55.7%附近逐渐饱和，并未继续接近100%。这说明外部可控性存在明确边界：一部分目标内容可能由于召回缺失、表示稀疏或协同信号不足，在当前行为接口下接近不可达。更多交互可以帮助探针更快逼近这一边界，但无法保证突破推荐系统内部的结构性限制。

在兴趣塑造实验中，简单场景下Agent初始历史较短，目标相似度在前十轮内由约0.53上升到0.61；多兴趣平衡场景中最终目标相似度超过0.72；兴趣迁移场景中，Agent已有与目标方向相反的强兴趣，系统早期表现出明显历史惯性，但大约从第9轮开始原有兴趣相似度持续下降，最终降至约0.34。这表明持续、连贯的外部行为可以在一定程度上塑造兴趣结构，但已有历史越强，转向成本越高。

在流行度偏置缓解实验中，CtrlBench-Rec能够在早期阶段更快发现新的长尾内容，但随着交互继续，所有方法的绝对长尾发现量仍然较低，与随机方法差距逐渐受限。更好的外部探针可以提高长尾探索效率，却无法仅靠用户侧行为消除推荐系统内部的流行度偏置。当长尾物品缺少曝光、语义关联和协同信号时，外部引导能够缓解问题，但难以完全突破系统底层的召回和表示限制。