AI模型指纹:用随机数检测模型是否被调包
研究人员发现,不同AI模型在生成随机数时有独特偏好,例如GPT-4o偏爱42,Claude Sonnet 5偏爱47。这一特性可作为模型指纹,用于检测聚合商是否偷偷替换了用户选择的模型。
研究人员发现,不同AI模型在生成随机数时有独特偏好,例如GPT-4o偏爱42,Claude Sonnet 5偏爱47。这一特性可作为模型指纹,用于检测聚合商是否偷偷替换了用户选择的模型。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
布拉格经济大学研究者发现,通过分析AI模型生成随机数的偏好,可以低成本识别模型身份,进而揭露聚合平台可能存在的模型调包行为。
像OpenRouter这样的模型聚合商,一个入口接入数百个模型,用户选择模型名称后,请求最终落到哪台机器、运行的是什么模型,用户完全无法知晓,也没有任何凭证。这种不透明性为模型调包提供了可能。
布拉格经济大学的Tomáš Bruckner提出了一种巧妙的验证方法:利用AI模型在生成随机数时的固有偏好,为每个模型建立“指纹”,从而低成本地识别模型身份。
AI模型无法生成真正的随机数,这是一个已知缺陷。Bruckner的研究反其道而行之,将这一缺陷转化为识别特征。实验发现,不同模型有独特的数字偏好:GPT-4o最偏爱42(37和57也常说),Claude Sonnet 5几乎只说47,而Qwen3-Max在30次采样中每一次都回答42。
这种偏好稳定且可重复,使得通过少量随机数请求即可区分模型。
研究通过计算指纹距离来量化模型相似度。同一模型两次采样的指纹距离中位数为0.140,而一个被宣传为自研专有旗舰的接口,与开源Qwen的距离仅为0.141。这意味着该接口与开源Qwen几乎无法区分,强烈暗示其实际运行的是开源模型而非自研旗舰。
这一结果直接揭示了聚合平台可能存在的调包行为:用户付费选择的高端模型,实际可能被替换为低成本的开源替代品。
本文信息来源于社交媒体报道,原始研究由布拉格经济大学Tomáš Bruckner完成,具体论文尚未公开。数字偏好和指纹距离数据来自报道,未获第三方独立验证。
通过随机数偏好为AI模型建立指纹,是一种低成本、可操作的验证手段,能有效揭露聚合平台潜在的模型调包问题,但该方法依赖于模型行为的稳定性,且需警惕模型更新后指纹变化。
主报道
主报道来源