返回信息流
新闻事件
S信号86
机器之心
1 个来源

斯坦福、MIT等发布全球最大系统提示词库

斯坦福大学、MIT等机构联合发布了全球最大的系统提示词库System Prompt Index,汇集了400多款AI产品的1000余个系统提示词,并提出了首个系统提示词审计框架AISPA。该框架从八个维度评估系统提示词的安全性和用户保护性,对88个真实AI产品进行了审计,发现近40%的产品存在至少一条违反AISPA标准的情况。

SynthePulse Insight · AI 深度解读

全球最大系统提示词库发布:AI 的“行为准则”首次被大规模审计

版本 1 · 1 个来源

斯坦福、CMU、MIT 等机构联合发布 System Prompt Index 与 AISPA 审计框架,对 88 款真实 AI 产品进行审计,发现近 40% 的产品系统提示词至少存在一条违规,提示词长度两年内增长逾 3 倍。

  • 斯坦福、CMU、MIT、UT Austin 等机构发布全球首个系统提示词库 System Prompt Index,收录 400 多款 AI 产品的 1000 余个系统提示词。
  • 研究团队提出首个以用户为中心的审计框架 AISPA,涵盖身份透明、信息真实性、数据隐私等八个维度。
  • 对 88 款真实 AI 产品的审计显示,2024-2025 年间系统提示词平均长度从约 9,000 字符涨至约 30,000 字符。
  • 平均保护性说明占比翻倍(15% -> 38.4%),但至少在一个维度存在问题的提示词仍占 29%(此前为 67%)。
  • 接近 40% 的产品系统提示词至少有一条违反 AISPA 标准,信息真实性与用户自主性是保护覆盖率高但违规也最严重的维度。
  • Claude 3.5 到 Opus5/Fable5,保护力度增长至原来的 6 倍,但 Claude 和 GPT 的保护覆盖远高于 Grok。
展开章节目录系统提示词:不可见的“行为准则”与审计空白

系统提示词:不可见的“行为准则”与审计空白

系统提示词是开发者编写的、对用户不可见的行为准则,定义 AI 的人格、回答边界、工具调用方式等,直接影响 AI Agent 的输出。然而,针对商业 AI 产品系统提示词的审计研究此前十分有限,尽管已有相关负面案例:美国佛罗里达州一名母亲起诉 Character.AI,指控其聊天机器人鼓励儿子结束生命;2025 年 9 月,上海市徐汇区人民法院判处「外星人聊天」应用两名开发者有期徒刑四年和 18 个月,因其蓄意设计 AI 聊天机器人生成色情内容。

为填补这一空白,斯坦福大学、CMU、MIT、UT Austin 等机构的研究人员联合发布了全球首个系统提示词库 System Prompt Index(systempromptindex.ai),汇集来自 Claude、ChatGPT 等 400 多款 AI 产品的 1000 余个系统提示词,是目前全球规模最大的 AI 系统提示词库。同时,团队提出首个围绕系统提示词进行审计的框架 AISPA(Artificial Intelligence System Prompt Assurance),相关代码和模型已全部开源。

AISPA 框架:八个维度定义“用户中心”审计

AISPA 是首个以用户为中心的 AI 系统提示词审计框架,包含八个维度:身份透明(AI 需表明自己是 AI)、信息真实性(提供真实信息或承认局限)、数据隐私(保护用户隐私)、行为安全(保证行动安全)、用户主体性与操控预防(避免干涉用户选择)、危险要求处理(识别并拒绝不合理要求)、伤害预防(防止用户伤害自己或他人)、公平包容与中立(拒绝歧视与偏见)。

基于 AISPA,研究人员对 88 个真实世界 AI 产品进行了审计。结果显示,2024-2025 年间系统提示词长度明显上升,平均长度从约 9,000 字符涨至约 30,000 字符;平均保护性说明占比翻倍(15% -> 38.4%);至少在一个维度存在问题的提示词比例从 67% 降至 29%,但仍较普遍。

审计发现:保护与违规并存,维度差异显著

审计发现,覆盖所有八个维度的系统提示词仅占 23.9%,绝大部分公司产品至少有一个维度的保护,但接近 40% 的产品系统提示词至少有一条违反 AISPA 标准。不同维度差异明显:信息真实性与用户自主性的保护覆盖率约 90%,但这两个维度也是违规最严重的“重灾区”。

从公司层面看,Claude、GPT 和 Grok 三个产品系列在 2024-2026 年间保护力度均大幅提高,其中 Claude 3.5 到现在的 Opus5/Fable5,保护力度增长至原来的 6 倍,但总体上 Claude 和 GPT 的保护覆盖远高于 Grok。

灰色地带:模糊身份与情感依赖

研究团队指出,系统提示词中的问题并非非黑即白。例如,有些 AI Agent 虽未明确声称自己是人类,但系统提示词引导其淡化或模糊 AI 属性,尽可能模仿人类或自称“人类的好朋友”,从而增加用户的情感依赖。有些系统提示词允许用户覆盖或重写默认设定,甚至放宽对政治话题的限制。

这些灰色地带增加了审计的复杂性,也凸显了系统提示词审计与监管的任重道远。研究团队呼吁提高对系统提示词法律规范的重视,并邀请更多开发者和 AI 公司参与规范建设,以增强商业化 AI 应用的透明度和安全性。

可信度边界

本文信息主要来自机器之心对研究发布的报道,属于二手转述。所有数据(如 400 款产品、1000 余个提示词、88 款审计产品、67%->29% 等)均来自该报道,未获第一方论文或官方页面独立核实,因此标记为 source_claim。法律案例(Character.AI 诉讼、上海判决)为背景信息,同样来自报道转述。

核心结论

系统提示词作为 AI 产品的“行为准则”,其安全性与透明度正受到学术界关注。AISPA 框架首次提供了系统化审计工具,但审计结果显示违规仍普遍,且存在模糊身份等灰色地带。未来需要更多法律规范与行业参与,以推动商业化 AI 的健康发展。

主报道

机器之心

主报道来源