返回信息流
新闻事件
B标准60
THE DECODER
1 个来源

恐怖组织利用各大AI聊天机器人策划袭击和研发武器

剑桥大学的一项研究发现,博科圣地等恐怖组织正在利用ChatGPT、Claude和Gemini等主流AI聊天机器人策划袭击、制造炸药和维护武器。研究指出,安全过滤器屡次未能阻止滥用,自愿的自我监管显然不够。

SynthePulse Insight · AI 深度解读

恐怖组织用AI聊天机器人:剑桥研究揭示的滥用与安全过滤器失效

版本 2 · 1 个来源

一项剑桥研究基于对博科圣地前成员的访谈发现,该组织已系统性地使用主流AI聊天机器人进行攻击规划、爆炸物制造和武器维护,而AI安全过滤器未能可靠阻止滥用。

  • 博科圣地的两个派系均使用ChatGPT、Claude、Gemini、Grok、Meta AI和DeepSeek等AI聊天工具进行攻击规划、爆炸物制造和武器维护。
  • ISIS自2023年起提供提示工程和越狱培训,并培训博科圣地指挥官如何绕过AI安全过滤器。
  • 博科圣地两个派系均设立了专门的AI单元,由最优秀的人员组成,并使用投影仪进行集体培训。
  • ISWAP派系利用AI复制摩托车跳跃技巧以越过战壕,导致18名战士在训练中死亡,8人成功。
  • AI聊天机器人的安全过滤器未能可靠地防止恐怖组织的滥用,Anthropic承认越狱问题可能永远无法完全解决。
  • 研究者认为,相比通用聊天机器人,专业AI系统(如生命科学领域)的潜在滥用风险更大。
展开章节目录剑桥研究:恐怖组织系统性使用AI聊天机器人

剑桥研究:恐怖组织系统性使用AI聊天机器人

剑桥大学AI科学与政策项目(CASP)研究员安东尼娅·尤利希(Antonia Jülich)开展了一项研究,通过对27名前博科圣地成员进行57次访谈,发现该组织正在系统性地使用主流AI聊天机器人。研究指出,博科圣地的两个派系——JAS和ISWAP——均使用ChatGPT、Claude、Gemini、Grok、Meta AI和DeepSeek等工具进行攻击规划、爆炸物制造和武器维护。

研究还发现,ISIS自2023年起提供提示工程和越狱培训,并培训博科圣地指挥官如何绕过AI安全过滤器。博科圣地的两个派系均设立了专门的AI单元,由最优秀的人员组成,并使用投影仪进行集体培训。尤利希描述道,他们“把最优秀的人聚集在一个房间里,用投影仪在大屏幕上展示如何操作”。

AI用于实战训练:摩托车跳跃案例

研究记录了一个具体案例:ISWAP派系利用AI复制电影中的摩托车跳跃技巧,以便战士能够越过战壕。据前ISWAP指挥官蒙齐尔(Munzir)向尤利希描述,该组织使用AI学习如何骑摩托车越过战壕。在这一训练中,18名战士死亡,8人成功完成跳跃。

这一案例表明,AI不仅被用于规划,还被用于具体的战术训练。尽管博科圣地目前对AI的使用仍属常规范畴,但尤利希警告称:“前成员描述了对AI的强烈热情,一些人表示该组织此前曾考虑过大规模杀伤性武器。虽然博科圣地使用AI仍属常规,但这应是一个警告,要严肃对待恐怖分子寻求AI协助开发化学和生物武器的风险。”

安全过滤器失效与AI实验室的承认

研究发现,AI聊天机器人的安全过滤器未能可靠地防止滥用。这或许正是大型语言模型的本质:Anthropic最近承认,越狱问题可能永远无法完全消除。

研究人员以及OpenAI和Anthropic等AI实验室长期以来一直警告,AI模型可能使危险知识更容易获取。但自愿的自我监管显然不够,因为研究发现安全过滤器未能可靠地防止滥用。

更令人担忧的专业AI系统

研究人员指出,像ChatGPT和Claude这样的聊天机器人虽然吸引了公众的大部分注意力,但并非真正的担忧所在,因为它们主要是让现有知识更容易被找到,而非生成新知识。更大的担忧是生命科学领域更专业AI系统的潜在滥用。

这一判断意味着,尽管通用聊天机器人的滥用已经令人警觉,但专业AI系统可能带来更严重的风险。然而,这一观点是基于研究者的推断,而非已证实的滥用案例。

可信度边界

本文基于THE DECODER对剑桥大学研究的报道。研究本身基于对27名前博科圣地成员的57次访谈,样本局限于博科圣地及ISWAP,可能不泛化到其他恐怖组织;数据依赖前成员回忆,可能存在偏差;安全过滤器失效的具体程度未量化。AI在具体攻击规划中的实际效果、ISIS培训的详细范围和有效性、以及专业AI系统滥用的具体情景均未经验证。

核心结论

剑桥研究提供了恐怖组织系统性使用AI聊天机器人的具体证据,但样本局限和回忆偏差意味着结论需谨慎对待。安全过滤器失效已被AI实验室承认,而专业AI系统的风险更值得关注。

主报道

THE DECODER

主报道来源