Import AI 461：对齐工作未步入正轨；FrontierCode；合成研究实习生

来自英国AI安全研究所（UK AISI）对齐团队和理论对齐初创公司Timaeus的研究人员联合成立了新的非营利研究组织Sequent。该组织在其声明中直言：“人工超级智能（ASI）可能在未来几年内被开发出来。目前尚不清楚对齐研究能否在同一时间表上准备就绪。”

Sequent认为，主流AI实验室的实证项目“不太可能在训练ASI之前提供先验置信度，即事情会顺利”。理想情况下，应该先开发一种构建超级智能的方法，同时提供其安全性的理论证明，然后再实际构建。但现实是“我们可能不得不远低于这一理想标准”。

Sequent计划采取与主要AI实验室不同的对齐研究路径。其目标是找到“有原则的理由，让我们确信在可控情境下观察到的对齐（例如训练中或选定环境下的评估）能够泛化到难以控制的情境（例如大规模、长周期、在世界中执行的任务）”。

Sequent批评前沿AI实验室的方法“本质上是反应式的，导致的方法虽然可行，但无法提供关于它们何时会失败的原则性洞察”。

Sequent对多个对齐理论领域感兴趣，包括可扩展监督、学习理论、启发式论证、博弈论和人格。他们计划建立内部研究组合，并与姊妹组织合作。

Sequent认为不同研究方向之间可能产生有前景的交互，例如：可达到的均衡可以“告诉我们可扩展监督方法会收敛到何种均衡”；通过结合学习理论和人格的见解来了解训练中可调整的变量，再利用可扩展监督确定调整幅度。

Sequent指出，当前AI系统在一定程度上是对齐的，但也存在一些尖锐的边缘，表现为意外的失败。在AI系统变得更智能的过程中，人类将把越来越多的核心研究任务交给这些系统，AI系统也可能开始自主进行递归自我改进（RSI）。

Sequent认为，在RSI发生之前，必须开发更好的对齐技术，否则将“掷出非常可怕的骰子”。组织保持独立性，必要时可以“大声喊出来”。