对齐的人工性

AI对齐的核心定义来自哲学家Nick Bostrom：确保日益强大的AI系统与构建者意图一致。Bostrom认为这是一个“技术问题”，尽管他本人几乎没有机器学习研究背景。

这一观点被有效利他主义运动采纳，80,000 Hours将“对齐技术研究与工程”列为最高影响力职业路径。然而，主导对齐研究的并非学术机构，而是私营公司。

OpenAI和Anthropic是AI对齐研究的两大核心参与者。OpenAI公开将构建超级智能列为主要目标，理由包括“带来难以想象的更好世界”和“无法阻止”。但文章指出，营收始终是其治理和产品决策的补充目标，CEO Sam Altman在采访中明确关注商业化。

Anthropic由前OpenAI员工创立，初衷是对OpenAI逐利倾向的担忧。然而，Anthropic同样拥有产品页面、客户案例和融资数亿美元。其研究驱动论点——需要在能力前沿研究模型以理解风险——与产品开发并行不悖。

文章认为，无论公开声明如何，这些公司本质上在构建产品，需要销售、承担责任、维持市场份额。这种“财务支线任务”不可避免地使对齐研究复杂化。

文章质疑当前对齐研究是否真正适合避免灾难。尽管存在关于超级智能和“foom”的推测性叙事，但实际工作更接近构建用户愿意付费的产品。

作者指出，AI安全讨论混淆了推测性未来危害与当前现实伤害，且将大型语言模型与算法决策系统混为一谈。对齐研究被有效利他主义运动推崇，但其技术路径可能偏离了解决存在风险的目标。