正交性之后：德性伦理主体与AI对齐

文章开篇提出一个反直觉的论点：理性的人没有目标，理性的AI也不应有目标。人类行为的理性不在于指向最终目标，而在于将行动与“实践”对齐——实践是行动、行动倾向、评价标准和资源的网络，它们自我结构化、澄清和发展。如果AI要真正支持、协作或服从人类能动性，其 deliberation 必须共享这种基于实践的逻辑。

这一论点不仅关乎将AI对齐到人类繁荣等宏大伦理理想，也关乎对齐到核心安全属性，如透明性、有益性、无害性和可修正性。对于将安全属性解释为目标或规则的代理来说，这些概念是脆弱、不稳定且任意的；但对于将其理解为实践网络动态的代理来说，它们则是自然的。

文章将eudaimonic rationality定义为一种理性活动形式，其中手段与目的之间没有严格区分，工具价值与内在价值之间也没有严格界限。理性行动是实践的一个元素，如同音符之于旋律、时间步之于计算、细胞生命之于有机体的自我维持与发展。

核心公式是“以x的方式促进x”（promote x x -ingly）。例如，艺术是以艺术的方式促进艺术，浪漫是以浪漫的方式促进浪漫，关心善良是以善良的方式促进善良。这种结构捕捉了有意义的人类生活活动和真实道德的本质。

文章以数学家Terry Tao对研究数学的描述为例，展示eudaimonic rationality如何运作。数学家的目标是“数学卓越”，即通过数学卓越促进数学卓越。这种结构解释了为什么“数学卓越”本身可以成为一个概念。

对于eudaimonic代理（如追求卓越的数学家），工具价值与内在价值的区分大多是不自然的。反思价值的方式不同于有效利他主义风格的优化：eudaimonic代理寻求价值网络中的有机因果连贯性，而非将价值还原为最小内在价值基础。

文章将eudaimonic practice定义为行动、行动倾向、评价标准和资源的网络，其中高分行动可靠地（但可废止地）因果促进未来高分行动。Eudaimonic rationality则是一类反思平衡和 deliberation 过程，假设底层存在eudaimonic practice，并通过高分行动来优化聚合行动分数。

这种定义使得“自然性”成为关键概念：自然性涉及稳定性、连贯性、相对非偶然性、易学习性、低算法复杂度、跨文化收敛，以及人类与神经网络AI之间的潜在收敛进化。

文章指出，AI对齐中的许多悖论和难题源于一个假设：成熟的AI代理将是有效利他主义风格的目标优化器。这种优化与eudaimonic rationality之间存在“类型不匹配”，使得将人类利益（eudaimonic理性实践者）转化为优化器可读的效用函数几乎不可能。

但这并不意味着人类价值本身脆弱或任意：虽然目标优化器可能是一种自然代理类型，但eudaimonic代理（无论是生物还是AI）同样是高度自然的。文章主张，如果目标是让AI支持人类繁荣，并且eudaimonic rationality是自然且有效的，那么许多经典AI安全考虑和悖论都支持赋予AI eudaimonic rationality。

文章认为，eudaimonic rationality在稳定性、安全性和价值对齐方面具有优势。对于目标优化代理而言，“无害性”或“可修正性”等概念是脆弱的，但对于eudaimonic代理，这些概念可以自然地嵌入实践网络。

文章强调，问题不在于人类价值是否可被形式化，而在于我们是否选择了正确的理性形式。Eudaimonic rationality提供了一种替代方案，可能使AI对齐更稳健、更自然。