神经算法推理

经典算法——如最短路径查找、排序、动态规划——具备深度神经网络所缺乏的关键特性：可证明正确、强泛化、可解释和可组合。这些特性正是AI系统可靠地教授人类概念、泛化到新情境所必需的，也被认为是通往通用智能的关键一步。

因此，如果能在深度神经网络中捕捉经典算法的特质，将极有可能推动AI的实质性进步。

2019年，MIT团队在论文《What Can Neural Networks Reason About?》中建立了算法对齐的数学基础：神经网络架构与算法结构越对齐，样本复杂度越低（即需要更少的训练样例即可达到给定精度）。

以图神经网络（GNN）与Bellman-Ford最短路径算法为例：Bellman-Ford中每个节点的距离变量对应GNN的节点特征；边权加法对应GNN的消息函数；选择最优邻居对应GNN的置换不变聚合函数。这种结构上的对齐使得GNN在动态规划执行任务上显著优于归纳偏置较弱的架构。

作者团队在论文《Neural Execution of Graph Algorithms》中进行了全面的实证分析，发现算法对齐虽然强大，但并不能保证成功。GNN很容易过拟合训练输入的分布特征，学习“取巧”而非真正执行算法，尤其在分布外泛化场景下表现不佳。

通过精心设计的归纳偏置——如参数共享、特定消息函数——可以进一步提升GNN与路径查找问题的对齐程度，使其在测试时泛化到5倍于训练规模的输入。这证明了归纳偏置在神经算法推理中的关键作用。

尽管取得了进展，神经算法推理仍面临显著挑战：分布外泛化仍是薄弱环节，模型容易在输入规模或分布变化时失效；组合性方面，复合误差阻碍了多个算法子程序的可靠组合。

这些挑战也正是经典算法天然擅长的领域。因此，将算法推理能力注入神经网络，不仅是基准测试，更是构建真正可靠、可解释AI系统的必经之路。