形状、对称与结构：数学在机器学习研究中角色的变迁

过去十年，机器学习的研究方式发生了转变。精心设计、数学原理驱动的架构仅带来边际改进，而计算密集、工程优先的方法通过扩大训练集和模型参数，实现了现有理论未能预测的新能力。数学和统计学曾主要指导机器学习研究，如今却难以直接解释最新突破。

这种转变引发了关于数学在未来机器学习研究中角色减弱的猜测。然而，本文认为数学仍然相关，只是角色在演变。例如，数学可能从提供模型性能的理论保证，转向对训练和性能中经验现象的事后解释——类似于物理学中的角色。同样，数学直觉的应用可能从细粒度的手工特征和架构细节，转向更高层次的设计选择，如匹配架构与任务结构或数据对称性。

向规模化的转变拓宽了适用于机器学习的数学领域范围。拓扑、代数、几何等“纯”数学领域，正加入概率论、分析、线性代数等传统应用领域。这些纯数学领域在过去一个世纪中发展出处理高抽象和复杂性的能力，帮助数学家发现关于空间、代数对象和组合过程的洞见，这些洞见初看似乎超出人类直觉。这些能力有望解决现代深度学习的许多重大挑战。

分析一个70亿参数、50层的神经网络时，标准做法是计算性能统计，如评估基准的准确率。但深度学习模型复杂且多面，两个具有相同准确率的计算机视觉模型可能在分布外泛化、校准、对抗鲁棒性等“二级统计”上差异很大。所有证据表明，要建立对深度学习的完整科学理解，需要超越评估分数。

与理解人类不同，模型的所有参数和计算过程都可访问。通过提取隐藏激活，可以直接追踪从原始输入到预测的转换过程。然而，隐藏激活的世界并不友好：它们通常是高维的，且不像输入数据那样以人类可理解的形式结构化。在权重空间中，可以从一个起点向数百万到数十亿个正交方向移动。如何理解这些世界？

数学研究不仅涉及解决问题，还涉及理解该提出什么问题。许多数学对象远离日常经验，初始直觉有限。需要大量努力来构建工具，以利用现有直觉并获得可处理的结果。以旋转为例：在2维和3维中很熟悉，但维度越高，直觉越不可及。纯数学提供的不同视角对于获得更全面的理解至关重要。

例如，n维旋转可以用n×n正交矩阵（行列式为1）表示，集合记为SO(n)。理解SO(n)有多种互补方法：探索其线性代数结构，研究每个元素作为算子的行为，或利用空间直觉。这种多视角方法有助于理解高维空间中的对象，类似地可用于分析模型权重和激活。