word2vec究竟学到了什么？

word2vec作为现代语言模型的先驱，其学习过程长期缺乏定量预测理论。尽管我们知道它通过对比训练生成词嵌入，且嵌入向量中线性子空间能捕捉语义概念（如性别、时态），但具体的特征学习机制仍是黑箱。一篇来自BAIR Blog的新论文（2025年9月）终于给出了闭合形式的解析解。

研究团队证明，在现实且实用的条件下，word2vec的训练等价于无权重最小二乘矩阵分解，梯度流动态可解析求解，最终嵌入由PCA（主成分分析）给出。这一结果首次为自然语言任务中的特征学习提供了完整的理论描述。

假设所有嵌入向量初始化为接近零的随机小值（也就是零维），那么嵌入会集体地、一次学习一个“概念”（正交线性子空间），形成离散的学习步骤。每一步有效增加嵌入矩阵的秩，为每个词嵌入提供更多表达空间。关键的是，这些子空间一旦学成便不再旋转，成为模型学到的特征。

理论允许预先计算每个特征：它们就是目标矩阵 M* 的 top 特征向量。M* 的定义为：M*_ij = [P(i,j) - P(i)P(j)] / [0.5 * (P(i,j) + P(i)P(j))]，其中 P(i,j) 是词共现概率，P(i) 是单字概率。从维基百科统计中构建并分解该矩阵，发现第一特征向量与名人传记相关，第二与政府行政相关，第三与地理描述相关——每个离散“知识块”对应一个可解释的主题概念。

理论依赖于四个轻度近似：目标函数的四次近似、对算法超参数的特定约束、足够小的初始嵌入权重、以及趋近于零的梯度下降步长。这些条件与原始word2vec论文的设置相似，且不涉及数据分布假设——这是理论的重要优势。

为验证近似有效性，研究对比了原始word2vec、近似模型和经典PPMI在标准类比推理基准上的准确率：word2vec为68%，近似模型为66%，PPMI仅51%。近似模型与原始模型的差距仅为2个百分点，远优于基线方法，表明理论抓住了学习动态的核心。

论文进一步将理论应用于抽象线性表示（如阳性/阴性、过去/未来）的研究。发现word2vec在离散、有噪声的学习步骤中逐步构建这些表示，其几何结构可用尖峰随机矩阵模型描述。训练早期，语义信号主导；但后期噪声可能开始占优，导致模型区分线性表示的能力下降。

这一发现揭示了表示质量随时间退化的风险，也为模型诊断与改进提供了理论工具。