自适应并行推理：高效推理扩展的下一个范式

推理时扩展（inference-time scaling）通过增加推理 token 数（中间步骤、回溯、探索）显著提升了模型在数学、编程和智能体任务上的表现。然而，这种线性扩展面临根本性限制：随着推理链增长，模型有效上下文窗口被蚕食，中间探索路径成为噪音干扰，导致“上下文腐烂”（context-rot），性能反而下降。

更直接的是延迟问题——复杂任务可能产生数百万 token，用户需等待数十分钟甚至数小时（Qu et al., 2025）。因此，单纯沿输出序列长度方向缩放，会使推理更慢、更不可靠、更计算密集。

并行推理自然解决了线性累积问题：独立探索多个线程，并发执行。早期方法如 Self-Consistency（多数投票）和 Best-of-N 使用简单 fork-join，但分支间冗余计算严重。树/图/思维骨架（Tree/Graph/Skeleton of Thoughts）及蒙特卡洛树搜索（MCTS）通过分解任务减少了冗余，但需要先验知识确定分解策略。

近期工作如 ParaThinker（Wen et al., 2025）使用两阶段固定注意掩码控制并行和汇总，GroupThink（Hsu et al., 2025）允许多线程在 token 级别互相观察，Hogwild! Inference（Rodionov et al., 2025）共享 KV 缓存但无显式协调协议。这些方法共同缺点是：并行化决策、线程数和搜索策略均由外部强加，而非模型根据问题自适应。不同问题（如算术与拓扑旋转）需要不同并行度，统一的方案不是浪费计算就是分解失误。

自适应并行推理（APR）范式由 Pan et al. (2025) 提出，其核心是让模型在推理时动态分配串行和并行计算资源。模型通过生成控制流决定何时分解任务、启动多少并发线程，以及如何协调它们。APR 并非一种特定方法，而是指导方法设计的范式。

在 APR 框架下，模型学会自主判断问题复杂度。简单问题（如“25+42?”）可能只需串行一步，复杂问题（如连续旋转问题）则自动生成多个并行子问题并最终综合答案。这种自主性避免了固定并行结构下的计算浪费和分解错误。

APR 仍处于早期阶段。如何训练模型高效地进行并行线程生成？通信开销和协调复杂性如何控制？模型能否在真实场景中稳定学习自适应策略？现有方法（如 ThreadWeaver）已展示初步成果，但工业级部署还需解决可靠性和效率平衡。

随着推理时扩展持续演进，APR 可能成为下一代效率缩放的核心范式，使模型在保持性能的同时显著降低延迟和计算成本。但需要更多研究验证其可扩展性及不同任务上的泛化能力。