不使用TD学习的强化学习算法

强化学习算法分为在线策略和离线策略两类。在线策略算法（如PPO、GRPO）只能使用当前策略采集的新数据，而离线策略算法（如Q学习）可以利用旧经验、人类演示和互联网数据等任意数据。在数据采集成本高昂的领域（如机器人、对话系统、医疗），离线策略RL往往是唯一选择，因此其可扩展性至关重要。

截至2025年，在线策略RL已有较为成熟的扩展方案，但离线策略RL仍缺乏能扩展到复杂长程任务的算法。传统TD学习通过贝尔曼更新训练价值函数，但引导误差会沿整个时间范围累积，导致长程任务中性能下降。为缓解这一问题，n步TD方法混合蒙特卡洛回报，但仅将递归次数减少常数倍，且增大n会引入高方差和次优性。

分治价值学习提供了一种根本不同的思路：将轨迹分为两段，通过组合两段的价值来更新整段轨迹的价值。理论上，这能将贝尔曼递归次数从线性减少到对数级，且无需调节超参数n，也不会像n步TD那样遭受高方差或次优性。

在目标条件RL中，最短路径距离满足三角不等式，可转化为传递性贝尔曼更新：V(s,g)由V(s,w)和V(w,g)的乘积更新，其中w是最优中点（子目标）。这一思想可追溯至1993年Kaelbling的开创性工作，但此前一直缺乏实际可扩展的算法。

TRL的关键创新在于将子目标搜索空间限制在数据集轨迹中位于s和g之间的状态，而非整个状态空间。同时，使用期望分位数回归计算“软”argmax，避免最大值操作导致的价值过估计。

TRL的损失函数基于期望分位数损失，对所有满足i≤k≤j的(s_i, s_k, s_j)元组进行优化。这种方法既避免了全状态空间搜索，又通过软性回归抑制了过估计。

研究团队在OGBench基准的困难任务（如humanoidmaze和puzzle）上直接评估了TRL，据称这是首个在复杂任务上扩展分治价值学习的工作。然而，来源中未提供具体的性能数据或对比结果，因此无法确认其实际效果。

来源指出，分治方法在理论上具有理想性质，但实际效果仍需更多证据。此外，TRL目前仅针对目标条件RL，其通用性尚待验证。