清华AIR提出高阶动作监督：聚焦一阶时序信息，10k小数据下增益显著

主流模仿学习和强化学习通常只监督零阶动作——给定状态s，应输出什么动作a。但连续控制场景不同：机器人关节力矩、车辆转向角、无人机推力都沿时间连续演化，相邻时刻的动作即使各自合理，其间的跳变仍会造成轨迹偏移、机械磨损和额外能耗。论文用迷宫导航给出直观例子：普通行为克隆只拟合动作标签，一阶动作方向频繁摆动，最终走出次优路径；加入高阶动作监督后，零阶与一阶动作都更平滑，智能体沿更稳定的路径到达目标。

这里的一阶动作即动作变化率，在离散数据中由相邻动作之差近似。论文的核心主张是：把训练目标从只拟合单点动作标签，扩展为同时拟合动作对时间的一阶变化。这一改动不要求重构策略网络，只需在原有损失中额外增加一阶动作约束项。

一种简单直接的思路是让策略网络同时输出动作a和一阶动作ȧ，但论文认为这并不合理：两者处在不同动作空间，新增输出项不但会扩大优化问题，还可能引入多任务梯度冲突。论文选择另一条路——在不更改原有策略网络框架的基础上，额外增加一阶动作约束项。

具体而言，对离线轨迹中的连续样本(s,a,s′,a′)，作者采用单位时间间隔，把状态变化和动作变化分别写成ṡ=s'-s与ȧ=a'-a。基于策略π(s)沿物理时间求导后，链式法则给出核心公式：策略沿状态轨迹方向的导数即对应一阶动作。训练时只需让这个方向导数接近数据中的动作差；对最基础的确定性行为克隆，新增项就是策略方向导数与真实动作差的平方误差。