清华联合无问芯穹、上海交大开源端侧推理引擎APXInf，机器人本体跑大模型提速10.7倍

9 月 15 日，清华大学联合无问芯穹与上海交通大学开源了面向具身模型的端侧推理引擎 APXInf。项目方给出的核心数字是：在 Thor 芯片 FP8 配置下，推理延迟从 278ms 降至 26ms，端到端提速约 10.7 倍，且这一提速是在无需改变 π0.5 模型本身的前提下、通过端到端全栈优化实现的。优化后 38.46Hz 的控制频率，被描述为让机器人控制进入实时区间。

这组数字如果成立，回答的是“端侧能不能跑得动”的问题。但它同时暴露了一个更棘手的问题：这类优化是高度特化的，模型一更新、芯片一换代，路径就要重做。APXInf 真正想回答的，其实是第二个问题——当模型迭代速度远超人力扩充速度时，端侧优化能力本身能不能被沉淀和复用。

需要先明确证据边界：上述延迟、提速与频率数字均来自项目方与报道方自述，属于 source_claim，尚无第三方在相同硬件与配置下的独立复现。

推理引擎嵌在机器人控制循环的中间：主控采集观测，算力盒子推理出动作 chunk，推送给手臂或底盘执行，然后进入下一帧。这个位置对引擎的要求相当具体——小 batch、实时、延迟抖动小，并且能被主控通过 websocket 或 ROS 稳定调用。

通用推理框架的做法是用统一中间表示把模型逐层 lower，再交给后端生成可执行代码，一套编译栈覆盖尽可能多的模型与硬件；vLLM、SGLang 这类方案则围绕云端吞吐设计。它们各自成功，但收益建立在模型种类多、批量大、调度空间足的前提上，而具身端侧这三条恰好都不满足。

端侧的约束是硬的：算力、带宽、功耗和散热同时受限，而一次推理却要完成多视角感知、模型前向和动作生成。报道给出的对比是，端侧模组与独立显卡之间内存带宽相差 4 到 8 倍、功耗相差 5 到 10 倍。这也是为什么在云端跑得顺的模型，换到 Thor 或 Orin 上效果可能大打折扣。