Car-GPT：大语言模型能否最终实现自动驾驶？

2010年代，大多数自动驾驶汽车采用模块化方法，将软件分为感知、定位、规划、控制等独立模块。感知负责“看”世界，定位负责确定自身位置，规划负责生成轨迹（即汽车的“大脑”），控制则输出“右转20°”等指令。然而，这一成熟方法并未彻底解决自动驾驶问题。

随后，端到端学习兴起，核心是用一个神经网络直接预测转向和加速度，取代所有模块。但这引入了黑箱问题——内部决策过程难以解释。

LLM的核心是token化、Transformer架构和下一个词预测。输入文本被转换为token（数字），通过Transformer的注意力机制处理，最终预测下一个token。

将LLM应用于自动驾驶需要修改输入和输出：输入可以是图像、激光雷达点云、雷达点云甚至算法数据（车道线、物体等），这些都可以通过Vision Transformer或Video Vision Transformer进行“token化”。Transformer模型本身只操作token，与输入类型无关。输出则取决于任务，可以是描述场景，也可以是直接驾驶指令（如变道）。

在感知领域，LLM可执行检测、预测和跟踪三大核心任务。例如，GPT-4 Vision模型能根据图像返回物体描述，类似目标检测器。其他模型如HiLM-D和MTD-GPT也能完成类似工作，部分模型还支持视频输入。

PromptTrack模型结合了DETR目标检测器与LLM，能够为物体分配唯一ID（例如“前方车辆ID #3”），实现类似4D感知模型的功能。

在规划任务中，LLM可根据图像、鸟瞰图或感知输出，描述应采取的驾驶行为（如继续行驶、让行等）。这相当于用语言生成替代传统的轨迹规划。

在生成任务中，LLM可利用扩散模型生成训练数据、替代场景等，有助于扩充自动驾驶的训练数据集。此外，LLM还可用于问答系统，创建聊天界面，让用户通过自然语言询问场景信息。

尽管LLM在自动驾驶中展现出潜力，但当前研究仍处于早期阶段。文章指出，并非所有自动驾驶任务都适合“GPT化”，且LLM的黑箱特性可能加剧端到端学习已有的可解释性问题。

此外，LLM的实时性、安全性和可靠性尚未在真实驾驶环境中得到充分验证。文章未提供任何基准测试结果或实际路测数据，因此这些能力仍停留在研究假设层面。