智能免费，现在呢？面向代理的数据系统

2023年初，GPT-4级别的推理成本约为每百万token 30美元；到2026年，相同能力成本已低于1美元，部分供应商甚至压至0.10美元以下。基准测试显示，推理价格每年下降9倍至900倍不等，中位数约为50倍。前沿模型每代成本显著降低，开源模型紧随其后。尽管“诺贝尔奖级天才智能”尚未到来，但足以胜任绝大多数知识工作的智能已经普及，且成本逐月下降。

智能体查询数据库的方式与人类或BI工具截然不同：它们会进行“智能体推测”——产生大量异构查询流，包括模式内省、列探索、部分查询和完整查询。每个用户请求可能触发数千条SQL查询。实验表明，在文本到SQL基准测试中，多个智能体尝试同一任务时，仅10-20%的子计划是独特的，即80-90%的子查询是重复工作。虽然冗余有助于提高任务成功率，但从数据系统角度看却是浪费。

数据系统可以复用重叠子计划的结果，利用多查询优化和共享扫描等已有技术；也可以返回近似答案，帮助智能体快速推进。此外，数据系统可支持批量查询和更高层原语（如DBT风格的Jinja宏），而非要求智能体逐一列出SQL。更重要的是，数据系统可以主动引导智能体：提供延迟预估、预计算视图或相关查询结果，因为智能体能接受任意文本反馈，无需严格SQL结果。

智能体需要持久化状态、长期任务管理、协调与容错机制。当前，智能体“记忆”主要依赖文件系统：将信息写入非结构化Markdown文件，通过grep或嵌入检索。许多人认为持续学习的解决方案就是让智能体消费大量数据（如整个代码库、Slack、公司Wiki），然后将学习成果写入Markdown文件，按需检索。

然而，当智能体承担绝大多数知识工作时，这种方法将失效。有限的上下文窗口无法容纳所有相关片段，即使上下文窗口持续增长，将所有信息塞入上下文也会带来延迟问题。知识图谱同样缺乏结构化搜索能力，面临类似局限。

智能体已能一次性合成整个数据系统，这意味着可以为每个新工作负载重建定制系统。但核心挑战在于验证这些系统是否匹配预期行为。如何让智能体合成值得信赖的数据系统，是亟待解决的问题。