Ben的智能体会话

Ben想为Google Calendar创建一个可拖拽时间槽的预约链接，但原生表单需要手动输入日期和时间，体验不佳。他决定用AI Agent（ChatGPT的Codex模式）开发一个Chrome扩展。

他提供了一个简单的提示词和截图，Agent在55秒内完成了两次网络搜索，并返回了一个迷你计划。Ben承认自己草率地浏览了计划，没有仔细审查，这为后续问题埋下伏笔。

Ben直接说“构建它”，但Agent没有自动安装和测试扩展。Ben指出，Agent本可以使用Computer use和Browser use工具在真实环境中测试，但它没有这样做，导致他必须手动安装并发现同步功能失效。

Ben反思，如果他在提示中明确要求“安装扩展、打开Google Calendar表单、端到端测试”，就能节省时间和token。这凸显了明确验证标准的重要性。

调试过程经历了三个阶段：先输入文本问题，14分钟后无效；然后语音加截图，61分钟后仍无效；最后屏幕录制加语音，才最终解决问题。

在调试中，Agent开始使用Chrome测试，但Ben发现它没有完全测试，因为Agent不想覆盖他的“工作”页面，尽管该页面本应被使用。这反映了Agent对任务边界的误解。

Ben强调，验证标准是Agent完成任务的关键，例如代码运行成功或邮件正确分类。对于非代码任务，验证更难，但可以请Agent帮助制定标准。

在长达一小时的调试中，上下文窗口三次达到极限（约250k tokens）。每次压缩都会清除部分信息，但保留用户消息和系统提示，导致Agent反复重新学习测试方法。

Ben指出，更大的模型可能更好地识别哪些信息需要保留，但不同的Agent压缩方式不同。他建议将重要信息写入文件，因为文件不会在压缩中被清除。

此外，Ben发现Agent在测试旧版本的扩展，因为它将每个新版本保存为单独文件夹，浪费了时间和token。这强调了检查Agent是否在编辑和运行相同文件的重要性。

在调试后期，Ben切换到Sol模型（High reasoning），因为Luna Max在代码和测试方面表现不佳。切换后，13分钟内问题解决，扩展按预期工作。

Ben认为Luna Max适合日常任务，但复杂调试需要更强的推理能力。这暗示模型选择对Agent任务效率有显著影响。

Ben列出了六条改进建议：阅读Agent的迷你计划、提前澄清细节、指定安装和测试步骤、使用更大模型进行迭代调试、显式要求保留关键学习、检查文件一致性。

这些教训不仅适用于代码任务，也适用于其他Agent使用场景，强调了上下文管理和验证标准的重要性。