返回信息流
新闻事件
机器之心
1 个来源

LegoFlow:让智能体自主跑完代码数据构建+训练测评全流程

华为、港中文、港科大研究人员联合推出 LegoFlow,一个将代码数据工程全流程封装为智能体可调用插件技能的框架,覆盖仓库发现、任务验证、轨迹推理、训练与评测。团队同时发布 LegoFlow-SWE 数据集,包含从 1200 万个 PR 中筛选出的 5000 个任务和 2780 条高质量轨迹,仅用 1000 条轨迹训练 Qwen3.5-35B-A3B-Base 即可在 SWE-bench Verified 和 Pro 上分别达到 70.2% 和 48.8%。该框架还展示了递归式自我改进能力,两轮迭代后同一模型在 SWE-bench Verified 上从 7.6% 提升至 64.4%。

SynthePulse Insight · AI 深度解读会员精读

LegoFlow 把代码数据流水线交给智能体:5000 个任务与 0.0417% 的筛选率

版本 1 · 1 个来源

华为与港中文、港科大研究者联合推出开源框架 LegoFlow,把造题、答题、筛选、训练、评测封装成智能体可调用的插件技能,并发布从 1200 万个候选 PR 中筛出的 5000 个任务数据集 LegoFlow-SWE。团队主张任务质量与轨迹推理深度比数据数量更决定训练效果,但所有成绩与结论均来自团队自述。

  • LegoFlow 将代码数据工程拆成 Root、Curator、Tracer、Trainer、Evaluator 五个 block,每个 block 封装为插件技能,Claude Code、Codex 等编码智能体可直接调用。
  • LegoFlow-SWE 从超过 70 万个 GitHub 仓库关联的 1200 万个候选 PR 出发,经多轮筛选最终留下 5000 个已验证任务,占原始数据池的 0.0417%。
  • 团队称仅用约 1000 条轨迹微调 Qwen3.5-35B-A3B-Base,即可在 SWE-bench Verified 和 Pro 上分别达到 70.2% 和 48.8%。
展开章节目录一条被拆成五个 block 的代码数据流水线

一条被拆成五个 block 的代码数据流水线

华为、香港中文大学、香港科技大学的研究者联合推出开源代码数据工程框架 LegoFlow,把仓库与 PR 收集、任务验证、轨迹推理、训练与评测各环节封装为插件技能,供 Claude Code、Codex 等编码智能体直接调用。团队将流程组织为 Root、Curator、Tracer、Trainer、Evaluator 五个 block,分别负责目标转化与协调、任务构建、轨迹生成、微调和基准评测。

这一设计的出发点,是代码数据生产长期存在的瓶颈:人工标注成本高、LLM 生成不可控、自动验证难度大。LegoFlow 把复杂工程工作流拆给界限清晰的环节,每个 block 像一位工程师,由编码智能体管理,自带完成职责所需的仓库、脚本、依赖和环境。Curator 负责把仓库和拉取请求转化为经过验证的任务,Tracer 生成训练轨迹,Trainer 进行微调,Evaluator 返回基准评测结果。

需要说明的是,上述框架描述与后续所有成绩均来自团队自述,目前没有第三方独立复现或验证。

从 1200 万到 5000:筛选漏斗里的 0.0417%

LegoFlow-SWE 的构建从收集超过 70 万个 GitHub 仓库及其关联的 1200 万个候选 PR 开始。经有效 diff、补丁大小、测试与 issue 证据等条件筛选后,仅剩 60 万个 PR;再经 LLM 评审器与执行验证进一步去除简单或无法验证的任务,最终留下 5000 个已验证任务,仅占原始数据池的 0.0417%。

这 5000 个任务覆盖 8 种编程语言和 20 个任务标签。轨迹方面,GLM-5.2 通过 OpenHands SDK 和 OpenCode 生成 9767 次运行,其中 2780 次通过验证,构成数据集中的验证成功轨迹。

筛选漏斗的每一级都依赖具体判定标准,但任务筛选所依赖的 LLM 评审器与执行验证,其判定标准与误判率未在文中给出。这意味着 0.0417% 这一筛选率本身是团队流程的产物,其可复现性取决于这些未公开的判定细节。

限时免费

继续阅读完整分析

还有 5 节深入分析和完整结论

加载中

可信度边界

本文所有事实、数字与结论均来自机器之心对 LegoFlow 团队工作的报道,属于团队自述,缺少第三方独立复现或验证。LegoFlow-SWE 的构建与训练结果依赖特定教师模型 GLM-5.2、编码智能体框架 OpenHands SDK 与 OpenCode 以及固定预算设置;任务筛选依赖 LLM 评审器与执行验证,其判定标准与误判率未在文中给出;评测防作弊依赖限制网络与删除本地 Git 信息等环境控制,环境变化可能影响结果可比性。递归式自我改进实验仅报告单次端到端流程与两轮迭代,样本规模有限。

主报道

机器之心

主报道来源