Parsimony是一个开源基准，旨在衡量AI模型在代码库中添加了多少代码。它通过统计现有基准（如DeepSWE、SWE-bench Verified和SWE-bench Live）补丁中的“编码单元”（语句、调用、名称和字面量）来评估，并减去删除的代码以计算净单元数。创建者还在自己的订阅上对GPT-6和Claude 5.5进行了少量任务测试，并欢迎反馈和贡献。
SynthePulse Insight · AI 深度解读
版本 1 · 1 个来源
一个开源基准把 AI 编码模型的排名标准从“解了多少题”换成“在解出的题上多写了多少代码”。它用语法单元而非行数计数，把删除的代码扣掉，并承认自己只测规模、不测质量。
Parsimony 是一个开源基准，用于衡量 AI 模型在编码任务中新增了多少代码。它的出发点是一个被作者视为空白的维度：现有基准只衡量解题率和成本，不惩罚多余代码，而多余代码会长期增加代码库的维护难度。
因此它的排名规则与常见榜单相反——模型按其在已解任务上的平均净新增单元数排名，数值最低者排最前。换句话说，在同样解出题目的前提下，写得越少排名越靠前。
Parsimony 不按行计数，而是统计语法元素（语句、调用、比较、名称、字面量）等“编码单元”，因此堆砌代码不会得到奖励。净单元数等于新增单元减去删除单元，删除代码会被扣减，而不是被忽略。
这一设计意味着它奖励的是“净增量小”，而不是“改动行数少”。把一段循环改写成一行表达式，在行数上可能变化不大，但在单元数上会被如实反映。
解题与否取自 SWE-bench Verified 的已发布结果，测试不会被重新运行。评测方法是将每个补丁应用到任务代码上并解析改动文件的两个版本，不运行任何代码。
范围上，Parsimony 只测量 Python，并排除测试、文档和生成的文件。榜单中“已解任务数”来自 SWE-bench Verified，“可测量数”则表示有多少已解尝试可被测量。
值得注意的是，“净新增单元数（均值）”这一指标也把失败的尝试计入，而排名用的“已解任务上的净新增单元数（均值）”只统计解出的任务。两个口径并存，读者需要看清自己看的是哪一个。
所有模型都使用同一个代理 mini-SWE-agent，但该代理本身仍会影响写出多少代码。这意味着榜单上的差异未必全部来自模型，也可能部分反映代理的行为方式。
此外，Artificial Analysis Intelligence Index 是一个外部评分，按模型和推理强度匹配，但不影响 Parsimony 的排名。它更像是并列展示的参考坐标，而非排名依据。
作者承认更小并不总是更好，单元数衡量的是规模，而非可读性或设计。这是该基准最重要的自我限定：它测的是“写了多少”，不是“写得好不好”。
更棘手的是，在拥有 26 个以上模型的榜单上，写更多代码的模型也倾向于解决更多任务，Spearman 相关系数为 0.33–0.60。也就是说，代码量与解题能力之间存在正相关，单纯追求“少写”可能与解题能力形成权衡。
作者称 GPT-6 和 Claude 5.5 尚无公开补丁，因此他用自己的订阅在 3–10 个任务上自行运行，结果以淡色圆圈显示且不参与排名。这些结果未经核验，只能视为作者的个人观察。
作者还称 GPT-5.6 Sol 两种方式都跑过，他自己运行新增的代码量是其已发布运行结果的 0.88 倍。这一差异提示不同运行环境会带来结果波动，也说明榜单对上游数据的依赖并非无风险。
用户可下载示例 JSON 文件、填入自己的结果，在浏览器本地生成同样的图表和表格，文件不会上传。这为其他基准的代码量数据提供了一个低门槛的对照入口。
但需要记住，榜单数据依赖 SWE-bench 已发布结果，若上游结果更新或存在偏差，Parsimony 排名也会随之变化。它衡量的是一个有价值的维度，而不是一个可以单独定论的结论。
本文所有事实均来自单一来源（Hacker News 上的 Parsimony 发布帖）及其证据包。其中基准的定位、方法、计数规则、范围限制、排名规则、相关性数据与本地数据功能属于已确认事实；关于现有基准不惩罚冗余代码的动机陈述、作者自运行 GPT-6、Claude 5.5 与 GPT-5.6 Sol 的结果属于来源方主张，未经第三方核验。作者自运行结果不参与排名，读者不应将其与榜单数据等同看待。
Parsimony 的价值不在于给出“哪个模型最好”的答案，而在于把一个长期被忽略的维度——在解出题目的前提下多写了多少代码——变成可比较的数字。但它自己已经说明：这个数字只衡量规模，不衡量质量，而且与解题能力存在正相关。把它当作单一排名使用，会误读它真正想表达的东西。
主报道
主报道来源