产业观察
Show HN: Parsimony——开源基准,衡量AI模型新增了多少代码
原标题: Show HN: Parsimony——开源基准,衡量AI模型新增了多少代码
📋总体概括
开发者La5u在Hacker News发布开源基准Parsimony,用于衡量AI编程模型生成代码的「节制度」。现有基准如SWE-bench只看解题率和token成本,不惩罚冗余代码,而冗余代码会长期拖累代码库维护。该方法复用DeepSWE、SWE-bench Verified、SWE-bench Live已公开的补丁,统计语句、调用、名称、字面量等语法单元,不按行数计以免刷行数,删除的代码会被扣减以测净值。作者还在自有订阅上跑了GPT-6和Claude 5.5各3至10个任务,因无公开补丁仅作展示不参与排名。项目已开源在GitHub,征求反馈与公开补丁导出。
⚡关键信息
- ▸Parsimony是开源基准,衡量AI模型解决问题的同时新增了多少代码
- ▸现有基准只测解题率与token输出/成本,不惩罚冗余代码
- ▸方法基于DeepSWE、SWE-bench Verified、SWE-bench Live公开补丁,统计语句、调用、名称、字面量等语法单元
- ▸刻意不用代码行数,避免刷行数;删除的代码被扣减,统计净增单元
- ▸GPT-6与Claude 5.5无公开补丁,作者自费在3-10个任务上测试,仅展示不排名
🔥犀利点评
这是被行业长期忽视的盲区:我们拼命卷解题率,却没人问AI往代码库里塞了多少垃圾。解决问题简单粗暴堆代码就行,但维护成本是复利的。用语法单元而非行数、扣掉删除量的设计显示了作者思考的认真。短板也明显:样本量极小、GPT-6和Claude 5.5的测试不参与排名,目前更像概念验证而非可信赖的榜单。但方向对了,这指标若被主流基准采纳,才能真正约束模型的「代码肥胖症」。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 Hacker News 阅读全文 →