← 返回全部文章
AI 与工程 · 2026-10-25

Ponytail 调研:怎么让 AI 真的不写没必要的代码

9 min read

你对 AI 说一句”加个日期选择器”,它很可能还给你 335 行手写日历:月份切换、闰年、键盘导航,一应俱全。可浏览器自己就带日历,一个 <input type="date"> 就够。每个用 AI 写过代码的人都见过这种过度建造。Ponytail 要解决的就是这件事。它的人格化设定是公司里那位扎马尾、戴椭圆眼镜、资历比版本控制还老的工程师:你给他看 50 行,他一句话不说,删成一行,能用。项目 2026 年 6 月建仓,调研时约 173.8k star,MIT 协议,而全部”智能”只有一条 52 行的提示词。真正值得追的问题是:模型早就知道浏览器自带日期控件,为什么默认不选它?一条提示词又凭什么改掉这个默认?

“写短点”为什么治不了过度建造

最朴素的办法,是直接告诉它”遵循 YAGNI,别写没用的代码”。作者拿真仓库做过对照实验,发现这种口号时灵时不灵。原因不神秘:一句”你要节俭”贴在墙上,和一份写清第一步翻哪个抽屉的操作规程,约束力本来就不是一回事。模型并不反对节俭,只是在眼前这个具体场景里,它不知道节俭的那一步该落在哪。

更麻烦的是,单纯把”短”当成目标还会帮倒忙。作者用六个安全任务(路径穿越、SQL 注入、伪造 token、限流、脏 CSV、缓存)压测过一个只写着”YAGNI,一行流”的七字提示:代码确实最短,但 20 次运行里放过了 1 次 ../ 路径穿越;正常写的对照组反而是 20 次全过。也就是说,省代码省红了眼,模型会把信任边界的校验一起省掉。

第三个坑藏在修 bug 的时候。有人提了 issue #245:模型有”最短 diff 获胜”的本能,bug 报告点名 transfer 接口出问题,它就只给 transfer 补一道判断;可 transfer 和 withdraw 共用同一个扣款函数,报告没点名的 withdraw 照样能透支。症状消了,病根还在。

三个坑指向同一件事:模型缺的不是知识,也不是偷懒的动机(它比谁都想少写),缺的是一套告诉它 在什么地方、按什么顺序、用什么方式偷懒 的程序。

把口号换成一架按顺序爬的梯子

Ponytail 的内核没有停留在训诫上。它是一架必须从上往下爬的查找梯子,停在第一个完全成立的台阶上:

台阶停下来的条件
1这东西需要存在吗?没人点名的功能、选项、灵活性,先砍掉
2这个代码库里已经有人写过了?照周边写法复用
3标准库或平台原生能力能做?用它
4已安装的依赖能做?用它,但绝不为几行代码引新依赖
5能写成一眼看懂的一行?就一行
6都不成立,才写能跑起来的最少代码

日期选择器那 335 行,就是在第三级被刹住的:仓库里已有 Input 组件,浏览器自带日历,两个现成的东西拼一下,10 行。邮箱校验在第五级停住,75 行带三套方案对比的回答变成 3 行正则。而遇到后端 CRUD 这种本来就没法再简的任务,梯子一路爬到第六级,各实验组代码量收敛,它并不硬造节省。这一点很重要,后面讲数字时还会回来。

梯子前面还有一道容易被忽略的护栏: 梯子只在读懂问题之后才爬 。动手前先追一遍真实数据流,列出改动必须触达的调用方、测试、配置和导出,再选台阶。懒的是方案,不是阅读。把这句和梯子连起来看,才是完整的机制:它先让你像老工程师一样把现场看明白,再像懒人一样选最便宜的做法。

想让它修根因,就把根因说成更省事的那条路

光有梯子,#245 那种”只补症状”的问题还在。作者先试了最容易想到的加法:在规则里写”要端到端追踪数据流、修根因而不是症状”。结果在 Opus 上 0/3,毫无作用。散文式劝诫对已经形成本能的行为就是这么无力。

起作用的是另一种写法。他没有和模型的偷懒对着干,而是把根因修复重新包装成”更小的那个 diff”:修 bug 之前,先 grep 你要改的那个函数的所有调用方,然后在共享函数里修一次:在那里加一道闸,比挨个调用方补补丁的 diff 更小;只修工单点名的那条路径,兄弟调用方会继续坏。

还是那个转账复现,规则换过之后,Sonnet 4.6 和 Opus 4.8 的根因修复率都从 1/6 跳到 6/6,读生成的代码确认,通过的全部修在了共享扣款函数上。这就像楼里每层灯都在闪,懒电工本想只换你家这层的灯泡,但有人告诉他:楼道总闸修一次,比逐层换灯泡省事得多。他自然就去修总闸了。同一份偷懒的动机,布线换了个方向。

作者也老实记下了边界:Haiku 在这个任务上两组都是 0/6,它执行不了”grep 全部调用方再修共享处”这种多步指令。这是小模型的能力天花板,不是规则失效。

有些地方不许懒

车可以拼命减重,但没人会给刹车盘打孔减重。Ponytail 里有一句不允许讨价还价的话:信任边界的输入校验、防止数据丢失的错误处理、安全、可访问性、用户明确要求的东西,永远不许上砍价台。前面七字提示 1/20 放跑路径穿越、完整版 Ponytail 安全任务 30/30 全过,差别就在这里。这条红线是消融实验逼出来的,不是写来装饰的。

红线之外还有一道反射动作:只要新逻辑带分支、循环、解析器、金额或安全,就得留下一个小测试,哪怕只是几行 assert。效果是”该有测试的风险逻辑带着测试交付”的比例从 68% 提到 98%。作者还反过来给代码注入小 bug(翻转比较符、丢掉一个 if、off-by-one),看 agent 自己留的测试能不能抓到:66% 对 46%。这里有个诚实的细节值得记住:Ponytail 单个测试反而更浅,在”已经写了测试”的样本里,它的 bug 捕获率 69% 低于无 skill 组的 77%。它赢在该有的时候几乎总有,不赢在每个测试写得深。

每次回答的结尾还有个固定动作:用一两行交代自己跳过了什么、没检查什么、有什么风险得让你知道。后来的盲评里,这正是 Ponytail 5 的回复以 110 比 67 赢过上一版(p=0.002)的首要原因。

规则再准,也得每次都在场

一条提示词写得再好,靠人每次开会话手动贴,迟早漂移。Ponytail 在支持插件的宿主上用 SessionStart 钩子做注入:会话一开始自动载入规则,按当前档位(lite/full/ultra)裁剪,模式跨轮记住;review、audit 这类重指令单独做成按需加载的 skill,不常驻占预算。这就像进门自动挂上的工牌,而不是指望员工每天记得自己带。

工程上还有个值得看的结构:52 行的 SKILL.md 是唯一的智能源,仓库里十几个宿主目录(Claude Code、Codex、Cursor、Gemini、Cline、Grok、Kimi……)全是薄适配层,支持 hook 的平台拿完整命令,只支持规则文件的平台降级成常驻规则。配套的 /ponytail-review 也比一般 AI review 硬:读 diff 牵连到的代码而不只是 diff,每条发现必须带”具体输入导致具体错误”的实例,没有实例不许报,每条给齐”是什么、问题、修法、不修会怎样”四件套,全局编号方便你直接说”修 2 和 5”,结尾给明确的 Ship 结论。

怎么知道改一条规则是变好还是变坏

这个项目最反常的一点,是它给提示词做回归测试。规矩是:每次改动规则措辞,必须在 paired run 里打赢当前版本才允许合并。39 个任务、每个跑 5 次、无 skill 与两个版本三臂交错同跑,禁用 shell,只测最终写出来的代码。最新一版(2026-10-07,Opus 5.5)的数字是:相对无 skill,代码量 -53%,输出 token -45%,耗时 -41%,成本 -26%,而隐藏正确性检查 96.7% 对 95.6%,基本持平。

读这些数字必须带着作者自己写的折扣。全部数字是作者自测,不是第三方独立评测,虽然任务、判定器、脚本都公开可复跑;收益高度集中在”有过度建造空间”的前端任务,后端 CRUD 这类任务上它只是不膨胀,早期宣称的 80% 到 94% 普降已被作者自己宣布部分作废,承认当时拿”爱说话的裸模型”当了虚高基线;第三方用 Cursor SDK 复跑时还发现,在被迫完成大块交付的任务上,规则反而增加工具调用和过程成本。再加上前面说的 Haiku 天花板,真实结论应该收敛成一句:在强模型、有过度建造倾向的任务上,它稳定地少写代码且不伤正确性,超出这个范围别替它吹。

这套评测文化里还有个让人信任的细节:早期测试 harness 的注入钩子对对照组也触发,“无 skill 基线”其实偷偷跑着 Ponytail,收益一度只有 4% 的假象。作者发现后隔离实验目录重做,并把这次自查事故原样写进报告。

读完能带走的三件事

整条链收起来是一句话:Ponytail 没有给模型任何新知识,它做的是把模型本来就会、但不默认做的行为,用有序的查找程序、顺应偷懒本能的措辞、不可触碰的红线、自动注入的工程层和 paired-run 回归门禁,稳定成默认行为。整包搬它意义不大,宿主绑定重、英文人设会渗进输出、非编码场景下”最小实现”反而有害。但做技能本身,有三样东西可以直接带走。

一是写行为规则要写成可执行程序,不要写成口号。“要追根因”模型不听,“grep 每个调用方,在共享函数修一次”它就照做,因为后者规定了第一步看什么、然后改哪里。二是 review 的四件套契约完全不依赖它的宿主,“没有具体复现实例就不许报问题”加”是什么/问题/修法/不修会怎样”,抽出来放进任何评审流程都成立。三是 paired-run 门禁最值得抄:规则的每次措辞调整都要在固定任务集上打赢旧版才合并,夸大的数字主动作废,harness 污染对照这种事故公开记录。技能质量是测出来的,不是写出来的。

主要来源: github.com/DietrichGebert/ponytail(README、skills/ponytail/SKILL.md、skills/ponytail-review/SKILL.md、AGENTS.md);benchmarks/results/2026-10-07-agentic.md、2026-06-22-issue-245-217-comprehension.md、benchmarks/README.md;examples/ 目录。star 数为调研时仓库页面显示值。

100%