Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%
养了这么久的虾，你应该能发现，skills有多重要了。
一个写得很差的skill，其实没那么可怕。
因为让龙虾跑2次，发现它完全不work，当场原地卸载就完了。
但是很多skill是特别折磨人的，它不是完全不能用。可能70%的概率还可以，但是30%的概率翻车。
这个太现实了。Karpathy大佬，最近发布了一个开源项目，叫autoresearch，让agent自主优化大模型训练，效果嘎嘎好。
但是，其实这套方法论，是可以推移到别的场景了。
今天分享一下，我用这套理论优化skill的最佳实践！
autoresearch的本质其实就是：让AI优化AI。
所以我们当然可以让AI自动迭代优化skill了。 我测试了一个网页复制相关的skill，可以从56%的通过率提升到92%。
skill最怕不稳定。
skill不稳定，一般就是按照这个skill的流程执行， 大模型有概率出现不符合预期的结果。
但是往往你还不知道，这些不好的结果到底怎么出现的。
这个时候怎么办呢？你可能会让AI复盘，凭着感觉，进行随意修改。
最后，可能skill变成了一个缝合怪了。
而autoresearch干的事，就是要把这个过程，变成一套可重复的实验。
其实核心特别朴素，它不需要让agent一次完成所有的skill重写。
一次改一个小地方，然后重跑打分，效果好了，保留修改，变差了撤回修改。
所以其实任何可以被衡量的东西，都可以被autoresearch。
包括各种 skills。
定义什么是好？
首先为什么skills不稳定？
因为里边可能会有一些比较模糊的表述。
比如，不要有AI味儿，要更自然一点。
这些话都没问题，但是执行起来会很玄学。autoresearch则会逼着你把这些玄学，拆成可以判断的是非题。
你对一个好结果的定义是？
比如一篇创作skills，一些定义可能是：
- 全文是不是控制在1500字以内？
- 开头3句有没有点清通电？
- 标题有没有xxx?
就是做出一些是否的定义，AI可以稳定进行打分。
这里提供一个确地评判的样例Prompt：
### Eval 指南
如何编写真正能提升你的 skill，而不是给你虚假信心的 eval 标准。
---
### 黄金法则
每一个 eval 都必须是一个 yes / no 问题。
不是量表。
不是感觉判断。
必须是二元的。
为什么：量表会叠加波动。如果你有 4 个 eval，每个都按 1-7 分评分，那么总分在不同运行之间会有很大的方差。二元 eval 才能给你稳定可靠的信号。
---
### 好 eval 和坏 eval
#### 文本 / 文案类 skill
比如 newsletter、推文、邮件、落地页
**坏 eval：**
- “这段文字写得好吗？”
（太模糊了，“好”到底是什么意思？）
- “给它的吸引力打 1-10 分”
（量表 = 不可靠）
- “它听起来像人写的吗？”
（主观，评分不一致）
**好 eval：**
- “输出中是否完全没有出现这份禁用词列表中的短语：[game-changer, here's the kicker, the best part, level up]？”
（二元、具体）
- “开头第一句是否提到了一个具体的时间、地点或感官细节？”
（二元、可检查）
- “输出是否在 150-400 字之间？”
（二元、可测量）
- “结尾是否用了一个具体的 CTA，明确告诉读者下一步该做什么？”
（二元、结构性）
#### 视觉 / 设计类 skill
比如图解、图片、幻灯片
**坏 eval：**
- “看起来专业吗？”
（主观）
- “给视觉质量打 1-5 分”
（量表）
- “布局好吗？”
（模糊）
**好 eval：**
- “图片中的所有文字是否都清晰可读，没有截断、重叠或互相覆盖？”
（二元、具体）
- “配色是否只使用柔和 / 粉彩色调，没有荧光色、亮红色或高饱和颜色？”
（二元、可检查）
- “布局是否是线性的，也就是从左到右或从上到下流动，没有零散分布的元素？”
（二元、结构性）
- “图片中是否完全没有数字步骤、序数词或顺序编号？”
（二元、具体）
#### 代码 / 技术类 skill
比如代码生成、配置、脚本
**坏 eval：**
- “代码干净吗？”
（主观）
- “它有遵循最佳实践吗？”
（模糊，到底是哪种最佳实践？）
**好 eval：**
- “代码是否能在不报错的情况下运行？”
（二元、可测试，真的去执行它）
- “输出中是否完全没有 TODO 或占位注释？”
（二元、可 grep）
- “所有函数名和变量名是否都具有描述性（除了循环计数器外，没有单字母命名）？”
（二元、可检查）
- “代码是否对所有外部调用都做了错误处理（API、文件 I/O、网络）？”
（二元、结构性）
#### 文档类 skill
比如提案、报告、deck
**坏 eval：**
- “内容够全面吗？”
（相对于什么才算全面？）
- “它有回应客户需求吗？”
（太开放了）
**好 eval：**
- “文档是否包含所有必需章节：[把章节列出来]？”
（二元、结构性）
- “每一个结论是否都有具体数字、日期或来源支撑？”
（二元、可检查）
- “文档是否控制在 [X] 页 / [X] 字以内？”
（二元、可测量）
- “执行摘要是否能压缩在 1 段、且不超过 3 句话？”
（二元、可计数）
---
### 常见错误
#### 1. Eval 太多
超过 6 个 eval 之后，skill 就会开始“钻 eval 的空子” 它优化的是怎么通过测试，而不是真的产出好结果。就像学生死记硬背答案，却没有真正理解内容。
**修正方法：** 选出最重要的 3-6 个检查项。如果这些都通过了，输出大概率就是好的。
#### 2. 过窄 / 过死
“必须正好包含 3 个 bullet point” 或 “必须至少使用 2 次 because” 这种规则，会让 skill 技术上通过测试，但产出会变得怪异、僵硬。
**修正方法：** Eval 应该检查你真正关心的质量特征，而不是随意的结构约束。
#### 3. Eval 重叠
如果 eval 1 是“文本语法正确吗？”，eval 4 是“有没有拼写错误？”，这两条其实重叠了。语法失败里往往已经包含拼写错误。你是在重复计数。
**修正方法：** 每一个 eval 都应该只测试一个独立维度。
#### 4. Agent 根本无法衡量
“人类会不会觉得这段很吸引人？” agent 没法稳定回答这个问题。它几乎每次都会说“会”。
**修正方法：** 把主观感受翻译成可观察信号。比如“有吸引力”可以改写成：“第一句里是否包含具体主张、故事或问题，而不是一句泛泛的陈述？”
---
### 写 eval 之前，先过这 3 个问题
在最终确定一条 eval 前，先问自己：
1. **两个不同的 agent，拿到同一个输出，能不能打出一样的分？**
如果不能，这条 eval 太主观了，重写。
2. **一个 skill 能不能在根本没变好的情况下，靠钻空子通过这条 eval？**
如果可以，这条 eval 太窄了，放宽。
3. **这条 eval 测的，是不是用户真的在乎的东西？**
如果不是，删掉。每一条不重要的 eval，都会稀释那些真正重要 eval 的信号。
所以完整的一个循环是：
一、选一个你想优化的skill
二、给它一些测试输入。
比如给一篇长文章写个开头，给google的5条skills原则写一篇内容....
三、给他checklist
感觉3~6条比较好，太少了约束不够，太多了，agent又开始刷题迎合checklist了。
四、跑分 -> 循环 -> 跑分。
可能先跑分，发现很垃圾。agent可以分析失败点，做一个小修改，重新测试。分数涨了就留。分数跌了就撤。
然后继续下一轮。
一直跑到，连续多次达到高分。
那份changelog其实很有价值。
会包含完整的skill的进化历史。
会有改了什么？为什么改？ 改了有没有提升？哪些是合理的改发，但是最后没用？
这个东西特别重要。
因为以后模型再升级，或者你想把 skill 迁移到别的平台。
你就不用从0开始了，手里有一份skill被验证过的进化路径。
这其实就是agent时代非常稀缺的东西。
写在最后
其实这些东西，不止能拿到优化skill。
我甚至，用来做代码性能优化。
一个页面加载，通过67轮， 从1100ms，跑到了67ms
所以，只要能定义评分规则，就可以让agent自主迭代优化。
其实这就是一种强化学习，评分规则就是reward score。
别再靠感觉去优化了，autoresearch已经摆明告诉所有人了：
如果一个东西会被反复调用，那它就值得被反复测试。
如果一个东西能被反复测试，那它就值得被交给 agent 自动优化。
#openclaw#autoresearch#karpathy
文章来自于“探索AGI”，作者 “猕猴桃”。
