AI自我验收等于学生自批试卷，可信吗？

作者：技术拾光

时间：2026-06-24

Anthropic实验验证AI无法准确自我评估，采用三智能体架构解决：规划者制定规格，实现者编码，评估者独立验证。Sprint合同让AI协商验收标准，四维度评分侧重设计质量与原创性。Harness随模型升级精简，发现上下文焦虑导致提前收尾及自评缺陷。

文章目录

在驭缰工程的实践中，一个反复出现的痛点在于：AI无法准确评估自己的工作成效。

Anthropic的工程团队通过实验验证了这一点。他们让Claude独立完成前端设计任务，随后进行自我评估。结果显示，无论实际质量如何，智能体都倾向于给出高分。自我评审的结果，往往难以做到客观公正。

那么，如何解决这一问题？Anthropic从GAN（生成对抗网络）中汲取灵感：用一个AI负责生成，用另一个AI进行判别。

三智能体架构

该架构由三个角色组成，分工明确：

角色	职责	类比
Planner（规划者）	将1-4句人类提示词转化为完整产品规格	产品经理
Generator（实现者）	按照规格逐项特性进行编码	开发工程师
Evaluator（评估者）	使用Playwright实际操作应用，逐条验证	QA工程师

关键设计在于：三个智能体相互独立，各自拥有独立的上下文和判断标准。Generator无法自我评价，只有Evaluator拥有最终发言权。

Sprint合同：最精妙的机制

在三智能体架构中，最具价值的发明是Sprint合同。问题在于，人类给出的指令如“做一个好看的前端”过于模糊，AI之间对“好看”的理解也各不相同。而解决方案是：两个AI自行协商“完成”的标准，无需人类居中协调。这与两位工程师先明确验收标准再动手工作的方式类似。

四维度评分标准

Evaluator并非笼统地评价“好”或“不好”，而是从四个维度进行评分：

维度	检查内容	默认表现
Design Quality	是否具有连贯的视觉身份	权重高
Originality	是否包含原创设计决策（而非AI模板感）	权重高
Craft	排版、间距、对比度等技术执行	默认即可
Functionality	可用性（独立于美学层面）	默认即可

值得注意的是，Craft和Functionality只需“默认即可”，因为AI在这些方面已足够强大。而Design Quality和Originality才是Evaluator需要重点考察的维度——这也正是AI最难进行自我评估的部分。

Harness不只是约束，也能释放创造力

在Anthropic的三智能体实验中，有一个意外的发现。前9轮迭代产生了常规的前端设计——干净的深色主题页面，符合预期。然而在第10轮，Generator完全推翻了之前的方案，创造出一个3D空间体验：通过CSS透视渲染的棋盘格地板，画作自由悬挂在墙上，通过门口在不同展厅间导航。

这是单次生成中前所未有的创造性飞跃。人类并未要求3D效果，也未暗示空间感——正是Harness赋予了Generator足够的自由度（在边界内），从而实现了超出预期的创新。换言之，一个好的Harness在保证质量底线的同时，也为AI留出了突破的空间。

Harness会进化：V1 → V2的瘦身

Anthropic的实验揭示了一个重要规律：Harness并非一成不变，它需要随着模型升级而进化。

版本	模型	架构	时长	成本
Solo baseline	Opus 4.5	单智能体	20分钟	$9
V1 Harness	Opus 4.5	Planner + Generator（按sprint）+ Evaluator（每个sprint）	约6小时	$200
V2 Harness	Opus 4.6	Planner + Generator（无sprint）+ Evaluator（单次pass）	约4小时	$125

从V1到V2的变化十分明显：去除了Sprint分期——模型能力更强，无需拆分过细；Evaluator从每个sprint执行变为一次性执行——节省时间和成本；成本从$200降至$125——效率提升37.5%。

每个Harness组件都编码了一个假设——“模型无法独立完成X”。模型升级后，这些假设需要重新验证，不再成立的组件就应当被精简。这正是关键所在。

两个关键发现的深度解读

Context Anxiety（上下文焦虑）

当模型接近上下文窗口极限时，会出现一种异常行为：提前收尾。即便任务尚未完成，模型也会急于“完成”——因为它担心上下文溢出。这一问题在Sonnet 4.5上尤为显著。解决方案是Context Reset——在关键节点重置上下文窗口，让模型以一个全新的窗口继续工作。这正是Ralph循环中“Fresh Context”的核心思路。