谷歌最新发布的研究论文《Harnesses That Improve Themselves》给出了一套全新 AI 智能体优化思路,不再局限于调整提示词,而是让 AI 智能体直接修改外围 Harness 运行框架代码,在 SWE-bench Lite 软件工程基准测试中,任务成功率从 5% 提升到 40%,刚好提升 8 倍。传统调优大多只修改提示词,不仅提升效果有限,甚至会降低任务成功率,而这套方案把 Harness 拆成多个独立模块,AI 每次只修改单个模块,修改后自动验证效果,合格的改动才保留,在保证性能大幅上涨的同时,还能控制 Token 消耗,这种框架自我迭代的方式,未来可以降低 AI 智能体落地调试成本,为代码开发类 AI 智能体提供新的优化路径。
一、Harness 基础概念
Harness 并不是大模型本体,是包裹在 AI 模型外层的运行脚手架框架,负责处理这些工作:
- 上下文与记忆状态管理
- AI 智能体多轮任务执行控制
- 外部工具调用接口管理
- 任务结果校验、故障恢复
原有痛点:针对某一个模型调好的 Harness,换到其他模型上,容易出现任务卡住、Token 消耗暴增、执行效果变差等问题。
二、实验方案与核心测试数据
| 实验方案 | 任务成功率 | 单任务平均 Token 消耗 | 备注 |
|---|---|---|---|
| 初始原版 Harness | 5.0% | —— | 基准对照组 |
| 模块化迭代优化 Harness | 40.0% | 46700 Token | 本次核心方案,提升 8 倍 |
| 无限制完整重写 Harness | 42.5% | 451600 Token | 性能略高,Token 开销接近 10 倍 |
| 仅调整提示词优化 | 2.5% | —— | 效果反而下降 |
模块化优化执行步骤清单
- 将初始仅 142 行代码的 Harness 拆分为 4 个可编辑模块:上下文状态管理模块、智能体控制模块、工具调用模块、验证与故障恢复模块
- AI 智能体读取历史任务执行日志,定位失败原因,生成单模块代码修改方案
- 系统使用验证集测试改动效果,同时设置 Token 上限约束
- 通过验证的代码修改保留,效果不达标的修改方案直接舍弃
- 循环迭代,持续优化 Harness 框架,最终在独立测试集上验证整体效果
三、研究核心结论解读
- 优化 Harness 代码比单纯调提示词更有效:只改提示词的方式,在本次测试里成功率反而下滑,证明提示词优化存在天花板。
- 模块化修改兼顾性能与成本:完整重写框架虽然成功率略高,但 Token 开销巨大,工程落地不划算;每次只改一个模块的折中方案性价比更高。
- 不改动模型权重:整个优化全程不需要训练、微调 Gemini 模型,只修改外层脚手架代码,降低优化门槛。
【相关 FAQ】
问题 1:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,Harness 是什么?
回答 1:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,Harness 是 AI 模型外层的运行脚手架框架,负责上下文管理、工具调用、任务校验,不属于大模型本身。
问题 2:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,测试用的是什么基准任务?
回答 2:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,测试基于 SWE-bench Lite 软件工程任务集,一共 40 道没有参与优化训练的编程题目。
问题 3:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,对比只修改提示词的效果怎么样?
回答 3:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,单纯修改提示词的对照组任务成功率从 5% 下降至 2.5%,优化 Harness 代码的效果远优于提示词调优。
问题 4:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,这套优化方案需要微调大模型权重吗?
回答 4:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,整个优化过程不需要修改、微调 Gemini 模型权重,仅修改外层 Harness 框架代码。
【参考资料】
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)新浪科技
[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家
[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase
【免责声明】
本文为谷歌 AI 研究论文公开信息整理,相关实验数据、测试结果仅在 SWE-bench Lite 基准环境下成立。Harness 自我改进方案目前属于实验室研究成果,尚未商业化落地,不代表所有场景下都能实现 8 倍成功率提升,不构成 AI 项目投资、技术选型建议。
本文来自作者[沧流执标人]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/ai/202611/2068.html
评论列表(4条)
我是新投网的签约作者“沧流执标人”!
希望本篇文章《谷歌 AI 智能体优化 Harness 任务成功率提升 8 倍》能对你有所帮助!
本站[新投网]内容主要涵盖:互联网行业的追踪与探索
本文概览:谷歌最新发布的研究论文《Harnesses That Improve Themselves》给出了一套全新 AI 智能体优化思路,不再局限于调整提示词,而是让 AI 智能体直接修改外围 Harness 运行框架代码,在 SWE-bench Lite 软件工程基准测试中,任务成功率从 5% 提升到 40%,刚好提升 8 倍。传统调优大多只修改提示词,不仅提升效果有限,甚至会降低任务成功率,而这套方案把 Harness 拆成多个独立模块,AI 每次只修改单个模块,修改后自动验证效果,合格的改动才保留,在保证性能大幅上涨的同时,还能控制 Token 消耗,这种框架自我迭代的方式,未来可以降低 AI 智能体落地调试成本,为代码开发类 AI 智能体提供新的优化路径。