谷歌 AI 智能体优化 Harness 任务成功率提升 8 倍

谷歌最新发布的研究论文《Harnesses That Improve Themselves》给出了一套全新 AI 智能体优化思路,不再局限于调整提示词,而是让 AI 智能体直接修改外围 Harness 运行框架代码,在 SWE-bench Lite 软件工程基准测试中,任务成功率从 5% 提升到 40%,刚好提升 8 倍。传统调优大多只修改提示词,不仅提升效果有限,甚至会降低任务成功率,而这套方案把 Harness 拆成多个独立模块,AI 每次只修改单个模块,修改后自动验证效果,合格的改动才保留,在保证性能大幅上涨的同时,还能控制 Token 消耗,这种框架自我迭代的方式,未来可以降低 AI 智能体落地调试成本,为代码开发类 AI 智能体提供新的优化路径。

一、Harness 基础概念

Harness 并不是大模型本体,是包裹在 AI 模型外层的运行脚手架框架,负责处理这些工作:

  • 上下文与记忆状态管理
  • AI 智能体多轮任务执行控制
  • 外部工具调用接口管理
  • 任务结果校验、故障恢复

原有痛点:针对某一个模型调好的 Harness,换到其他模型上,容易出现任务卡住、Token 消耗暴增、执行效果变差等问题。

二、实验方案与核心测试数据

实验方案任务成功率单任务平均 Token 消耗备注
初始原版 Harness5.0%——基准对照组
模块化迭代优化 Harness40.0%46700 Token本次核心方案,提升 8 倍
无限制完整重写 Harness42.5%451600 Token性能略高,Token 开销接近 10 倍
仅调整提示词优化2.5%——效果反而下降

模块化优化执行步骤清单

  1. 将初始仅 142 行代码的 Harness 拆分为 4 个可编辑模块:上下文状态管理模块、智能体控制模块、工具调用模块、验证与故障恢复模块
  2. AI 智能体读取历史任务执行日志,定位失败原因,生成单模块代码修改方案
  3. 系统使用验证集测试改动效果,同时设置 Token 上限约束
  4. 通过验证的代码修改保留,效果不达标的修改方案直接舍弃
  5. 循环迭代,持续优化 Harness 框架,最终在独立测试集上验证整体效果

三、研究核心结论解读

  1. 优化 Harness 代码比单纯调提示词更有效:只改提示词的方式,在本次测试里成功率反而下滑,证明提示词优化存在天花板。
  2. 模块化修改兼顾性能与成本:完整重写框架虽然成功率略高,但 Token 开销巨大,工程落地不划算;每次只改一个模块的折中方案性价比更高。
  3. 不改动模型权重:整个优化全程不需要训练、微调 Gemini 模型,只修改外层脚手架代码,降低优化门槛。

【相关 FAQ】

问题 1:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,Harness 是什么?

回答 1:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,Harness 是 AI 模型外层的运行脚手架框架,负责上下文管理、工具调用、任务校验,不属于大模型本身。

问题 2:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,测试用的是什么基准任务?

回答 2:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,测试基于 SWE-bench Lite 软件工程任务集,一共 40 道没有参与优化训练的编程题目。

问题 3:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,对比只修改提示词的效果怎么样?

回答 3:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,单纯修改提示词的对照组任务成功率从 5% 下降至 2.5%,优化 Harness 代码的效果远优于提示词调优。

问题 4:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,这套优化方案需要微调大模型权重吗?

回答 4:谷歌 AI 智能体优化 Harness,任务成功率提升 8 倍,整个优化过程不需要修改、微调 Gemini 模型权重,仅修改外层 Harness 框架代码。

【参考资料】

[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)新浪科技

[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报

[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家

[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase

【免责声明】

本文为谷歌 AI 研究论文公开信息整理,相关实验数据、测试结果仅在 SWE-bench Lite 基准环境下成立。Harness 自我改进方案目前属于实验室研究成果,尚未商业化落地,不代表所有场景下都能实现 8 倍成功率提升,不构成 AI 项目投资、技术选型建议。

本文来自作者[沧流执标人]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/ai/202611/2068.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 沧流执标人
    沧流执标人 2026年11月20日

    我是新投网的签约作者“沧流执标人”!

  • 沧流执标人
    沧流执标人 2026年11月20日

    希望本篇文章《谷歌 AI 智能体优化 Harness 任务成功率提升 8 倍》能对你有所帮助!

  • 沧流执标人
    沧流执标人 2026年11月20日

    本站[新投网]内容主要涵盖:互联网行业的追踪与探索

  • 沧流执标人
    沧流执标人 2026年11月20日

    本文概览:谷歌最新发布的研究论文《Harnesses That Improve Themselves》给出了一套全新 AI 智能体优化思路,不再局限于调整提示词,而是让 AI 智能体直接修改外围 Harness 运行框架代码,在 SWE-bench Lite 软件工程基准测试中,任务成功率从 5% 提升到 40%,刚好提升 8 倍。传统调优大多只修改提示词,不仅提升效果有限,甚至会降低任务成功率,而这套方案把 Harness 拆成多个独立模块,AI 每次只修改单个模块,修改后自动验证效果,合格的改动才保留,在保证性能大幅上涨的同时,还能控制 Token 消耗,这种框架自我迭代的方式,未来可以降低 AI 智能体落地调试成本,为代码开发类 AI 智能体提供新的优化路径。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们