谷歌 DeepMind 和独立评测机构 Artificial Analysis 正式联合发布 MKA（Multimodal Knowledge Agent）基准测试，这套评测专门用来衡量 AI 智能体看懂高密度视觉文件、完成完整专业知识工作的端到端能力，一共包含 200 个跨行业任务，测试时 AI 智能体可以调用搜索、代码执行、看图工具，最后输出报告、表格、图纸这类专业交付物，在首轮测试里，Claude Fable 5.2 得分第一，Gemini 4 Carbon 紧随其后排第二，而且 Gemini 4 Carbon 的 token 消耗远低于第一名，成本优势明显。之所以要做 MKA 这个新基准，是现在很多常见 AI 评测大多只测纯文本问答或者简单看图，很难模拟真实职场场景；专业工作里大量信息藏在 CAD 图纸、X 光片、复杂图表、地图、扫描 PDF 里，需要跨多个文件、多轮推理、生成可交付文件，老基准很难测出这类能力，MKA 就是补上这个缺口，由不同行业的专业人员一起设计任务，贴近真实工作难度。在 MKA 基准上跑模型的流程很清晰，第一步使用统一开源框架 Stirrup 搭建 Agent 环境，在 Linux 沙盒里运行，开放网页抓取、代码执行、图像查看工具；第二步把 MKA 任务包送入 Agent，任务附带多份图文混合的源文件，最多允许 250 轮交互；第三步自动评测器对照专家制定的评分细则打分，计算 WSR 加权满意度得分；第四步在 Artificial Analysis 平台上汇总分数，对外公开对比结果。总的来说，MKA 是面向专业知识工作的新一代 Agent 评测标准，不再只看单次问答对错，重点看 AI 能不能独立走完一整套复杂项目、产出可用的专业文件，给多模态 Agent 的能力评估提供了更贴近产业的标尺。
MKA 基准核心信息表
| 项目 | 详情 |
|---|---|
| 全称 | Multimodal Knowledge Agent（多模态知识智能体） |
| 合作方 | Google DeepMind + Artificial Analysis |
| 任务总量 | 200 项专业任务，仅 10 项对外公开可查看 |
| 覆盖行业 | 商业、建筑、教育、工程、金融、医疗、法律政府、物流地图、科学、软件数据，合计 10 个赛道 |
| 配套运行框架 | Stirrup（开源 Agent harness） |
| 运行环境 | Linux 沙盒，支持联网搜索、代码运行、图像查看工具 |
| 最大交互轮次上限 | 250 轮 |
| 核心评分指标 | Overall WSR（整体加权满意度）、Climb-WSR（前沿难题得分） |
| 自动评测器对齐专家 | 96.2% 判断一致性，Kappa=0.91 |
| 交付文件格式 | xlsx、pptx、pdf、docx、html、png 等 |
首轮主流模型 MKA 成绩
| 模型 | Climb-WSR | Overall WSR | 备注 |
|---|---|---|---|
| Claude Fable 5.2 | 56.6% | 73.3% | 首轮第一 |
| Gemini 4 Carbon | 54.3% | 71.9% | 首轮第二，token 用量仅为前者约 1/5.7 |
| Claude Opus 5.5 | 低于前两者 | 低于前两者 | |
| GPT-6 Astra | 低于前两者 | 低于前两者 |
MKA 和普通多模态评测的区别
- 传统评测：单张图、单条问题，只返回文字答案，不要求产出正式文档
- MKA：多份复杂图文资料、多步骤项目，最终输出可交付的专业文件，模拟真实岗位工作
- 传统评测：容易被刷榜、过拟合
- MKA：大部分任务集不公开，防止模型提前背题
适合人群
- 大模型、AI Agent 研发团队
- 做企业办公、工程、金融、医疗多模态智能体的开发者
- 模型评测、AI 基准研究人员
需要留意的要点
- MKA 大部分任务属于私有测试集，只有少量样例开放，没法直接下载全部题库
- 分数不等于落地效果，成本、延迟、稳定性也要同步参考
- 评测使用固定沙盒与工具，和自研 Agent 框架的表现会有差异
【相关 FAQ】
问题 1：谷歌联合 Artificial Analysis 推出的 MKA 基准测试主要测 AI 什么能力？
回答 1：谷歌联合 Artificial Analysis 推出的 MKA 基准测试，专门测试多模态知识 Agent 读取 CAD 图纸、影像、复杂图表等高密度视觉文件，跨多文件推理、独立完成完整专业项目并输出文档交付物的能力。
问题 2：MKA 基准测试首轮跑分里，Gemini 4 Carbon 在 MKA 上是什么水平？
回答 2：MKA 基准测试首轮跑分里，Gemini 4 Carbon 在谷歌联合 Artificial Analysis 推出的 MKA 基准测试拿到第二名，Climb-WSR 54.3%，同时 token 消耗显著更低。
问题 3：开发者要怎么在谷歌联合 Artificial Analysis 的 MKA 基准测试上跑自己的 Agent？
回答 3：开发者可以使用 Stirrup 开源框架，在沙盒环境接入 MKA 任务，使用统一工具集，完成任务后交由自动评测器打分，结果会在 Artificial Analysis 平台展示。
【参考资料】
[2026-11-11]（谷歌联合 Artificial Analysis 推出 MKA 基准测试：Gemini 4 Carbon 多模态知识工作测试获第二）IT 之家
[2026-11-10]（Multimodal Knowledge Agents benchmark: November 2026）Google The Keyword
[2026-11-10]（Multimodal Knowledge Agent (MKA) Benchmark）Artificial Analysis 官网
[2026-11-10]（MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks）Google DeepMind 技术论文
【免责声明】
本文仅为 MKA 基准测试资讯整理，MKA 任务集、评分机制、模型跑分结果以谷歌 DeepMind 和 Artificial Analysis 官方页面为准；MKA 得分仅代表该固定沙盒环境下的评测结果，不直接等同于模型在真实业务场景的表现；本文不构成模型选型、采购的推荐意见。
本文来自作者[灰序快照使]投稿，不代表新投网立场，如若转载，请注明出处：https://www.eastpo.net/ai/202611/1294.html
评论列表（4条）
我是新投网的签约作者“灰序快照使”！
希望本篇文章《谷歌联合 Artificial Analysis 推出 MKA 多模态知识智能体基准测试》能对你有所帮助！
本站[新投网]内容主要涵盖：互联网行业的追踪与探索
本文概览：谷歌 DeepMind 和独立评测机构 Artificial Analysis 正式联合发布 MKA（Multimodal Knowledge Agent）基准测试，这套评测专门用来衡量 AI 智能体看懂高密度视觉文件、完成完整专业知识工作的端到端能力，一共包含 200 个跨行业任务，测试时 AI 智能体可以调用搜索、代码执行、看图工具，最后输出报告、表格、图纸这类专业交付物，在首轮测试里，Claude Fable 5.2 得分第一，Gemini 4 Carbon 紧随其后排第二，而且 Gemini 4 Carbon 的 token 消耗远低于第一名，成本优势明显。之所以要做 MKA 这个新基准，是现在很多常见 AI 评测大多只测纯文本问答或者简单看图，很难模拟真实职场场景；专业工作里大量信息藏在 CAD 图纸、X 光片、复杂图表、地图、扫描 PDF 里，需要跨多个文件、多轮推理、生成可交付文件，老基准很难测出这类能力，MKA 就是补上这个缺口，由不同行业的专业人员一起设计任务，贴近真实工作难度。在 MKA 基准上跑模型的流程很清晰，第一步使用统一开源框架 Stirrup 搭建 Agent 环境，在 Linux 沙盒里运行，开放网页抓取、代码执行、图像查看工具；第二步把 MKA 任务包送入 Agent，任务附带多份图文混合的源文件，最多允许 250 轮交互；第三步自动评测器对照专家制定的评分细则打分，计算 WSR 加权满意度得分；第四步在 Artificial Analysis 平台上汇总分数，对外公开对比结果。总的来说，MKA 是面向专业知识工作的新一代 Agent 评测标准，不再只看单次问答对错，重点看 AI 能不能独立走完一整套复杂项目、产出可用的专业文件，给多模态 Agent 的能力评估提供了更贴近产业的标尺。