智源研究院推出悟界・PhysCapBench 首个物理信息视频 Caption 评测基准

智源研究院在 11 月 17 日正式发布悟界・PhysCapBench,这是全球首个可以统一评测视频 Caption 物理信息的基准,由智源联合逆矩阵、北大、清华、北航共同完成,专门用来衡量视频文字描述里面物理规律、物体交互、因果变化这些关键信息是不是准确完整,给世界模型、具身智能的研发提供一套标准化评测工具。现在很多视频大模型的字幕描述只是语义通顺,经常漏掉物体碰撞、形变、受力、先后因果这类物理细节,模型学不到真实世界的物理规则,很难做好预测、机器人操作这类任务,PhysCapBench 就是为了解决这个痛点,它把不同视角的视频放到同一个评测框架里面打分,不再是分开单独测试。整套基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范各 500 条,全部都经过人工核验标注,评测的时候会从七个维度逐条检查 caption 的内容,科研团队可以拿它对比不同模型、不同标注方案的好坏,也能用来筛选高质量训练数据。整体来看,PhysCapBench 补齐了物理 AI 方向缺少统一评测标尺的短板,后续能帮助世界模型学到更贴合现实的物理常识,对机器人、视频生成、具身智能赛道都有实用价值。

一、PhysCapBench 基础数据集信息

  • 项目全称:悟界・PhysCapBench(A Cross-Domain Benchmark for Physically Grounded Video Captioning)
  • 发布主体:北京智源人工智能研究院、逆矩阵、北京大学、清华大学、北京航空航天大学
  • 视频总量:1500 条视频序列,三类视角均衡分配
  • 三大覆盖领域:
  • 第三人称场景视频
  • 第一人称(Egocentric)手物操作视频
  • 手持夹爪机器人示范视频
  • 标注方式:结构化标注流程 + 人工交叉复核,输出参考物理描述

二、七大评测维度清单

  1. 事件覆盖:有没有完整识别视频里发生的物理事件
  2. 对象与角色:物体、参与者识别是否准确
  3. 动作与运动:物体运动方式、运动方向描述
  4. 接触与交互:物体之间接触、挤压、抓取等关系
  5. 状态与结果:形变、倾倒、破碎等状态变化结果
  6. 机制与因果:事件背后的物理因果逻辑
  7. 时间顺序:动作发生的先后时序是否正确

三、PhysCapBench 核心用途与实测效果

用途说明
Caption 策略对比横向对比不同视频描述模型、提示词方案的物理信息还原能力
标注质量评估检查人工或者自动标注出来的字幕有没有丢失物理细节
训练数据提纯筛选物理信息充足的视频文本对,用于世界模型预训练
下游效果验证联动视频重建、机器人操控策略微调实验

实测结论:物理优化后的 caption,第三人称视频重建误差降低 8.6%-9.5%,第一人称视频重建误差降低 26.9%-30.9%;在 RoboTwin 2.0 机器人任务上,任务成功率提升 7.5 个百分点。

【相关 FAQ】

问题 1:智源研究院发布的 PhysCapBench 物理信息视频 Caption 评测基准,和普通视频 Caption 评测集差别在哪?

回答 1:普通视频 Caption 评测大多只看语义通顺、画面内容描述,智源研究院 PhysCapBench 物理信息视频 Caption 评测基准重点考核物理交互、因果、状态变化这类物理规律信息,面向世界模型和物理 AI,不是只看画面文字匹配。

问题 2:智源研究院的 PhysCapBench 物理信息视频 Caption 评测基准包含多少视频,视角怎么划分?

回答 2:智源研究院 PhysCapBench 物理信息视频 Caption 评测基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范三类视角各 500 条,数据集均衡覆盖不同物理交互场景。

问题 3:智源研究院推出 PhysCapBench 物理信息视频 Caption 评测基准,主要是服务哪些 AI 方向?

回答 3:智源研究院 PhysCapBench 物理信息视频 Caption 评测基准主要服务世界模型、物理 AI、具身机器人、视频生成等方向,帮助模型学习真实世界的物理规律。

问题 4:使用 PhysCapBench 物理信息视频 Caption 评测基准做测试,是直接给模型输出打一个总分吗?

回答 4:使用 PhysCapBench 物理信息视频 Caption 评测基准评测,会从七个物理维度分别核查 caption 的遗漏、错误,不只输出单一总分,能定位到底是因果、交互还是时序描述出问题。

【参考资料】

[2026-11-18](智源研究院发布首个物理信息视频 Caption 评测基准 PhysCapBench)DoNews

[2026-11-17](北京智源人工智能研究院发布首个跨领域世界模型基准)央广网

[2026-11-17](智源悟界・PhysCapBench:首个跨领域的世界模型 “物理数据量尺”)腾讯新闻(智源研究院官方账号)

[2026-11-17](智源研究院联合发布悟界・PhysCapBench)新浪财经

[2026-11-12](PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning)arXiv

【免责声明】

本文内容来源于智源研究院公开发布信息、权威媒体报道以及 arXiv 论文摘要,PhysCapBench 物理信息视频 Caption 评测基准的数据集、评测规则、后续开放计划以项目官方和论文原文为准,内容仅作行业资讯参考,不构成技术落地、项目投资的相关建议。

本文来自作者[墨星脉冲]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/kuaixun/202611/1773.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 墨星脉冲
    墨星脉冲 2026年11月18日

    我是新投网的签约作者“墨星脉冲”!

  • 墨星脉冲
    墨星脉冲 2026年11月18日

    希望本篇文章《智源研究院推出悟界・PhysCapBench 首个物理信息视频 Caption 评测基准》能对你有所帮助!

  • 墨星脉冲
    墨星脉冲 2026年11月18日

    本站[新投网]内容主要涵盖:互联网行业的追踪与探索

  • 墨星脉冲
    墨星脉冲 2026年11月18日

    本文概览:智源研究院在 11 月 17 日正式发布悟界・PhysCapBench,这是全球首个可以统一评测视频 Caption 物理信息的基准,由智源联合逆矩阵、北大、清华、北航共同完成,专门用来衡量视频文字描述里面物理规律、物体交互、因果变化这些关键信息是不是准确完整,给世界模型、具身智能的研发提供一套标准化评测工具。现在很多视频大模型的字幕描述只是语义通顺,经常漏掉物体碰撞、形变、受力、先后因果这类物理细节,模型学不到真实世界的物理规则,很难做好预测、机器人操作这类任务,PhysCapBench 就是为了解决这个痛点,它把不同视角的视频放到同一个评测框架里面打分,不再是分开单独测试。整套基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范各 500 条,全部都经过人工核验标注,评测的时候会从七个维度逐条检查 caption 的内容,科研团队可以拿它对比不同模型、不同标注方案的好坏,也能用来筛选高质量训练数据。整体来看,PhysCapBench 补齐了物理 AI 方向缺少统一评测标尺的短板,后续能帮助世界模型学到更贴合现实的物理常识,对机器人、视频生成、具身智能赛道都有实用价值。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们