智源研究院在 11 月 17 日正式发布悟界・PhysCapBench,这是全球首个可以统一评测视频 Caption 物理信息的基准,由智源联合逆矩阵、北大、清华、北航共同完成,专门用来衡量视频文字描述里面物理规律、物体交互、因果变化这些关键信息是不是准确完整,给世界模型、具身智能的研发提供一套标准化评测工具。现在很多视频大模型的字幕描述只是语义通顺,经常漏掉物体碰撞、形变、受力、先后因果这类物理细节,模型学不到真实世界的物理规则,很难做好预测、机器人操作这类任务,PhysCapBench 就是为了解决这个痛点,它把不同视角的视频放到同一个评测框架里面打分,不再是分开单独测试。整套基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范各 500 条,全部都经过人工核验标注,评测的时候会从七个维度逐条检查 caption 的内容,科研团队可以拿它对比不同模型、不同标注方案的好坏,也能用来筛选高质量训练数据。整体来看,PhysCapBench 补齐了物理 AI 方向缺少统一评测标尺的短板,后续能帮助世界模型学到更贴合现实的物理常识,对机器人、视频生成、具身智能赛道都有实用价值。
一、PhysCapBench 基础数据集信息
- 项目全称:悟界・PhysCapBench(A Cross-Domain Benchmark for Physically Grounded Video Captioning)
- 发布主体:北京智源人工智能研究院、逆矩阵、北京大学、清华大学、北京航空航天大学
- 视频总量:1500 条视频序列,三类视角均衡分配
- 三大覆盖领域:
- 第三人称场景视频
- 第一人称(Egocentric)手物操作视频
- 手持夹爪机器人示范视频
- 标注方式:结构化标注流程 + 人工交叉复核,输出参考物理描述
二、七大评测维度清单
- 事件覆盖:有没有完整识别视频里发生的物理事件
- 对象与角色:物体、参与者识别是否准确
- 动作与运动:物体运动方式、运动方向描述
- 接触与交互:物体之间接触、挤压、抓取等关系
- 状态与结果:形变、倾倒、破碎等状态变化结果
- 机制与因果:事件背后的物理因果逻辑
- 时间顺序:动作发生的先后时序是否正确
三、PhysCapBench 核心用途与实测效果
| 用途 | 说明 |
|---|---|
| Caption 策略对比 | 横向对比不同视频描述模型、提示词方案的物理信息还原能力 |
| 标注质量评估 | 检查人工或者自动标注出来的字幕有没有丢失物理细节 |
| 训练数据提纯 | 筛选物理信息充足的视频文本对,用于世界模型预训练 |
| 下游效果验证 | 联动视频重建、机器人操控策略微调实验 |
实测结论:物理优化后的 caption,第三人称视频重建误差降低 8.6%-9.5%,第一人称视频重建误差降低 26.9%-30.9%;在 RoboTwin 2.0 机器人任务上,任务成功率提升 7.5 个百分点。
【相关 FAQ】
问题 1:智源研究院发布的 PhysCapBench 物理信息视频 Caption 评测基准,和普通视频 Caption 评测集差别在哪?
回答 1:普通视频 Caption 评测大多只看语义通顺、画面内容描述,智源研究院 PhysCapBench 物理信息视频 Caption 评测基准重点考核物理交互、因果、状态变化这类物理规律信息,面向世界模型和物理 AI,不是只看画面文字匹配。
问题 2:智源研究院的 PhysCapBench 物理信息视频 Caption 评测基准包含多少视频,视角怎么划分?
回答 2:智源研究院 PhysCapBench 物理信息视频 Caption 评测基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范三类视角各 500 条,数据集均衡覆盖不同物理交互场景。
问题 3:智源研究院推出 PhysCapBench 物理信息视频 Caption 评测基准,主要是服务哪些 AI 方向?
回答 3:智源研究院 PhysCapBench 物理信息视频 Caption 评测基准主要服务世界模型、物理 AI、具身机器人、视频生成等方向,帮助模型学习真实世界的物理规律。
问题 4:使用 PhysCapBench 物理信息视频 Caption 评测基准做测试,是直接给模型输出打一个总分吗?
回答 4:使用 PhysCapBench 物理信息视频 Caption 评测基准评测,会从七个物理维度分别核查 caption 的遗漏、错误,不只输出单一总分,能定位到底是因果、交互还是时序描述出问题。
【参考资料】
[2026-11-18](智源研究院发布首个物理信息视频 Caption 评测基准 PhysCapBench)DoNews
[2026-11-17](北京智源人工智能研究院发布首个跨领域世界模型基准)央广网
[2026-11-17](智源悟界・PhysCapBench:首个跨领域的世界模型 “物理数据量尺”)腾讯新闻(智源研究院官方账号)
[2026-11-17](智源研究院联合发布悟界・PhysCapBench)新浪财经
[2026-11-12](PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning)arXiv
【免责声明】
本文内容来源于智源研究院公开发布信息、权威媒体报道以及 arXiv 论文摘要,PhysCapBench 物理信息视频 Caption 评测基准的数据集、评测规则、后续开放计划以项目官方和论文原文为准,内容仅作行业资讯参考,不构成技术落地、项目投资的相关建议。
本文来自作者[墨星脉冲]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/kuaixun/202611/1773.html
评论列表(4条)
我是新投网的签约作者“墨星脉冲”!
希望本篇文章《智源研究院推出悟界・PhysCapBench 首个物理信息视频 Caption 评测基准》能对你有所帮助!
本站[新投网]内容主要涵盖:互联网行业的追踪与探索
本文概览:智源研究院在 11 月 17 日正式发布悟界・PhysCapBench,这是全球首个可以统一评测视频 Caption 物理信息的基准,由智源联合逆矩阵、北大、清华、北航共同完成,专门用来衡量视频文字描述里面物理规律、物体交互、因果变化这些关键信息是不是准确完整,给世界模型、具身智能的研发提供一套标准化评测工具。现在很多视频大模型的字幕描述只是语义通顺,经常漏掉物体碰撞、形变、受力、先后因果这类物理细节,模型学不到真实世界的物理规则,很难做好预测、机器人操作这类任务,PhysCapBench 就是为了解决这个痛点,它把不同视角的视频放到同一个评测框架里面打分,不再是分开单独测试。整套基准一共 1500 段视频,第三人称场景、第一人称操作、手持夹爪示范各 500 条,全部都经过人工核验标注,评测的时候会从七个维度逐条检查 caption 的内容,科研团队可以拿它对比不同模型、不同标注方案的好坏,也能用来筛选高质量训练数据。整体来看,PhysCapBench 补齐了物理 AI 方向缺少统一评测标尺的短板,后续能帮助世界模型学到更贴合现实的物理常识,对机器人、视频生成、具身智能赛道都有实用价值。