地平线机器人实验室推出的 LoFT 原生视频几何基础模型,主打直接从普通 RGB 视频还原三维场景,采用双循环 Transformer 架构处理视频时序信息,在三大专业评测基准上多项深度估计指标拿到行业最优 SoTA 水平,训练依托海量多场景视频数据集,主要面向自动驾驶、机器人具身感知、3D 环境重建等场景;如果想理解这个模型的价值,可以先看懂它的核心技术逻辑,再了解评测基准、适用场景,最后对比传统视频几何方案,就能明白这次发布对物理 AI 空间感知带来的提升。
一、LoFT 模型基础信息清单
- 模型全称:Looped Foundation Transformer for Video Geometry,简称 LoFT
- 发布主体:地平线机器人实验室
- 发布时间:2026 年 11 月 18 日
- 核心架构:双循环 Transformer
- 训练数据集:约 297 万条视频序列,合计 9.62 亿帧图像
- 输入素材:普通 RGB 彩色视频,无需激光雷达等额外传感器
- 核心输出:联合预测相机位姿、相机内参、逐帧画面深度,重建场景三维结构
二、双循环 Transformer 技术原理
- 第一循环:时序特征聚合,用局部 + 全局时序注意力抓取视频跨帧信息,利用画面前后连续性挖掘多视角几何关联,扩大时间感受范围。
- 第二循环:相机状态迭代更新,显式算出相机位姿、内参,再把更新后的相机参数反馈到下一轮特征计算,形成闭环优化。
- 整体思路:原生面向连续视频建模,不是单张图片单独算深度,充分利用视频时序带来的几何约束,提升三维重建稳定性。
三、三大评测体系与 SoTA 表现
| 评测名称 | 评测覆盖范围 | 对标模型 | LoFT 结果 |
|---|---|---|---|
| SpatialBench | 12 个数据集,98 段连续视频场景 | VGGT-Ω、DA3-Giant | 多项深度指标达到 SoTA |
| ClassicBench | 7 项经典视频重建基准数据集 | 主流视频几何模型 | 多项指标达到 SoTA |
| VRBench | 机器人、自动驾驶、通用视频场景 | 同类具身感知模型 | 多项指标达到 SoTA |
四、落地应用场景
- 自动驾驶:车载单目摄像头视频做环境三维感知,估算障碍物距离、场景结构
- 人形 / 移动机器人:机器人相机采集视频实时重建周围环境,实现导航、避障
- 室内三维重建:普通摄像头拍摄视频,快速生成室内空间 3D 模型
- 具身智能学习:给机器人提供空间几何基础表征,辅助后续智能决策训练
五、LoFT 对比传统单目几何模型的差异
- 传统方案:大多单帧独立预测深度,再做后处理融合帧间信息,容易出现深度漂移
- LoFT 方案:原生视频时序建模,相机位姿和深度同步联合优化,抑制漂移问题
【相关 FAQ】
问题 1:地平线 LoFT 原生视频几何基础模型,SoTA 代表什么含义?
回答 1:SoTA 是 State-of-the-Art 缩写,意思是业界当前最优水平,地平线 LoFT 原生视频几何基础模型在 SpatialBench、ClassicBench、VRBench 这三套评测中多项深度估计指标达到 SoTA,代表该模型在对应任务上性能超过不少已公开的同类视频几何模型。
问题 2:地平线 LoFT 原生视频几何基础模型,输入必须是专业工业相机视频吗?
回答 2:不需要,地平线 LoFT 原生视频几何基础模型只需要普通 RGB 彩色视频作为输入,不需要激光雷达、深度相机等硬件配套,普通摄像头拍摄的视频就可以用来预测深度和相机位姿,降低三维重建的硬件门槛。
问题 3:地平线 LoFT 原生视频几何基础模型,能直接用在手机端实时运行吗?
回答 3:本次发布的地平线 LoFT 原生视频几何基础模型属于基础大模型,官方目前没有公布手机端实时部署的信息;该模型现阶段重点面向自动驾驶、机器人这类具身感知场景,后续还需要做轻量化优化,才有可能落地到手机端设备。
【参考资料】
[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型)新浪财经
[2026-11-18](地平线 LoFT 视频几何基础模型发布,探索面向物理 AI 的通用视觉表征)地平线官网
【免责声明】
本文信息基于地平线本次发布会公开资料与媒体报道整理,地平线 LoFT 原生视频几何基础模型的实际落地效果会受设备算力、拍摄环境、视频画质影响;SoTA 结论仅针对本次指定评测数据集,不代表所有场景下性能都是最优;模型后续开源、商用授权信息请以地平线官方后续公告为准。
本文来自作者[寂域载波]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/ai/202611/1889.html
评论列表(4条)
我是新投网的签约作者“寂域载波”!
希望本篇文章《地平线 LoFT 原生视频几何基础模型发布,多项指标达到 SoTA》能对你有所帮助!
本站[新投网]内容主要涵盖:互联网行业的追踪与探索
本文概览:地平线机器人实验室推出的 LoFT 原生视频几何基础模型,主打直接从普通 RGB 视频还原三维场景,采用双循环 Transformer 架构处理视频时序信息,在三大专业评测基准上多项深度估计指标拿到行业最优 SoTA 水平,训练依托海量多场景视频数据集,主要面向自动驾驶、机器人具身感知、3D 环境重建等场景;如果想理解这个模型的价值,可以先看懂它的核心技术逻辑,再了解评测基准、适用场景,最后对比传统视频几何方案,就能明白这次发布对物理 AI 空间感知带来的提升。