地平线 LoFT 原生视频几何基础模型发布,多项指标达到 SoTA

地平线机器人实验室推出的 LoFT 原生视频几何基础模型,主打直接从普通 RGB 视频还原三维场景,采用双循环 Transformer 架构处理视频时序信息,在三大专业评测基准上多项深度估计指标拿到行业最优 SoTA 水平,训练依托海量多场景视频数据集,主要面向自动驾驶、机器人具身感知、3D 环境重建等场景;如果想理解这个模型的价值,可以先看懂它的核心技术逻辑,再了解评测基准、适用场景,最后对比传统视频几何方案,就能明白这次发布对物理 AI 空间感知带来的提升。

一、LoFT 模型基础信息清单

  • 模型全称:Looped Foundation Transformer for Video Geometry,简称 LoFT
  • 发布主体:地平线机器人实验室
  • 发布时间:2026 年 11 月 18 日
  • 核心架构:双循环 Transformer
  • 训练数据集:约 297 万条视频序列,合计 9.62 亿帧图像
  • 输入素材:普通 RGB 彩色视频,无需激光雷达等额外传感器
  • 核心输出:联合预测相机位姿、相机内参、逐帧画面深度,重建场景三维结构

二、双循环 Transformer 技术原理

  1. 第一循环:时序特征聚合,用局部 + 全局时序注意力抓取视频跨帧信息,利用画面前后连续性挖掘多视角几何关联,扩大时间感受范围。
  2. 第二循环:相机状态迭代更新,显式算出相机位姿、内参,再把更新后的相机参数反馈到下一轮特征计算,形成闭环优化。
  3. 整体思路:原生面向连续视频建模,不是单张图片单独算深度,充分利用视频时序带来的几何约束,提升三维重建稳定性。

三、三大评测体系与 SoTA 表现

评测名称评测覆盖范围对标模型LoFT 结果
SpatialBench12 个数据集,98 段连续视频场景VGGT-Ω、DA3-Giant多项深度指标达到 SoTA
ClassicBench7 项经典视频重建基准数据集主流视频几何模型多项指标达到 SoTA
VRBench机器人、自动驾驶、通用视频场景同类具身感知模型多项指标达到 SoTA

四、落地应用场景

  1. 自动驾驶:车载单目摄像头视频做环境三维感知,估算障碍物距离、场景结构
  2. 人形 / 移动机器人:机器人相机采集视频实时重建周围环境,实现导航、避障
  3. 室内三维重建:普通摄像头拍摄视频,快速生成室内空间 3D 模型
  4. 具身智能学习:给机器人提供空间几何基础表征,辅助后续智能决策训练

五、LoFT 对比传统单目几何模型的差异

  1. 传统方案:大多单帧独立预测深度,再做后处理融合帧间信息,容易出现深度漂移
  2. LoFT 方案:原生视频时序建模,相机位姿和深度同步联合优化,抑制漂移问题

【相关 FAQ】

问题 1:地平线 LoFT 原生视频几何基础模型,SoTA 代表什么含义?

回答 1:SoTA 是 State-of-the-Art 缩写,意思是业界当前最优水平,地平线 LoFT 原生视频几何基础模型在 SpatialBench、ClassicBench、VRBench 这三套评测中多项深度估计指标达到 SoTA,代表该模型在对应任务上性能超过不少已公开的同类视频几何模型。

问题 2:地平线 LoFT 原生视频几何基础模型,输入必须是专业工业相机视频吗?

回答 2:不需要,地平线 LoFT 原生视频几何基础模型只需要普通 RGB 彩色视频作为输入,不需要激光雷达、深度相机等硬件配套,普通摄像头拍摄的视频就可以用来预测深度和相机位姿,降低三维重建的硬件门槛。

问题 3:地平线 LoFT 原生视频几何基础模型,能直接用在手机端实时运行吗?

回答 3:本次发布的地平线 LoFT 原生视频几何基础模型属于基础大模型,官方目前没有公布手机端实时部署的信息;该模型现阶段重点面向自动驾驶、机器人这类具身感知场景,后续还需要做轻量化优化,才有可能落地到手机端设备。

【参考资料】

[2026-11-19](地平线发布原生视频几何模型 LoFT)DoNews

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型)新浪财经

[2026-11-18](地平线 LoFT 视频几何基础模型发布,探索面向物理 AI 的通用视觉表征)地平线官网

【免责声明】

本文信息基于地平线本次发布会公开资料与媒体报道整理,地平线 LoFT 原生视频几何基础模型的实际落地效果会受设备算力、拍摄环境、视频画质影响;SoTA 结论仅针对本次指定评测数据集,不代表所有场景下性能都是最优;模型后续开源、商用授权信息请以地平线官方后续公告为准。

本文来自作者[寂域载波]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/ai/202611/1889.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 寂域载波
    寂域载波 2026年11月19日

    我是新投网的签约作者“寂域载波”!

  • 寂域载波
    寂域载波 2026年11月19日

    希望本篇文章《地平线 LoFT 原生视频几何基础模型发布,多项指标达到 SoTA》能对你有所帮助!

  • 寂域载波
    寂域载波 2026年11月19日

    本站[新投网]内容主要涵盖:互联网行业的追踪与探索

  • 寂域载波
    寂域载波 2026年11月19日

    本文概览:地平线机器人实验室推出的 LoFT 原生视频几何基础模型,主打直接从普通 RGB 视频还原三维场景,采用双循环 Transformer 架构处理视频时序信息,在三大专业评测基准上多项深度估计指标拿到行业最优 SoTA 水平,训练依托海量多场景视频数据集,主要面向自动驾驶、机器人具身感知、3D 环境重建等场景;如果想理解这个模型的价值,可以先看懂它的核心技术逻辑,再了解评测基准、适用场景,最后对比传统视频几何方案,就能明白这次发布对物理 AI 空间感知带来的提升。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们