地平线推出原生视频几何模型 LoFT,可从 RGB 视频重建三维场景

地平线机器人实验室正式发布原生视频几何基础模型 LoFT,全称 Looped Foundation Transformer for Video Geometry,这款模型原生面向连续视频做时序建模,只用普通 RGB 视频素材,就能同时预测相机位姿、相机内参以及每一帧的深度信息,还原出整个场景的三维结构,在深度估计相关指标上达到当前 SOTA 水平,主要服务自动驾驶、人形机器人、具身智能的空间感知任务,给机器人看懂真实三维世界提供底层能力支撑。

一、LoFT 模型基础信息清单

  • 全称:Looped Foundation Transformer for Video Geometry(LoFT)
  • 发布主体:地平线机器人实验室
  • 核心能力:输入 RGB 视频,输出逐帧深度、相机位姿、相机内参,重建场景三维结构
  • 核心架构:双循环 Transformer 架构
  • 训练数据集:约 297 万条有效视频序列,合计 9.62 亿帧图像,覆盖仿真、真实、静态、动态场景
  • 落地方向:自动驾驶感知、人形机器人导航、具身学习、三维重建
  • 定位:视频几何基础大模型,不是单一任务专用小模型

二、双循环 Transformer 架构工作逻辑

  1. 第一循环:时序注意力聚合,跨帧提取视觉信息,不断扩大时间感受野,抓取相邻帧、多视角之间的几何关联
  2. 第二循环:迭代更新相机位姿和内参,把相机状态反馈回前面的特征计算环节,反复修正误差
  3. 最终输出:逐帧深度图、深度置信度,还原场景可见三维结构,动态物体也能兼顾

三、LoFT 和传统单图深度模型对比

项目传统单图深度模型地平线 LoFT 视频几何模型
输入素材单张图片连续 RGB 视频序列
时序信息不利用帧之间的运动关联原生利用视频时序,跨帧优化几何结果
输出内容只有深度深度 + 相机位姿 + 相机内参
适用短板容易出现尺度漂移、几何矛盾通过相机迭代约束,降低尺度漂移问题

【相关 FAQ】

问题 1:地平线发布的 LoFT 原生视频几何模型可以实现什么功能?

回答 1:地平线 LoFT 原生视频几何模型输入普通 RGB 视频,就可以联合预测相机位姿、内参、逐帧深度,重建场景三维结构,用于机器人、自动驾驶的空间感知。

问题 2:地平线 LoFT 模型采用的是什么架构?

回答 2:地平线 LoFT 采用双循环 Transformer 架构,一轮聚合跨帧时序信息,一轮迭代优化相机状态,来回修正几何预测结果。

问题 3:地平线 LoFT 模型主要会用在哪些场景?

回答 3:地平线 LoFT 面向具身智能,主要落地在自动驾驶感知、人形机器人导航、环境三维重建、机器人具身学习这些方向。

问题 4:LoFT 是单图深度模型吗?

回答 4:不是,LoFT 是原生视频几何模型,核心是利用连续视频的时序关联做几何计算,和只处理单张图片的深度模型不一样。

【参考资料】

[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)新浪科技

[2026-11-19](地平线发布原生视频几何模型 LoFT)界面新闻

[2026-11-18](地平线发布 LoFT 原生视频几何基础模型)地平线官网

【免责声明】

以上内容来自地平线官方发布和媒体公开报道,LoFT 模型的开放计划、部署方式、端侧适配效果以地平线后续官方公告为准,实测性能会随场景、硬件平台产生差异。

本文来自作者[玄梭内核]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/kuaixun/202611/1877.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 玄梭内核
    玄梭内核 2026年11月19日

    我是新投网的签约作者“玄梭内核”!

  • 玄梭内核
    玄梭内核 2026年11月19日

    希望本篇文章《地平线推出原生视频几何模型 LoFT,可从 RGB 视频重建三维场景》能对你有所帮助!

  • 玄梭内核
    玄梭内核 2026年11月19日

    本站[新投网]内容主要涵盖:互联网行业的追踪与探索

  • 玄梭内核
    玄梭内核 2026年11月19日

    本文概览:地平线机器人实验室正式发布原生视频几何基础模型 LoFT,全称 Looped Foundation Transformer for Video Geometry,这款模型原生面向连续视频做时序建模,只用普通 RGB 视频素材,就能同时预测相机位姿、相机内参以及每一帧的深度信息,还原出整个场景的三维结构,在深度估计相关指标上达到当前 SOTA 水平,主要服务自动驾驶、人形机器人、具身智能的空间感知任务,给机器人看懂真实三维世界提供底层能力支撑。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们