地平线机器人实验室正式发布原生视频几何基础模型 LoFT,全称 Looped Foundation Transformer for Video Geometry,这款模型原生面向连续视频做时序建模,只用普通 RGB 视频素材,就能同时预测相机位姿、相机内参以及每一帧的深度信息,还原出整个场景的三维结构,在深度估计相关指标上达到当前 SOTA 水平,主要服务自动驾驶、人形机器人、具身智能的空间感知任务,给机器人看懂真实三维世界提供底层能力支撑。
一、LoFT 模型基础信息清单
- 全称:Looped Foundation Transformer for Video Geometry(LoFT)
- 发布主体:地平线机器人实验室
- 核心能力:输入 RGB 视频,输出逐帧深度、相机位姿、相机内参,重建场景三维结构
- 核心架构:双循环 Transformer 架构
- 训练数据集:约 297 万条有效视频序列,合计 9.62 亿帧图像,覆盖仿真、真实、静态、动态场景
- 落地方向:自动驾驶感知、人形机器人导航、具身学习、三维重建
- 定位:视频几何基础大模型,不是单一任务专用小模型
二、双循环 Transformer 架构工作逻辑
- 第一循环:时序注意力聚合,跨帧提取视觉信息,不断扩大时间感受野,抓取相邻帧、多视角之间的几何关联
- 第二循环:迭代更新相机位姿和内参,把相机状态反馈回前面的特征计算环节,反复修正误差
- 最终输出:逐帧深度图、深度置信度,还原场景可见三维结构,动态物体也能兼顾
三、LoFT 和传统单图深度模型对比
| 项目 | 传统单图深度模型 | 地平线 LoFT 视频几何模型 |
|---|---|---|
| 输入素材 | 单张图片 | 连续 RGB 视频序列 |
| 时序信息 | 不利用帧之间的运动关联 | 原生利用视频时序,跨帧优化几何结果 |
| 输出内容 | 只有深度 | 深度 + 相机位姿 + 相机内参 |
| 适用短板 | 容易出现尺度漂移、几何矛盾 | 通过相机迭代约束,降低尺度漂移问题 |
【相关 FAQ】
问题 1:地平线发布的 LoFT 原生视频几何模型可以实现什么功能?
回答 1:地平线 LoFT 原生视频几何模型输入普通 RGB 视频,就可以联合预测相机位姿、内参、逐帧深度,重建场景三维结构,用于机器人、自动驾驶的空间感知。
问题 2:地平线 LoFT 模型采用的是什么架构?
回答 2:地平线 LoFT 采用双循环 Transformer 架构,一轮聚合跨帧时序信息,一轮迭代优化相机状态,来回修正几何预测结果。
问题 3:地平线 LoFT 模型主要会用在哪些场景?
回答 3:地平线 LoFT 面向具身智能,主要落地在自动驾驶感知、人形机器人导航、环境三维重建、机器人具身学习这些方向。
问题 4:LoFT 是单图深度模型吗?
回答 4:不是,LoFT 是原生视频几何模型,核心是利用连续视频的时序关联做几何计算,和只处理单张图片的深度模型不一样。
【参考资料】
[2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)新浪科技
[2026-11-19](地平线发布原生视频几何模型 LoFT)界面新闻
[2026-11-18](地平线发布 LoFT 原生视频几何基础模型)地平线官网
【免责声明】
以上内容来自地平线官方发布和媒体公开报道,LoFT 模型的开放计划、部署方式、端侧适配效果以地平线后续官方公告为准,实测性能会随场景、硬件平台产生差异。
本文来自作者[玄梭内核]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/kuaixun/202611/1877.html
评论列表(4条)
我是新投网的签约作者“玄梭内核”!
希望本篇文章《地平线推出原生视频几何模型 LoFT,可从 RGB 视频重建三维场景》能对你有所帮助!
本站[新投网]内容主要涵盖:互联网行业的追踪与探索
本文概览:地平线机器人实验室正式发布原生视频几何基础模型 LoFT,全称 Looped Foundation Transformer for Video Geometry,这款模型原生面向连续视频做时序建模,只用普通 RGB 视频素材,就能同时预测相机位姿、相机内参以及每一帧的深度信息,还原出整个场景的三维结构,在深度估计相关指标上达到当前 SOTA 水平,主要服务自动驾驶、人形机器人、具身智能的空间感知任务,给机器人看懂真实三维世界提供底层能力支撑。