Runway 推出 Praxis‑1,将视频大模型改造为机器人控制器

Runway 正式发布 Praxis‑1 世界动作模型,它把原本做视频生成的大模型底座改造为机器人控制策略,依靠海量互联网第三方视频预训练,不用大量昂贵的机器人遥操作演示数据,就能直接给机械臂、人形机器人输出控制指令,模型参数 270 亿,采用混合专家扩散 Transformer 架构,现已以 Apache2.0 协议开源权重,在 RoboLab-120 榜单上拿到不错成绩,打破了传统机器人学习高度依赖专属机器人实操数据的瓶颈,是视频生成厂商跨界具身智能的代表性方案。

一、Praxis‑1 核心基础信息

  1. 模型定位:世界动作模型(World Action Model),同时预测画面未来变化和机器人动作序列
  2. 基础架构:27B MoE 混合专家扩散 Transformer
  3. 开源协议:Apache 2.0,权重、推理代码、微调代码对外开放
  4. 测试硬件:人形机器人、六轴机械臂、双臂仓储机器人,由多家合作厂商适配测试
  5. 基准成绩:RoboLab-120 任务成功率 46.2%,优于多款主流开源 VLA 模型
模型RoboLab-120 任务成功率
Praxis‑146.2%
FLUX 3 Action42.9%
Cosmos3 Nano36.8%
π0.528.0%

二、为什么要拿视频大模型改造成机器人控制器

  1. 传统机器人方案痛点:机器人遥操作数据采集成本高、数量少,很难覆盖家庭、仓储里大量边缘场景,模型泛化能力差。
  2. 视频数据优势:互联网上普通人拍摄的日常视频数量几乎无限,Praxis‑1 从第三人称视频里学习物品操作逻辑,效果接近昂贵的机器人示范数据。
  3. 仿真校验能力:在 Runway 世界模型里仿真机器人动作,仿真结果和真实场景相关性达到 0.95,可以提前排查故障,减少真机测试损耗。
  4. 复用成熟底座:直接复用 Runway 已经打磨好的视频预测大模型,不用从零搭建机器人策略模型,研发效率更高。

三、Praxis‑1 使用落地步骤

  1. 环境准备:需要 80GB 显存级别的 GPU,开发者可以使用全量微调或者轻量 LoRA 微调两种方式。
  2. 硬件适配:根据自己的机器人形态(机械臂、人形、仓储双臂机器人)做适配,绑定摄像头观测输入。
  3. 指令输入:输入自然语言任务指令,例如 “拿起网球放进盒子”,模型读取摄像头画面输出动作序列。
  4. 仿真预验证:先在 GWM 世界模型仿真环境跑一遍,评估会不会失败,再下发到真实机器人。
  5. 迭代优化:在真机上收集少量真实数据,叠加到视频预训练底座继续微调,提升场景适配性。

四、当前方案局限与小结

Praxis‑1 属于通用机器人策略模型,不是开箱即用、适配所有机器人的成品系统,不同硬件依然需要适配调试;它适合科研、机器人开发团队做二次开发,短期内还很难直接落地到消费级家用机器人。这套方案证明,大规模视频预训练可以作为机器人控制的底座,给具身智能提供新路线,后续会有更多视频大模型厂商跟进这个方向。

【相关 FAQ】

问题 1:Runway 的 Praxis‑1 是怎么把视频大模型改造为机器人控制器的?

回答 1:Runway 的 Praxis‑1 复用视频大模型的预训练底座,以海量第三人称互联网视频学习物体交互逻辑,模型同时预测画面变化和机器人动作,把视频理解能力转化成机器人控制策略,不再只依靠机器人示范数据训练。

问题 2:Praxis‑1 开源了吗,用什么协议,开发者可以拿来做什么?

回答 2:Praxis‑1 已经开源权重与推理代码,采用 Apache2.0 协议,开发者可以基于它做机械臂、人形机器人的控制策略开发,支持 LoRA 轻量微调。

问题 3:Praxis‑1 和普通机器人模型相比,最大优势是什么?

回答 3:Praxis‑1 依托视频大模型改造,核心优势是不依赖大量昂贵的机器人遥操作数据,依靠海量公开视频就能学到操作逻辑,泛化能力更强,降低机器人训练的数据门槛。

【参考资料】

[2026-11-12](Runway Praxis-1 开源权重发布,Apache2.0 协议)Sulat AI

[2026-11-11](Runway Praxis‑1:视频大模型改造机器人控制器正式开源)MadRobot

[2026-11-11](Runway 正式开放 Praxis-1,世界动作模型登上 RoboLab 榜单)Runway 官方新闻

[2026-09-30](Introducing Praxis-1:Runway 世界动作模型发布)Runway Research 官网

[2026-10-26](Runway Praxis-1 技术解读,视频预训练用于机器人控制)ki-news-schweiz

【免责声明】

本文关于 Praxis‑1 的参数、跑分、开源信息来自 Runway 官方公告与科技媒体报道;模型落地效果受 GPU 算力、机器人硬件适配、场景影响;该模型属于研究开发类模型,不保证直接商用稳定;本文仅作 AI 行业资讯参考,不构成技术选型、投资建议。

本文来自作者[碎流网关]投稿,不代表新投网立场,如若转载,请注明出处:https://www.eastpo.net/ai/202611/1370.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 碎流网关
    碎流网关 2026年11月12日

    我是新投网的签约作者“碎流网关”!

  • 碎流网关
    碎流网关 2026年11月12日

    希望本篇文章《Runway 推出 Praxis‑1,将视频大模型改造为机器人控制器》能对你有所帮助!

  • 碎流网关
    碎流网关 2026年11月12日

    本站[新投网]内容主要涵盖:互联网行业的追踪与探索

  • 碎流网关
    碎流网关 2026年11月12日

    本文概览:Runway 正式发布 Praxis‑1 世界动作模型,它把原本做视频生成的大模型底座改造为机器人控制策略,依靠海量互联网第三方视频预训练,不用大量昂贵的机器人遥操作演示数据,就能直接给机械臂、人形机器人输出控制指令,模型参数 270 亿,采用混合专家扩散 Transformer 架构,现已以 Apache2.0 协议开源权重,在 RoboLab-120 榜单上拿到不错成绩,打破了传统机器人学习高度依赖专属机器人实操数据的瓶颈,是视频生成厂商跨界具身智能的代表性方案。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们